Alertes de sécurité en cours Discussion Discussion
Faire un lien Lien
Assiste.com - Sécurité informatique - Décontamination - Antivirus - Protection - Protection de la Vie Privée Assiste.com - Sécurité informatique - Décontamination - Antivirus - Protection - Protection de la Vie Privée


Webmaster - Élaboration et Soumission d'un SiteMap

Dernière mise à jour : 2016-12-03T00:00 - 03.12.2016 - 00h00
18.06.2015 - 00h00 - Paris - (Assiste - Pierre Pinard) - Modification Baidu.

Notes pour Webmasters à propos des SiteMap.

Qu'est-ce qu'un SiteMap ?Qu'est-ce qu'un SiteMap ?Qu'est-ce qu'un SiteMap ?

Un SiteMap (plan d'un site) est une aide apportée aux moteurs de recherche pour découvrir et référencer les pages d'un site. Cela se présente sous la forme d'un fichier XML au format spécifique. On indique l'emplacement de ce fichier aux divers moteurs de recherche membres de l'organisation SiteMap.org.

Si Google accepte plusieurs formats de fichiers SiteMap, dont un flux RSS, il n'en est pas de même pour les autres moteurs de recherche qui n'acceptent que le protocole (la syntaxe) SiteMap normalisée. Il faut donc créer et maintenir à jour les fichiers sitemap.

A propos des SiteMap, par Google, en français
Site officiel
Syntaxe (protocole) d'un SiteMap, en français
Explications courtes sur la syntaxe

Attention :

Un SiteMap n'est pas suffisant. Le référencement des pages par crawl classique, avec les spiders, est également utilisé par les moteurs utilisant nos sitemap.

Chaque URL doit donc être présente deux fois :

  1. Dans le sitemap
  2. Sous forme d'une URL statique dans le site (un lien, quelque part, doit pointer vers la page et toutes les pages doivent avoir un lien entrant en provenance du site lui-même). Suggestion : faire des pages d'index, chacune pesant moins de 100 KO et ne comportant pas plus de 300 ou 400 liens (l'ancienne limite à 100 liens présents sur une page n'existe plus, mais le maximum, s'il y en a un, est inconnu et pourrait être proportionnel à la taille du contenu rédactionnel de la page).

Comme avec le crawl classique, ce ne sont pas toutes les URL du Sitemap qui sont prises en compte. C'est au bon vouloir du moteur !

Outils générateurs de SitemapOutils générateurs de SitemapOutils générateurs de Sitemap

Le format normalisé actuel est le format 0.90.
YoodaMap format sitemap 0.84
Google Sitemap Generator Nécessite Internet Information Service 5.0 !
SiteMap Builder Abandonné depuis 2005
http://www.xml-sitemaps.com/ (bien mais limité à moins de 500 pages)
http://enarion.net/tools/phpsitemapng/ (outil en php à installer sur un serveur) - Abandonné.
http://gsitecrawler.com/en/download/ (outil sous Windows, gratuit - date de 2007)
http://www.sitemapspal.com/ format 0.84 + fréquence, lastmode, Priority - 2000 pages - Le mode "edit" bugue !
SiteMap XML Dynamic SiteMap Generator En ligne ou en local - Payant
Simple Map Local - Gratuit

Service générateurs de sitemaps en ligne
My-Sitemap.com Limité à 500 pages.
Neuroticweb Google Site Map Generator format sitemap 0.84 (et je n'ai pas compris comment cela fonctionne - il ne lit qu'une page !)
SitemapDoc - XML Sitemap Generator and Editor Limité à 500 pages.

Générateur du code SiteMap à partir d'une liste d'URL
outils-referencement.com
SiteMapX

Mon générateur de SitemapMon générateur de Sitemap et de flux RSSMon générateur de Sitemap

Sert aux petits sites statiques (faits à la main, localement, et uploadés sur un serveur). Aucune utilité pour les sites utilisant des scripts tout faits (blog, etc. ...) pour lesquels les optimisations SEO sont incluses dans le script.

Télécharger le fichier excel / openoffice / libreoffice " Faire un sitemap et un flux RSS ".

Première étape : générer la liste des pages du site (la liste des fichiers web)

  • Pour un site dont le code source est maintenu localement, sur un PC sous Windows.
    Faire un Print Directory avec Karen's Directory Printer en utilisant le filtre "Common HTML/Web files"
    On obtient la liste des fichiers (la liste des noms des pages du site).
    Ouvrir le fichier de sortie avec Notepad et copier

    Faire un sitemap et un flux RSS - Utilisation de Karen's Directory Printer pour extraire la liste des fichiers Web
    Faire un sitemap et un flux RSS - Utilisation de Karen's Directory Printer pour extraire la liste des fichiers Web


  • Pour un site en ligne :
    Utiliser Xenu's Link Sleuth (probablement le meilleur outil pour analyser un site et débusquer des erreurs de liens internes (y compris les ancres) / externes / serveur etc. ...) - Gratuit - A jour - Son auteur hurle également son horreur de la Scientologie, ce qui, en plus, le rend sympathique. J'utilise cet outil depuis sa première publication, en 1997.

    Télécharger et installer Xenu's Link Sleuth
    Lancer une analyse d'URL
    On obtient la liste des URL complètes (contrairement à la méthode précédente où l'on n'obtient que la liste des noms des fichiers (que la liste des noms des pages du site) sans la hiérarchie d'hébergement sur le serveur).
    Exporter le résultat au format .txt (champs séparés par des tabulations - l'ensemble des URL du site sera listé)
    Eliminer les URL non pertinentes
    Copier

Deuxième étape : générer le code XML à partir de la liste obtenue

Deux méthodes :

  1. En utilisant un tableur (Excel, LibreOffice, OpenOffice...) - Génération SiteMap et RSS :

    Permet de générer / maintenir simplement le corps d'un flux RSS et d'un SITEMAP dans un site fait "à la main" (pages statiques par opposition aux pages générées à la volées à partir d'une base de données).

    Télécharger le fichier excel / openoffice / libreoffice " Faire un sitemap et un flux RSS ".

  2. Les colonnes du tableau

    1. Colonne A
      Liste des pages statiques du site obtenue à la première étape avec Karen's Directory Printer ou avec Xenu's Link Sleuth.
      Coller dans cette colonne la liste des noms de fichiers.

    2. Colonne B
      Saisie manuelle - généralement à saisir une fois pour toute et recopier sur toutes les lignes : Chemin d'accès à la page (votre hiérarchie d'hébergement - saisir manuellement - généralement le même contenu pour toutes les pages)

    3. Colonne C
      Calcul : Fabrication de l'URL

    4. Colonne D
      Calcul : Fabrication d'un titre probable de la page (sert uniquement aux flux RSS - inutile pour les sitemap) en supprimant le caractère habituel "_" de remplacement des caractères spéciaux lorsque l'on souhaite éviter l'échappement%

    5. Colonne E
      Saisie manuelle : Le calcul automatique du titre de la page n'étant pas toujours génial, surtout si vos noms de fichiers sont de type 0001.html, 0002.html, etc. ... on fera mieux manuellement. Recopier éventuellement la colonne D sur la colonne E, en valeur, et saisir / corriger manuellement les titres des pages (sert uniquement aux flux RSS - inutile pour les sitemap). Si on ne corrige jamais ces titres, virer cette colonne et utiliser directement la colonne D

    6. Colonne F
      Saisie manuelle : Date obligatoire, sous la forme AAAA-MM-JJ (pour sitemap)

    7. Colonne G
      Manuel : Date facultative, sous forme libre, par exemple JJ.MM.AAAA, pour flux RSS. Ce texte est considéré comme du commentaire.

    8. Colonne H
      Manuel : Texte libre qui sera inséré dans le flux RSS (sert uniquement aux commentaires dans les flux RSS - inutile pour les sitemap)

    9. Colonne I
      Manuel : Sitemap uniquement. Fréquence de changement de la page - Cette donnée est facultative et cherche à indiquer aux moteurs de recherche à quelle fréquence ils doivent revenir lire le contenu de la page. Les moteurs n'en tiennent pas vraiment compte et calculent eux-mêmes la fréquence utile. Un article statique ne changera plus jamais alors qu'une page de news peut changer toutes les minutes). Les valeurs acceptées sont les suivantes :
      • always
      • hourly
      • daily
      • weekly
      • monthly
      • yearly
      • never
      La valeur "always" (toujours) doit être utilisée pour décrire les documents qui changent à chaque accès. La valeur "never" (jamais) doit être utilisée pour décrire les URL archivées.

    10. Colonne J
      Manuel : Sitemap uniquement. Priorité. Si plusieurs pages répondent à la même question, ce code, entre 0,0 et 1,0, permet de dire aux moteurs de recherche qui tiennent éventuellement compte de cette information, quelle est la page à indiquer prioritairement aux visiteurs par rapport aux autres pages de votre site traitant du même sujet. 0,5 par défaut. 0,0 si page marginale, 1,0 si page à proposer en 1er. N'a strictement aucune incidence sur le classement de vos pages par rapports aux autres sites Internet, mais uniquement par rapport à vos autres pages sur le même sujet dans votre même site. La priorité par défaut d'une page est égale à 0,5.

    11. Colonne K
      Lignes RSS - Copier / coller dans le corps du fichier de Flux RSS

    12. Colonne L
      Lignes Sitemap - Copier / coller dans le corps du fichier du sitemap

  3. En utilisant un générateur du code SiteMap à partir d'une liste d'URL
    Coler la liste des URL dans outils-referencement.com


Google Global - Soumission d'un Site et d'un SitemapGoogle Global - Soumission d'un Site et d'un SitemapGoogle Global - Soumission d'un Site et d'un Sitemap


Soumission d'un Site et d'un Sitemap à BingSoumission d'un Site et d'un Sitemap à BingSoumission d'un Site et d'un Sitemap à Bing


Soumission d'un Site et d'un Sitemap à ExaleadSoumission d'un Site et d'un Sitemap à ExaleadSoumission d'un Site et d'un Sitemap à Exalead

  • Soumission d'un site à Exalead :
    Le moteur de recherche Exalead a été racheté par Dassault Systèmes le 09 juin 2010. C'est lui qui permet des recherches dans l'immense base de données de la littérature grise (Greynet ou Graynet).
    http://www.exalead.com/search/web/submit/


  • Soumission de sitemap et de mises à jour de sitemap à Exalead :
    Exalead a une approche des Sitemaps par les fichiers robots.txt, d'après sa FAQ, après le verbe "Sitemap:".
    Exalead signale également utiliser Open Directory.

    Puis-je ajouter un fichier « site map » ?
    Oui, il suffit d'ajouter dans votre fichier robots.txt une ligne indiquant son emplacement: ex.:
    Sitemap: http://monsite.com/sitemap.xml

    Ceci ne préjugeant pas de la fréquence de lecture / rafraichissement du site par Exalead, il semble qu'il faille faire une nouvelle soumission à chaque mise à jour du Sitemap, si on en juge par une autre information trouvée dans sa FAQ :

    Comment puis-je demander au robot d'Exalead de rafraîchir mon site ?
    Ce processus de rafraîchissement est entièrement automatique. Si vous voulez forcer le rafraîchissement, vous pouvez soumettre une nouvelle fois la page.

    En principe, on devrait soumettre le point d'entrée du site (index.html). On peut essayer de soumettre le sitemap.xml (?).

Soumission d'un Site à Open DirectorySoumission d'un Site à Open DirectorySoumission d'un Site à Open Directory

  • Soumission d'un site à Open Directory :
    Open Directory n'utilise pas de sitemap et ne référence pas les pages d'un site mais uniquement le site en lui-même.
    Open Directory peut servir à des petits moteurs de recherche inconnus qui se servent du contenu de l'Open Directory pour référencer des sites. Il est donc utile d'y être référencé (certains disent que son utilité serait de plus en plus marginale, voire totalement marginale).
    Open Directory peut servir à catégoriser un site : Par exemple, pour Assiste, la catégorisation (celle-ci est faite manuellement par des "éditeurs" bénévoles, cooptés par les "éditeurs" d'Open Directory - la suggestion de classification faite par le webmaster du site n'est pas forcément suivie) est dans la hiérarchie :
    Top > World > Français > Informatique > Sécurité > Internet
    http://www.dmoz.org/add.html

Soumission d'un Site et d'un Sitemap à YahooSoumission d'un Site et d'un Sitemap à YahooSoumission d'un Site et d'un Sitemap à Yahoo

  • Soumission d'un Site à Yahoo! :
    La soumission à Yahoo! se fait automatiquement lors de la soumission à Bing.
    C'est écrit sur cette page

    Pour mémoire, Yahoo! c'est la valse des moteurs ! Initialement, c'est un moteur bulk (blanc - OEM) qui est utilisé, en 2001 : Inktomi. En 2002, Yahoo! rachète Inktomi. En 2003, Yahoo! rachète Overture qui possède les deux moteurs AlltheWeb et AltaVista, mais n'en fait rien et se met à utiliser les résultats de Google. En 2003, Yahoo! développe son propre moteur et son propre crawler (Slurp) sur la base (?) des technologies Inktomi, AlltheWeb et AltaVista, puis cesse sa collaboration avec Google avec lequel il entre en compétition. Yahoo! se met même à vendre des résultats à d'autres. En 2009, Yahoo! signe avec Microsoft et, désormais, ce sont les résultats de Bing que Yahoo! offre.

Soumission d'un Site à Yahoo DirectorySoumission d'un Site à Yahoo DirectorySoumission d'un Site à Yahoo Directory

  • Soumission d'un Site à Yahoo! Directory :
    Il faut avoir/créer un compte Yahoo!
    Yahoo! Directory disposait, initialement, de deux modes de soumissions : Soumission gratuite (standard, analyse humaine et inscription lente) et soumission payante (analyse et inscription rapide).
    L'inscription standard n'existe plus et l'inscription payante est de 299 US$ non remboursables (600 US$ pour les sites adultes). Si le site est inscrit dans Yahoo! Directory, la même somme est appelée annuellement (sinon, déréférencement).
    Le 10 décembre 2009, le répertoire Yahoo! Directory était supprimé pour la France, l'Allemagne, l'Italie et l'Espagne (1).
    Le 26 septembre 2014, Yahoo! a annoncé que le répertoire Yahoo! Directory serait supprimé au 31 décembre 2014 (2).
    http://add.yahoo.com/fast/add?170961

Soumission d'un Site et d'un Sitemap à MSNSoumission d'un Site et d'un Sitemap à MSNSoumission d'un Site et d'un Sitemap à MSN

  • MSN :
    MSN n'existe plus. C'est Bing.

Soumission d'un Site et d'un Sitemap à OrangeSoumission d'un Site et d'un Sitemap à OrangeSoumission d'un Site et d'un Sitemap à Orange


Soumission d'un Site et d'un Sitemap à AskSoumission d'un Site et d'un Sitemap à AskSoumission d'un Site et d'un Sitemap à Ask


Soumission d'un Site et d'un Sitemap à YandexSoumission d'un Site et d'un Sitemap à YandexSoumission d'un Site et d'un Sitemap à Yandex


Soumission d'un Site et d'un Sitemap à BaiduSoumission d'un Site et d'un Sitemap à BaiduSoumission d'un Site et d'un Sitemap à Baidu

Soumission du site à Baidu
Heu... Traduction SVP. Pour moi, c'est du chinois !
Une aide ici (consultée le 17.09.2016)


Soumission d'un Site et d'un Sitemap - AutresSoumission d'un Site et d'un Sitemap - AutresSoumission d'un Site et d'un Sitemap - Autres


Liste des moteurs de recherche

Sogou (Chinois)

Soso (Chinois)

Moteur AOL (utilise les résultats de Google)

Moteur Dogpile (Métamoteur (Metasearch ou Federated Search) utilisant les résultats de Google + Bing + Yandex)

AltaVista n'existe plus en tant que moteur de recherche depuis le 08.07.2013. Voir la saga des moteurs de recherche de Yahoo!

A9 - Amazon

Blekko ne permet aucune soumission (moteur participatif)