Spider (Indexation du Web)

L'indexation du Web, par les moteurs de recherche, se fait avec deux outils :

• Les " crawlers ", qui balayent sans cesse le Web, suivent tous les liens (ou sont aidés par des " SiteMap " dressés par les Webmasters), et font remonter tout sur les serveurs du moteur de recherche.
  
• Les " Spiders ", qui tissent les liens de la toile à partir du " vrac " remonté par les crawlers. Lorsqu'une page est remontée par le " crawler " , le " Spiders " l'analyse, extrait tous les liens, regarde quels sont ceux déjà dans la base de connaissances du moteur et l'âge de ces pages, et injecte dans la file d'attente des liens à suivre par le " crawler ", ceux " intéressants " (ceux à suivre).

Les technologies de chaque grand moteur de recherche (Google, Bing, etc. ...) sont des secrets totalement protégés, même au sein des entreprises où ils sont développés (le travail est fractionné, etc. ...).

Ainsi, on utilise indifféremment les termes de Crawlers et de Spiders, ne sachant pas très bien qui fait quoi.

Terminologie :
Crawler le Web
Web crawling
Pratiquer le Crawling
Spider le Web
Faire du spidering
Web spidering
Robots d'indéxation
Web Bot
Internet Bot
Web Indexing