Quelle technologie permet aux moteurs de recherche d'explorer les sites Web ?

Les robots (souvent appelés "crawlers" ou "spiders") sont des programmes informatiques utilisés par les moteurs de recherche pour explorer systématiquement le Web. Ils parcourent les liens d'une page à l'autre, collectent des informations sur le contenu des sites et les indexent pour qu'ils puissent apparaître dans les résultats de recherche. Les androïdes sont des robots humanoïdes, les assistants sont des programmes d'aide (comme les assistants vocaux), et les automates sont des machines qui effectuent des tâches répétitives, mais aucun de ces termes ne décrit spécifiquement la fonction d'exploration du Web par les moteurs de recherche.