CRAWLER BOT
(Rastreador robot o agente)
Es un programa automatizado que navega por internet para descubrir, recorrer y recopilar información de páginas web. Los motores de búsqueda utilizan estos programas para analizar el contenido de los sitios y mantener actualizados sus índices.
Ejemplo:
Google utiliza un rastreador conocido como Googlebot para descubrir páginas, seguir enlaces y analizar contenido web.
¿Para qué sirve? Hace posible que los motores de búsqueda conozcan el contenido de una página web y puedan incorporarlo a sus sistemas de indexación.
