ROBOTS.TXT
Archivo de instrucciones para rastreadores
Es un archivo de texto ubicado normalmente en la raíz de un sitio web que indica a determinados rastreadores qué partes de la web pueden o no pueden rastrear.
Ejemplo:
Una tienda online puede utilizar este archivo para indicar a los rastreadores que no recorran determinadas áreas internas, como ciertas páginas de administración o resultados de búsqueda internos.
¿Para qué sirve? Ayuda a gestionar el rastreo de una web y a evitar que los bots dediquen recursos a determinadas secciones que no necesitan rastrear.
