ROBOTS.TXT

ROBOTS.TXT

Archivo de instrucciones para rastreadores
Es un archivo de texto ubicado normalmente en la raíz de un sitio web que indica a determinados rastreadores qué partes de la web pueden o no pueden rastrear.

Ejemplo:
Una tienda online puede utilizar este archivo para indicar a los rastreadores que no recorran determinadas áreas internas, como ciertas páginas de administración o resultados de búsqueda internos.

¿Para qué sirve? Ayuda a gestionar el rastreo de una web y a evitar que los bots dediquen recursos a determinadas secciones que no necesitan rastrear.


James Nod — Explora mis otros Artículos

Profesionista con experiencia en el área Branding, Copywriting y Marketing. Webmaster en recuperación. Actualmente CSO en ICC

Comentarios

0