A salvo de robots indiscretos: el archivo robots.txt
- Escrito por Fernando Maciá Domene el Marzo 2nd, 2008 clasificado en Indexabilidad, Posicionamiento en buscadores
Todo lo que llevamos dicho es para garantizar que los buscadores podrán indexar todos los contenidos de nuestra web. Pero ¿qué podemos hacer si precisamente queremos lo contrario, que no indexen ciertos contenidos? Existe un tipo de archivo especial llamado robots.txt en donde de forma sencilla podemos especificar qué áreas, subdirectorios o archivos de nuestra web no deberían ser indexados por los buscadores.
Es importante programar adecuadamente este archivo sobre todo en los sistemas gestores de contenido (CMS) que lo generan de forma automatizada, ya que puede darse el caso de que accidentalmente se incluyan como no indexables áreas que sí deberían ser rastreadas.
Deje su comentario