Consultoría & Consultores

¿Has oído hablar del archivo robots.txt? Incluirlo en tu página web te puede resultar muy útil. En las siguientes líneas te explicamos en qué consiste, para qué sirve en el posicionamiento seo y cómo funciona.

¿Qué es el archivo robots.txt?

Para entender de verdad lo que es el archivo robots.txt, antes conviene acercarnos a la forma en que los buscadores rastrean la web y obtienen información. Realizan esta labor mediante máquinas o robots, con los que son capaces de indexar el contenido de páginas web y guardar la mayor cantidad posible de información en sus bases de datos.

Pues bien, el archivo robots.txt es una de la máquinas más usadas para indexar en Google. Es utilizada por los buscadores pero también por los spammers.

Pero, ¿qué utilidad tiene para el propietario de una página web? Lo vemos en el siguiente apartado.

¿Para qué sirve un archivo robots.txt?

Seguir leyendo en ISOLATED