Los distintos buscadores rastrean constantemente la web en busca de nuevo contenido o contenido actualizado para actualizar sus bases de datos. Por ello utilizan sofisticados algoritmos que acceden a las distintas URL que forman una web para analizarlas y comprender su contenido.

El archivo robots.txt es una de las mejores alternativas para poder controlar o limitar el acceso de estos bots a las distintas páginas de una web. Se trata de un archivo muy interesante que permite a los administradores de una web tener un mayor control sobre la misma.

Veamos qué es robots.txt, para qué se utiliza, los elementos que lo componen y cómo es su funcionamiento.

Qué es robots.txt

El robots.txt es un archivo conocido como protocolo de exclusión de robots que permite evitar que algunos bots puedan rastrear una web. Este archivo en formato .txt se encuentra en el directorio raíz de un sitio web e indica a los distintos rastreadores sobre qué partes de la web no pueden visitar.

Para qué sirve el robots.txt

El uso principal del archivo robots.txt es el de indicar el acceso a la web a los distintos buscadores, proporcionándoles información sobre a qué URL pueden acceder y a cuáles no.

Elementos del archivo qué es robots.txt

El fichero robots.txt está compuesto por una serie de elementos esenciales para su funcionamiento:

• Comandos. Son una serie de comandos que indican funciones importantes, como User-agent (donde se indican los robots o rastreadores), Disallow (para indicar URL, directorios o subdirectorios que no se pueden acceder), o Allow (para indicar URL, directorios o subdirectorios a los que sí se pueden acceder).
• Reglas. Son un conjunto de normas que se implementan en los comandos Allow y Disallow y que afectan directamente a los user-agent indicados.
• Otros elementos. Como “/” que precede a un elemento que se quiere bloquear, o reglas de concordancia (patrones para simplificar código utilizando signos como *, ? o $).

Cómo funciona este archivo

El archivo robots.txt tiene un funcionamiento más sencillo de lo que puede parecer visualizando sus distintos elementos. El contenido de este fichero es interpretado como una indicación por los distintos buscadores, por lo que pueden tenerlos en cuenta o no (hay otros métodos para evitar que una web sea rastreada que son más eficientes).

• Cuando un rastreador llega a un sitio web, accede en primer lugar al contenido de su robots.txt para utilizarlo como referencia sobre las URL que puede o no analizar e indexar. 
• Si el rastreador decide seguir las indicaciones de este archivo y se encuentra entre los user-agents del mismo, procederá a seguir cada uno de los Allow o Disallow implementados.
• Lo habitual es que el archivo robots.txt de permiso de rastreo a la mayoría de URL del sitio, y limite el acceso a una serie de páginas concretas mediante el comando Disallow.

Hemos visto qué es robots.txt, los principales elementos que los conforman y cuál es su funcionamiento. Se trata de un fichero muy importante que debes optimizar para sacar el máximo partido de tu página web, blog o tienda online.