En este post descubrirás los errores más habituales relacionados con el email marketing y te servirá para detectarlos y determinar si tendrás éxito en tu campaña de mailing o no.

Los distintos buscadores rastrean constantemente la web en busca de nuevo contenido o contenido actualizado para actualizar sus bases de datos. Por ello utilizan sofisticados algoritmos que acceden a las distintas URL que forman una web para analizarlas y comprender su contenido.

Elarchivo robots.txt es una de las mejores alternativas para poder controlar o limitar el acceso de estos bots a las distintas páginas de una web. Se trata de un archivo muy interesante que permite a los administradores de una web tener un mayor control sobre la misma.

Veamosqué es robots.txt, para qué se utiliza, los elementos que lo componen y cómo es su funcionamiento.

Qué es robots.txt

El robots.txt es unarchivo conocido como protocolo de exclusión de robots que permite evitar que algunos bots puedan rastrear una web. Este archivo en formato .txt se encuentra en el directorio raíz de un sitio web e indica a los distintos rastreadores sobre qué partes de la web no pueden visitar.

Para qué sirve el robots.txt

El uso principal del archivo robots.txt es el de indicar el acceso a la web a los distintos buscadores, proporcionándoles información sobre a qué URL pueden acceder y a cuáles no.

Elementos del archivo qué es robots.txt

El fichero robots.txt está compuesto por una serie de elementos esenciales para su funcionamiento:

• Comandos. Son una serie de comandos que indican funciones importantes, comoUser-agent (donde se indican los robots o rastreadores),Disallow(para indicar URL, directorios o subdirectorios que no se pueden acceder), oAllow(para indicar URL, directorios o subdirectorios a los que sí se pueden acceder).
• Reglas. Son un conjunto de normas que se implementan en los comandosAllow yDisallow y que afectan directamente a losuser-agent indicados.
• Otros elementos. Como “/” que precede a un elemento que se quiere bloquear, o reglas de concordancia (patrones para simplificar código utilizando signos como *, ? o $).

Cómo funciona este archivo

El archivo robots.txt tiene un funcionamiento más sencillo de lo que puede parecer visualizando sus distintos elementos. El contenido de este fichero es interpretado como una indicación por los distintos buscadores, por lo que pueden tenerlos en cuenta o no (hay otros métodos para evitar que una web sea rastreada que son más eficientes).

• Cuando un rastreador llega a un sitio web,accede en primer lugar al contenido de su robots.txt para utilizarlo como referencia sobre las URL que puede o no analizar e indexar. 
• Si el rastreador decide seguir las indicaciones de este archivo y se encuentra entre losuser-agents del mismo, procederá aseguir cada uno de losAllow oDisallow implementados.
• Lo habitual es que el archivo robots.txt depermiso de rastreo a la mayoría de URL del sitio, y limite el acceso a una serie de páginas concretas mediante el comandoDisallow.

Hemos vistoqué es robots.txt, los principales elementos que los conforman y cuál es su funcionamiento. Se trata de un fichero muy importante que debes optimizar para sacar el máximo partido de tu página web, blog o tiendaonline.