Crea Robots de Texto

Los Robots de Texto, son quienes le dicen a los buscadores que pueden ver y que no. No siempre desearemos que nuestra información sea encontrada, por ejemplo si ofrecemos tutoriales de suscripción, o por el contrario en otras ocasiones desearemos por ejemplo que se encuentre el archivo sitemap.xml, que es como nuestro mapa del sitio optimizado para Buscadores.

Los sitemap.xml, se explicarán a continuación por ese motivo no se hará mucho énfasis en este apartado si deseas puede acceder por el siguiente enlace para Ver Mas ..

La sintaxis de los Robot de Texto es la siguiente:

Si deseamos que todo sea visto: 

User-agent: * Disallow: 

Lo que deseamos que no sea visto:

User-agent: * Disallow:/Esta Carpeta no es rastreable/

Ejemplo de Archivo Robot.txt

User-agent: *

Disallow:/Carpeta/subcarpeta no rastreable/

Ejemplo de Para Indicar donde se encuentra el archivo sitemap.xml

sitemap: sitemap.xml

Ejemplo de Para Indicar donde se encuentra el archivo sitemap.xml si no se encuentra en la carpeta raíz

sitemap: / donde esté /sitemap.xml