Ejemplos de robots.txt
Los dueños de páginas web utilizan el archivo /robots.txt para dar instrucciones acerca de su sitio a los robots o bots de motores de búsquedas como Google, Yahoo, Bing, etc.
El sistema trabaja simple, si un robot quiere visitar la URL por ejemplo: http://www.ejemplode.com/ antes de hacerlo, revisa a http://www.ejemplode.com/robots.txt y se fija su contenido. Mediante el contenido robots.txt, se le dan instrucciones a los bots para no indexar, o acceder a ciertos...