Ejemplo de Robots.txt

Inicio » HTML » Robots.txt

Los dueños de páginas web utilizan el archivo /robots.txt para dar instrucciones acerca de su sitio a los robots o bots de motores de búsquedas como Google, Yahoo, Bing, etc.

El sistema trabaja simple, si un robot quiere visitar la URL por ejemplo: https://www.ejemplode.com/ antes de hacerlo, revisa a https://www.ejemplode.com/robots.txt y se fija su contenido. Mediante el contenido robots.txt, se le dan instrucciones a los bots para no indexar, o acceder a ciertos archivos. Se puede ser especifico, como por ejemplo, que ciertos bots no entren, pero otros si.

Hay dos consideraciones importantes al utilizar /robots.txt:

  • Los robots pueden ignorar tu robots.txt. Especialmente robots de malware que escanean la web por vulnerabilidades, y escavadores de direcciónes de correos usado para enviar Spam.
  • El archivo robots.txt está públicamente disponible. Cualquier persona puede ver el contenido de tu robots.txt

Asi que no uses, robots.txt para esconder información. Más bien utilizalo para que no se indexen ciertos contenidos de tu sitio.

 Aca hay varios ejemplo de robots.txt con su explicación

Código:
User-agent: * Disallow: /

Este codigo, hace que todos los robots no puedan acceder a ningún contenido del sitio. El párametro User-agent es para especificar los robots, en este caso con el asterisco, señalamos a todos. Y Disallow es para que no puedan acceder. En este caso, haciendo un Disallow en /, los robots no pueden acceder a ningun lado.

Código:
User-agent: * Disallow:

En cambio, si dejamos el Disallow vacio, no pasa nada. Los robots pueden acceder a cualquier contenido.

Ahora otro ejemplo

Código:
User-agent: * Disallow: /contacto.html Disallow: /archivo.html

Este siguiente codigo, hace que todos los robots no pasen por contacto.html ni archivo.html

Luego tenemos este otro ejemplo que permite que ningún robot pase por el sitio, exceptuando el bot de Google

Código:
User-agent: Google Disallow: User-agent: *Disallow: /
Autor: Redacción ejemplode.com, año 2021

Comentarios

  1. Me parecen interesantes estos temas, ya que en un simple archivo puede dañar el trabajo de varios meses.
    Por Roxana 06.21.14 a las 3:05:11
  2. Me parecen interesantes estos temas de ficheros, que a la larga pueden parar un sitio web.
    Por Roxana 06.21.14 a las 3:02:34
  3. Muy bueno no sabía que era público, gracias.
    Por segunda mano 10.23.11 a las 10:11:05
  4. ola esta mal todo
    Por juanluis 04.30.10 a las 15:43:15

Deja un comentario


Acepto la política de privacidad.