Ejemplo de Robots.txt

Inicio » HTML » Robots.txt
Autor: Redacción Ejemplode.com.

Los dueños de páginas web utilizan el archivo /robots.txt para dar instrucciones acerca de su sitio a los robots o bots de motores de búsquedas como Google, Yahoo, Bing, etc.

El sistema trabaja simple, si un robot quiere visitar la URL por ejemplo: https://www.ejemplode.com/ antes de hacerlo, revisa a https://www.ejemplode.com/robots.txt y se fija su contenido. Mediante el contenido robots.txt, se le dan instrucciones a los bots para no indexar, o acceder a ciertos archivos. Se puede ser especifico, como por ejemplo, que ciertos bots no entren, pero otros si.

Hay dos consideraciones importantes al utilizar /robots.txt:

  • Los robots pueden ignorar tu robots.txt. Especialmente robots de malware que escanean la web por vulnerabilidades, y escavadores de direcciónes de correos usado para enviar Spam.
  • El archivo robots.txt está públicamente disponible. Cualquier persona puede ver el contenido de tu robots.txt

Asi que no uses, robots.txt para esconder información. Más bien utilizalo para que no se indexen ciertos contenidos de tu sitio.

 Aca hay varios ejemplo de robots.txt con su explicación

Código:
User-agent: * Disallow: /

Este codigo, hace que todos los robots no puedan acceder a ningún contenido del sitio. El párametro User-agent es para especificar los robots, en este caso con el asterisco, señalamos a todos. Y Disallow es para que no puedan acceder. En este caso, haciendo un Disallow en /, los robots no pueden acceder a ningun lado.

Código:
User-agent: * Disallow:

En cambio, si dejamos el Disallow vacio, no pasa nada. Los robots pueden acceder a cualquier contenido.

Ahora otro ejemplo

Código:
User-agent: * Disallow: /contacto.html Disallow: /archivo.html

Este siguiente codigo, hace que todos los robots no pasen por contacto.html ni archivo.html

Luego tenemos este otro ejemplo que permite que ningún robot pase por el sitio, exceptuando el bot de Google

Código:
User-agent: Google Disallow: User-agent: *Disallow: /

Citado APA: (A. 2010,04. Ejemplo de Robots.txt. Revista Ejemplode.com. Obtenido 04, 2010, de https://www.ejemplode.com/17-html/1096-ejemplo_de_robots.txt.html)

Búsqueda:

Comentarios:

  1. necesito de su ayuda mi pagina cuando lo busco en google me sale lo siguiente en la descripción:
    No se dispone de una descripción de este resultado debido a robots.txt. Más información.

    y cuando reviso mi cuenta en google de webmasters me sale en URL Bloqueadas:

    User-agent: *
    Disallow: /

    intento codificarlo al inicio parece que acepta después actualizo o ingreso a otro enlace y cuando regreso sigue el mismo código como si nada se hubiera modificado,
    espero su ayuda muchas gracias
    Por Luis 07.11.14 a las 22:26:20
    1. Me parecen interesantes estos temas, ya que en un simple archivo puede dañar el trabajo de varios meses.
      Por Roxana 06.21.14 a las 3:05:11
      1. Me parecen interesantes estos temas de ficheros, que a la larga pueden parar un sitio web.
        Por Roxana 06.21.14 a las 3:02:34
        1. Muy bueno no sabía que era público, gracias.
          Por segunda mano 10.23.11 a las 10:11:05
          1. ola esta mal todo
            Por juanluis 04.30.10 a las 15:43:15

            Deja un comentario


            Acepto la política de privacidad.