V
e
r

l
i
s
t
a
d
o

tractatus@lapipaplena:/# _

 

robots.txt

Archivo que evita que determinado contenido de un sitio web sea indexado por los motores de búsqueda. Este archivo distingue mayúsculas y minúsculas, puede incluir comentario mediante almohadilla [#] y cada grupo User-agen/Disallow debe de estar separado por una linea en blanco.

Algunos comandos:

User-agent (Indica qué tipo de robot debe cumplir con la directiva que se indica)

User-agent: * (Incluir todos los buscadores)
User-agent: Googlebot (Especificar el buscador de Google)
User-agent: Bingbot (Especificar el robot de Bing)

Disallow (Niega el acceso a un directorio, un archivo o una página)

Disallow: (Permite la entrada a todo el sitio)
Disallow: / (Denegar todo el sitio)
Disallow: /directorio/ (Denegar un directorio)
Disallow: /restringido*/ (Denegar directorios que comienzan por "restringido")
Disallow: /pagina.html (Denegar una página)
Disallow: /*.png$ (Denegar los archivos que terminen con la extensión .png)

Allow (Permitir el acceso a directorios, archivos o páginas)

Allow: /directorio/subdirectorio/ (Permitir un subdirectorio)

Sitemap (Indica la ruta a un mapa del sitio en XML)

Sitemap: http://web.com/sitemap.xml

Crawl-delay (Indica número de segundos que debe esperar para cada acceso a cada página)

Crawl-delay: 30

Aspecto que puede presentar un archivo robots.txt:

User-agent: wget
Disallow: /
\\ linea en blanco
User-agent: grub-client
Disallow: /
\\ linea en blanco
User-agent: *
Disallow:
\\ linea en blanco
Sitemap: https://tractatuslapipaplena.herokuapp.com/sitemap.xml
Navegando por staredsi.eu aceptas las cookies que utilizamos en esta web. Más información: Ver política de cookies
[0] 0:bash*
1837 entradas - Acerca del Tractatus
La Pipa Plena 2018