V
e
r

l
i
s
t
a
d
o

tractatus@lapipaplena:/# _

 

parsero

Es un script escrito en Python que lee el archivo Robots.txt de un servidor web a través de la red y examina las entradas Disallow. Las entradas Disallow indican a los motores de búsqueda qué directorios o archivos alojados en un servidor web no deben indexarse. Por ejemplo, "Disallow: /portal/login" significa que el contenido de www.example.com/portal/login no puede ser indexado por rastreadores como Google, Bing, Yahoo o el que proceda.

$ parsero -u localhost
$ parsero -sb -u google.es
$ parsero -f archivo.txt
de varias url, una por linea, de un archivo
Navegando por staredsi.eu aceptas las cookies que utilizamos en esta web. Más información: Ver política de cookies
[0] 0:bash*
2585 entradas - Acerca del Tractatus
La Pipa Plena 2024