Siempre he querido crear mi propio “spider” en
bash, para no tener que utilizar herramientas externas.
A este respecto, aproveché un trabajo de hace unas semanas para
desarrollar la idea anterior, es más, aproveché para darle más funcionalidades,
porque así lo necesitaba para mi trabajo.
La funcionalidad incorporada es la de detectar los
distintos tipos de extensiones de los distintos documentos que posee el sitio
web, y la posibilidad de descargarlos para su posterior análisis de metadatos.
Esta última parte, la extracción de metadatos, lo desarrollaré a posteriori.
El código es el siguiente:
NOTA: Creo
que el código es fácil de entender, si no es así, contáctame.
Parte del código 1 de 3
Parte del código 2 de 3
Parte del código 2 de 3
Un ejemplo del uso de este código se puede ver a
continuación:
Ejemplo de uso del código
Estos códigos y alguno más lo dejo en mi github,
por si os sirven de algo.
En cualquier caso…
Lo que hagas con la información es cosa tuya, no
mía... pero ten conciencia.
