Los spiders

¿Que son?
Un spider (araña web) o también llamado Crawler es un programa que inspecciona la web de forma automática y metódica. Se les da unas direcciones iniciales y el spider analiza y busca enlaces a páginas nuevas que tengan relación con las direcciones dadas.

¿Para que se utilizan?
los spiders se utilizan para crear una copia de todas las páginas web que a visitado en su último análisis y hacer las cosas mas fáciles a la hora de las búsquedas.

¿Como funcionan?
los crawler visitan las direcciones iniciales que les hemos dado, la araña descarga estas páginas, las analiza y descarga los enlaces que hay dentro de estas páginas y asi sucesivamente con cada una.

Publicar entrada