Seleziona una pagina
Spider

Spider

Lo spider, o “ragno”, è un software utilizzato dai motori di ricerca per analizzare i contenuti di un sito web e permetterne la classificazione in un ordine gerarchico. È conosciuto anche come crawler, web crawler o robot.

Utilizzato sia da grandi realtà come Google che da piccoli motori di ricerca, lo spider (quello di Google si chiama Googlebot) “visita” i siti attraverso le loro URL, leggendo anche eventuali indicazioni presenti nel file robots.txt (dove si può indicare ad uno spider, ad esempio, di non visitare determinate pagine).

 

× Hai bisogno di assistenza scrivici subito.