Seleziona una pagina
Crawler

Crawler

Il crawler è un software utilizzato dai motori di ricerca per analizzare i siti web e consentirne la classificazione, ovvero l’indicizzazione.

Tutti i motori di ricerca ricorrono a un crawler, ma quello di Google (Googlebot) è certamente il più noto e temuto. Il crawler visita i siti web ovvero ne analizza tutti i contenuti seguendo le URL, identificando i link presenti nelle pagine e passando successivamente a visitarli.

Il file robots.txt, presente in automatico in tutti i siti e comunque personalizzabile, può indirizzare i crawler indicando loro alcuni comportamenti da seguire, ad esempio il non visualizzare la pagina o non seguire un link.

Un crawler può “visitare” solo la parte testuale di un sito, quindi non raggiunge e valuta immagini ed elementi grafici.

× Hai bisogno di assistenza scrivici subito.