Crawler

Un crawler è un programma che visita i siti Web e legge le loro pagine e altre informazioni al fine di creare voci per l'indice di un motore di ricerca. I principali motori di ricerca sul Web hanno tutti un programma del genere noto anche come 'spider' o 'bot'. I crawler sono in genere programmati per visitare i siti che sono stati inviati dai loro proprietari come nuovi o aggiornati. Interi siti o pagine specifiche possono essere visitati e indicizzati in modo selettivo. I crawler apparentemente hanno guadagnato il nome perché strisciano attraverso un sito una pagina alla volta seguendo i collegamenti ad altre pagine del sito fino a quando tutte le pagine sono state lette.