Αρχικά, μια μηχανή αναζήτησης χρησιμοποιεί προγράμματα όπως είναι οι
«αράχνες», spiders ή web crawlers, οι οποίοι αυτόματα ανακαλύπτουν τις
διάφορες ιστοσελίδες του Παγκοσμίου Ιστού, ακολουθώντας όλους τους
υπερσυνδέσμους που εντοπίζουν. Τα περιεχόμενα κάθε ιστοσελίδας
αναλύονται και η πληροφορία αυτή, που εξάγεται από τις επικεφαλίδες, το
κείμενο, την μετα-πληροφορία κ.α, αποθηκεύεται στις βάσεις των μηχανών
αναζήτησης και κατατάσσεται.