Ένα αυτοματοποιημένο πρόγραμμα που εξερευνά το Διαδίκτυο για νέα Web έγγραφα και τοποθετεί τους διευθύνσεις και πληροφορίες σχετικά με το περιεχόμενο σε μια βάση δεδομένων, η οποία μπορεί να προσεγγιστεί με μια μηχανή αναζήτησης. Γενικά θεωρείται ότι είναι ένα είδος bot, ή Internet ρομπότ.