Een geautomatiseerd programma dat zoekt het Internet voor nieuwe documenten op het Web en plaatsen hun adressen en informatie met betrekking tot de inhoud in een database, die kan worden benaderd met een zoekmachine. Over het algemeen beschouwd als een soort bot, of Internet robot.