Un programa automatizado que busca en el Internet para nuevos documentos en la Web y coloca sus direcciones e información relacionadas con el contenido en una base de datos, que se puede acceder con un motor de búsqueda. Generalmente considerado como un tipo de bot, o robot de Internet.