Um programa automatizado que procura a Internet para novos documentos Web e coloca seus endereços e informações relacionadas com o conteúdo em um banco de dados, que pode ser acessado com um motor de busca. Geralmente considerado um tipo de bot ou robô de Internet.