Un set de opţiuni pe care le puteţi utiliza pentru a specifica ce tip de conţinut este accesat cu crawlere, ceea ce URL-uri să acceseze cu crawlere, şi cât de adânc şi când să acceseze cu crawlere.