Googlebot este numele dat crawlerelor web ale Google care colectează informații pentru diverse servicii Google, inclusiv pentru indexul de căutare. Și cei de la Bing au un crawler similar numit Bingbot. Site-ul tău comunică cu acești roboți prin două documente esențiale: robots.txt și sitemap.xml. De obicei optimizarea acestor documente nu este dificilă, dar este importantă mai ales când ai un site cu multe pagini/produse.