Un fișier robots.txt poate restriționa sau permite accesul motoarelor de căutare pentru tot site-ul sau pentru pagini specifice din site. Acesta poate include și un link către sitemap.xml pentru a fi mai ușor de găsit de către Google.