Crawl budget-ul, sau bugetul de accesare, reprezintă viteza și numărul de pagini pe care un motor de căutare precum Google dorește să le acceseze pe site-ul tău. Acesta este afectat de mai mulți factori printre care și autoritatea și relevanța site-ului tău. Optimizarea robots.txt poate juca un rol important în administrarea acestuia.