Robots.txt er en tekstfil i websitets rod, der fortæller crawlere, hvilke dele af sitet de ikke må hente – fx interne søgesider, filtre eller testmiljøer.
Filen styrer crawling, ikke indeksering: En blokeret URL kan stadig optræde i indekset, hvis andre linker til den – og dens noindex-tag kan Google netop ikke se. Én fejlplaceret linje kan blokere hele sitet, så filen bør altid tjekkes efter lanceringer og flytninger.