Crawl budget beskriver, hvor mange URL’er Googlebot kan og ønsker at hente på et website inden for en periode. Det er ikke en fast kvote, du kan slå op. Google beskriver det som et samspil mellem crawlkapacitet og crawlbehov.
Hvad bestemmer crawl budgettet?
- Crawlkapacitet: Googlebot forsøger at crawle uden at overbelaste serveren. Langsomme svar, mange 5xx-fejl eller 429-svar kan få aktiviteten til at falde.
- Crawlbehov: Google prioriterer blandt andet URL’er ud fra popularitet, ændringer og behovet for at genbesøge indhold.
For de fleste små og mellemstore websites er crawl budget ikke et praktisk SEO-problem. Det bliver især relevant for meget store eller hurtigt skiftende sites, hvor Google ikke når de vigtige URL’er, eller hvor tekniske URL-varianter bruger en stor del af crawlaktiviteten.
Eksempel: webshop med filter-URL’er
En webshop har 20.000 produkter, men farve-, størrelse- og sorteringsfiltre skaber flere hundrede tusinde URL-kombinationer. Hvis Googlebot bruger meget tid på næsten ens filter-URL’er, kan nye produkter blive opdaget senere. Løsningen er ikke blot at “øge budgettet”, men at begrænse unødvendige URL-varianter, rette interne links og vælge en tydelig canonical-strategi.
Sådan undersøger du et muligt crawlproblem
- Se crawlstatistik og indekseringsrapporter i Google Search Console.
- Kontrollér serverlogs for hvilke URL’er Googlebot faktisk henter, og hvilke statuskoder den møder.
- Find parameter-URL’er, dubletter, redirect-kæder, 404’er og andre URL’er uden søgeværdi.
- Sørg for hurtige, stabile serversvar og præcise interne links til de vigtigste sider.
- Hold XML-sitemaps rene og begrænset til canonical-URL’er, som bør kunne indekseres.
Vigtige afgrænsninger
En blokering i robots.txt kan spare crawlaktivitet, men er ikke en sikker metode til at fjerne en URL fra søgeresultaterne: Google kan kende URL’en fra links uden at kunne hente siden. Brug derfor den kontrol, der passer til målet, og test altid virkningen.
Kilder kontrolleret 10. oktober 2026: Google Search Central om crawl budget og HTTP- og netværksfejl.