En crawler – også kaldet en bot eller spider – er et program, der automatisk finder URL’er og henter deres indhold. Søgemaskiner bruger crawlere som Googlebot til at opdage nye og ændrede sider.
Hvordan arbejder en crawler?
- Den starter med kendte URL’er, for eksempel fra tidligere crawl, links eller et XML-sitemap.
- Den anmoder serveren om URL’en og modtager blandt andet HTML, headers og en HTTP-statuskode.
- Den læser links og kan lægge nye URL’er i kø til senere crawl.
- Det hentede indhold kan derefter behandles til mulig indeksering.
Google bruger flere crawlere til forskellige formål. Navnet i en user-agent er dog ikke i sig selv bevis for, at en anmodning virkelig kommer fra Google; ved mistanke bør serverens IP verificeres efter Googles dokumenterede metode.
Crawler, indeksering og rangering er tre forskellige trin
Crawling er selve hentningen. Indeksering er Googles behandling og mulige lagring af indholdet. Rangering er udvælgelsen og placeringen af resultater til en konkret søgning. En URL kan derfor være tilgængelig for en crawler uden at blive indekseret eller få synlighed.
Eksempel
En ny produktside får et link fra en allerede kendt kategoriside. Googlebot crawler kategorien, opdager linket og henter produkt-URL’en. Hvis siden svarer med 200, kan gengives og vurderes egnet, kan den komme i betragtning til indekset. Hvert trin kan dog tage forskellig tid.
Sådan hjælper du crawlere
- Brug almindelige, crawlbare interne links til vigtige sider.
- Returnér korrekte statuskoder og undgå lange redirect-kæder.
- Hold sitemaps opdaterede og serveren stabil.
- Brug robots.txt til crawlstyring – ikke som adgangskontrol eller sikkerhed.
SEO-værktøjer bruger også egne crawlere til tekniske analyser. De kan efterligne dele af en søgemaskines besøg, men de afgør ikke, hvad Google indekserer.
Kilder kontrolleret 10. oktober 2026: Google Search Central om Google-crawlere og Sådan fungerer Google Søgning.