Crawling er processen, hvor en søgemaskines crawler opdager en URL og forsøger at hente dens indhold. Det er et nødvendigt adgangstrin, men en vellykket crawl er ikke en garanti for indeksering eller gode placeringer.
Hvordan opdager Google en side?
Google kan blandt andet finde en URL gennem links fra kendte sider, XML-sitemaps og tidligere crawl. Et sitemap er et signal om, hvilke URL’er du ønsker crawlet; det erstatter ikke en klar intern linkstruktur og garanterer ikke indeksering.
Et konkret crawlforløb
Du publicerer en ny guide og linker til den fra en kategoriside. Når Googlebot genbesøger kategorien, opdager den linket og anmoder om den nye URL. Serveren svarer eksempelvis med 200 og sender HTML. Google kan derefter gengive og behandle siden, men kan stadig vælge ikke at optage den i indekset.
Hvad kan forhindre crawling?
- Et forbud i robots.txt.
- Login, firewall eller anden adgangskontrol.
- Vedvarende 5xx-, 429-, DNS- eller timeoutfejl.
- Redirect-løkker eller meget lange redirect-kæder.
- Manglende crawlbare links til URL’en, så den er vanskelig at opdage.
Crawling, indeksering og rangering
- Crawling: Søgemaskinen finder og henter URL’en.
- Indeksering: Søgemaskinen analyserer indholdet og beslutter, om det skal indgå i indekset.
- Rangering: Søgemaskinen vælger og sorterer relevante resultater til en søgning.
Det er derfor forkert at antage, at “Google har crawlet siden” betyder, at siden er indekseret. Kontrollér den konkrete URL i Google Search Console, og se samtidig efter tekniske signaler som canonical, statuskode og robots-direktiver.
Praktisk kontrol
- Bekræft at URL’en returnerer den tilsigtede statuskode.
- Kontrollér at Googlebot ikke blokeres utilsigtet.
- Link til siden fra relevante, allerede kendte sider.
- Brug et rent sitemap med canonical-URL’er.
- Undersøg gentagne fejl i Search Console og serverlogs.
Kilder kontrolleret 10. oktober 2026: Google Search Central om crawling og indeksering og robots.txt.