En crawl-fejl opstår, når en søgemaskines crawler ikke kan hente eller følge en URL som forventet. Fejlen fortæller noget om adgangen til URL’en – ikke automatisk om siden burde være indekseret eller rangere.
Typiske crawl-fejl
- 404 eller 410: URL’en findes ikke. Det er normalt for indhold, der bevidst er fjernet, men bør rettes, hvis vigtige interne links peger på den.
- 5xx: Serveren kunne ikke levere siden. Tilbagevendende serverfejl kræver teknisk undersøgelse.
- 429: Serveren afviser midlertidigt for mange forespørgsler. Kontrollér kapacitet og eventuelle sikkerhedsregler.
- Blokeret af robots.txt: Crawleren må ikke hente URL’en. Det kan være tilsigtet eller en fejlkonfiguration.
- Redirect-fejl: En kæde, løkke eller ugyldig destination forhindrer crawleren i at nå den endelige side.
- DNS-, forbindelses- eller timeoutfejl: Googlebot kunne ikke få en stabil forbindelse til serveren.
Sådan diagnosticerer du fejlen
- Åbn URL’en og kontrollér den faktiske HTTP-statuskode – gerne både som almindelig bruger og med et crawl-værktøj.
- Brug URL-inspektion og rapporterne i Google Search Console til at se Googles seneste observation.
- Undersøg, om interne links, sitemap eller canonical peger på den forkerte URL.
- Se i serverloggen, om problemet er enkeltstående eller rammer mange URL’er og tidspunkter.
- Kontrollér igen efter rettelsen; en ny crawl kan tage tid.
Vælg løsning efter intentionen
Hvis en side er flyttet permanent, bør den gamle URL normalt pege direkte på den nærmeste relevante side med en 301 redirect. Hvis indholdet er slettet uden erstatning, er en korrekt 404 eller 410 ofte det rigtige svar. Undgå at sende alle slettede URL’er til forsiden; det skjuler problemet og hjælper sjældent brugeren.
Crawling er ikke det samme som indeksering
En URL kan crawles uden at blive indekseret, og en tidligere kendt URL kan i nogle tilfælde stå i søgeresultaterne, selv om crawling senere blokeres. Derfor skal du først afgøre, om problemet er adgang, valg af canonical, kvalitet eller et bevidst fravalg.
Kilder kontrolleret 10. oktober 2026: Google Search Central om HTTP- og netværksfejl og robots.txt.