Logfil-analyse er en undersøgelse af serverens adgangslogs for at se, hvilke URL’er crawlere faktisk anmoder om, hvornår de gør det, og hvilket svar de modtager. Hvor et crawl-værktøj starter fra links, viser loggen de anmodninger, der nåede serveren.
Hvilke oplysninger indeholder en log?
En typisk loglinje kan indeholde tidspunkt, URL, HTTP-metode, statuskode, antal bytes, IP-adresse, user-agent og svartid. Format og fuldstændighed afhænger dog af server, CDN, cache og logpolitik.
Hvad kan du finde med logfil-analyse?
- Vigtige URL’er, som Googlebot sjældent eller aldrig anmoder om.
- Meget crawl på parameter-URL’er, filtre, dubletter eller andre sider uden søgeværdi.
- Gentagne 4xx-, 5xx- eller 429-svar til crawlere.
- Redirect-kæder og gamle URL’er, som stadig bliver besøgt.
- Forskelle mellem sitemaps, interne links og den faktiske crawlaktivitet.
En praktisk arbejdsgang
- Vælg en repræsentativ periode og indhent logdata fra origin-server, CDN eller hostingmiljø.
- Normalisér URL’er og filtrér relevante user-agents.
- Verificér mistænkte Googlebot-besøg med DNS eller Googles offentliggjorte IP-intervaller – en user-agent kan forfalskes.
- Gruppér anmodninger efter URL-type, statuskode, crawler og dato.
- Sammenlign med sitemap, analytics, CMS-eksport og et almindeligt sitecrawl.
- Prioritér årsager: defekte links, unødvendige parametre, serverfejl eller manglende intern navigation.
Eksempel
En webshop har 50.000 produkter, men loggen viser, at størstedelen af Googlebots anmodninger går til sorterings- og filterparametre. Samtidig får nye produkter få besøg. Analysen dokumenterer mønsteret, men løsningen kræver stadig en vurdering af URL-struktur, faceted navigation, interne links og crawl budget.
Begrænsninger
Logfiler fortæller, hvad serveren modtog – ikke hvorfor Google valgte en URL, om indholdet blev indekseret eller hvordan siden rangerer. Data kan desuden mangle på grund af cache, kort opbevaring eller forkert opsætning. Behandl IP-adresser og andre logdata efter virksomhedens sikkerheds- og privatlivskrav.
Kilder kontrolleret 10. oktober 2026: Google om verifikation af crawlerbesøg og crawlstatistik i Search Console.