Robots.txt er en tekstfil, som giver crawlere regler for, hvilke adresser de må hente på en hjemmeside. Filen ligger normalt på domænets rod, eksempelvis https://eksempel.dk/robots.txt. Den bruges til at styre crawling.
En blokering betyder ikke automatisk, at adressen forsvinder fra Google. Robots.txt er heller ikke adgangskontrol: Filen er offentlig, og en crawler kan vælge ikke at følge reglerne.
Hvad betyder de vigtigste linjer?
- User-agent: Angiver den crawler, som en gruppe regler gælder for. Stjernen
*bruges om crawlere generelt. - Disallow: Angiver en sti, som crawleren ikke må hente.
- Allow: Kan give adgang til en mere specifik sti inden for et ellers blokeret område.
- Sitemap: Angiver den fulde adresse til et sitemap, så crawleren kan finde det.
Regler kan fortolkes forskelligt af forskellige crawlere. For Google afgøres overlappende Allow- og Disallow-regler af, hvilken sti der matcher mest specifikt; det er ikke blot den sidste linje i filen, der vinder.
Et enkelt eksempel
Dette undervisningseksempel blokerer en opdigtet mappe og giver adgang til en bestemt undermappe:
User-agent: *
Disallow: /arkiv-test/
Allow: /arkiv-test/offentlig/
Sitemap: https://eksempel.dk/sitemap.xmlEn crawler, der følger reglerne, må hente /arkiv-test/offentlig/guide/, men ikke /arkiv-test/kladde/. Kopiér ikke eksemplet til din hjemmeside uden at tilpasse og teste de faktiske adresser.
Linjen Disallow: / blokerer crawling af hele området for den pågældende regelgruppe. Den kan derfor gøre stor skade, hvis den følger med fra et testmiljø til en offentlig hjemmeside.
Robots.txt eller noindex?
Brug robots.txt, når formålet er at styre, hvad en crawler henter. Brug noindex, når en offentlig side ikke skal indgå i søgeresultaterne. Google skal kunne hente siden for at læse dens noindex-regel.
Hvis du først sætter noindex og derefter blokerer adressen i robots.txt, kan du forhindre Google i at se reglen. En blokeret URL kan stadig blive vist ud fra oplysninger og links på andre sider.
Til private filer og testmiljøer bruger du adgangskontrol. Undlad at opfatte en liste over blokerede mapper som en måde at skjule deres adresser på.
Sådan kontrollerer du filen
- Åbn den aktuelle robots.txt. Undersøg den offentlige fil på det rigtige domæne. En WordPress-installation kan levere en virtuel fil fra et plugin frem for en fysisk fil på serveren.
- Vælg konkrete testadresser. Medtag en vigtig ydelsesside, en kategori, en artikel og nødvendige billed-, CSS- og JavaScript-filer.
- Find den relevante regelgruppe. Kontrollér crawlernavn og de stier, som hver adresse matcher. Gæt ikke ud fra én isoleret Disallow-linje.
- Test vigtige sider i Search Console. URL-inspektion kan vise, om Google må hente den konkrete side. Rapporten for robots.txt kan hjælpe med at undersøge Googles hentning af selve filen.
- Kontrollér igen efter ændringer. Undersøg det offentliggjorte svar og relevante URL’er efter cache, domæneskift og flytning fra et testmiljø.
Typiske fejl at lede efter
- For brede stier: En regel rammer hele indholdsmapper, selv om kun en bestemt del skulle udelades.
- Blokerede ressourcer: Google kan ikke hente filer, der er nødvendige for at forstå eller gengive siden.
- Forkert domæne eller protokol: En robots.txt-fil gælder for den vært, protokol og port, hvor den ligger. Subdomæner skal undersøges særskilt.
- Forkert mål: Filen bruges til at fjerne en side fra indekset, selv om det kræver en anden metode.
- Flere steder at redigere: Hosting, SEO-plugin eller en fysisk fil kan levere andre regler end dem, du forventer.
Start med den konkrete adresse, du vil påvirke, og det ønskede resultat. Det gør det lettere at vælge mellem crawlregler, noindex, en omdirigering og adgangskontrol.
Læs videre om indeksering og Google Search Console. Har flere vigtige sider mistet synlighed efter en flytning, kan en gennemgang af teknisk SEO hjælpe med at prioritere kontrollen.
Faglige kilder: Google Search Central: Introduktion til robots.txt og Googles fortolkning af robots.txt.