Robots.txt er en tekstfil på roten av domenet som forteller crawlere hvor de ikke skal gå. WordPress lager en virtuell versjon automatisk, altså en fil som ikke finnes på disken, men som serveres når noen ber om /robots.txt.
Filen er kort, den er offentlig, og den kan gjøre stor skade på få tegn. Det er verdt et kvarters oppmerksomhet.
Hva WordPress lager selv
Standardversjonen blokkerer /wp-admin/, med et unntak for admin-ajax.php, og viser til sitemapen. Det er fornuftig, og for mange nettsteder er det alt som trengs.
Legger du en fysisk robots.txt på serveren, overstyrer den den virtuelle. Det er verdt å vite, fordi mange leter i pluginen etter en regel som i virkeligheten står i en fil ingen husker at de la der.
Den feilen som koster mest
En enkelt linje:
Disallow: /
Den blokkerer hele nettstedet. Den blir gjerne liggende igjen fra et testmiljø, eller den følger med når et nettsted flyttes fra utvikling til produksjon.
Symptomet er at trafikken forsvinner over noen uker, uten at noe annet har endret seg. Sjekk dette først når et nettsted plutselig blir borte fra Google. Det tar tretti sekunder og er den vanligste enkeltårsaken jeg har sett.
Robots.txt er ikke noindex
Dette er den mest utbredte misforståelsen, og konsekvensen er kontraintuitiv.
En side blokkert i robots.txt kan fortsatt vises i søkeresultatet, med URL og uten beskrivelse, hvis Google får nok signaler utenfra. Verre: har du satt noindex på siden og deretter blokkert den, får Google aldri lest noindex-instruksen, og siden blir liggende.
Skal noe ut av indeksen, bruk noindex og la siden være crawlbar til den er borte. Se robots.txt, noindex og canonical.
Ikke blokker CSS og JavaScript
En gammel anbefaling som fortsatt sirkulerer er å blokkere /wp-includes/ og temamapper for å spare crawl-kapasitet.
Det er direkte skadelig i dag. Google rendrer siden for å vurdere den, og trenger tilgang til stilark og skript for å se hva brukeren ser. Blokkerer du dem, kan siden bli vurdert som ødelagt eller som dårlig tilpasset mobil.
Hva som gjerne kan blokkeres
På et vanlig WordPress-nettsted er det lite som trenger blokkering. Det som kan være aktuelt:
- Interne søkeresultater, typisk
/?s=. Disse kan bli uendelig mange, og de har ingen verdi i søk. - Filter- og sorteringsparametre i nettbutikker, som lager tusenvis av varianter.
- Handlekurv, kasse og kontosider i WooCommerce.
Merk at dette handler om å spare crawl-kapasitet, ikke om å holde noe skjult. Har du under noen tusen sider, er dette sjelden et reelt problem. Se crawlability og indeksering.
Filen er offentlig
Hvem som helst kan lese dittdomene.no/robots.txt, og mange gjør det.
Skriver du inn Disallow: /hemmelig-kampanje/ eller Disallow: /kundeportal-test/, har du nettopp publisert en oversikt over det du helst ville skjult. Skal noe være utilgjengelig, bruk innlogging eller passordbeskyttelse.
Ta med sitemapen
En linje som peker til sitemapen hører hjemme i filen:
Sitemap: https://dittdomene.no/sitemap.xml
De fleste SEO-plugins legger den inn automatisk. Sjekk at adressen stemmer, særlig etter en flytting eller etter bytte av plugin. Se sitemap i WordPress.
AI-crawlere
Robots.txt er også der du eventuelt styrer AI-boter som GPTBot, Google-Extended og PerplexityBot. Om du bør blokkere dem er en egen avveining, og for de fleste norske bedrifter mener jeg svaret er nei. Se hvordan AI-søk finner og siterer innhold.
Slik redigerer og kontrollerer du filen
De fleste SEO-plugins har en editor for robots.txt i WordPress-grensesnittet, slik at du slipper FTP. Det gjelder blant annet THiS SEO plugin, som jeg selv har utviklet.
Uansett hvordan du redigerer: test etterpå. Google Search Console har et verktøy som viser den filen Google ser, og som lar deg sjekke om en bestemt URL er blokkert. Sjekk minst én viktig side, ikke bare at filen ser riktig ut.
Når du bør se på den igjen
Etter lansering, etter flytting til ny server, etter bytte av SEO-plugin, og hvis trafikken faller uten forklaring. Ellers trenger den ikke oppmerksomhet.
Det er en fil som skal være kjedelig. Blir den lang og full av regler, er det som regel et tegn på at noen har prøvd å løse et indekseringsproblem med feil verktøy.