De fleste AI-søketjenester gjør det samme i tre steg: de tolker spørsmålet, henter relevant innhold fra nettet, og lar en språkmodell formulere et svar basert på det den fant. Modellen skriver ikke svaret fra hukommelsen, den skriver det fra materialet den nettopp hentet.
Denne mekanikken er verdt å forstå, fordi den forklarer hvorfor noen tiltak virker og andre ikke gjør det.
Steg for steg
Spørsmålet brytes ned. Ett spørsmål fra brukeren blir gjerne til flere søk bak kulissene. «Hvilken SEO-plugin bør jeg velge» kan bli til søk på hver enkelt plugin, på sammenligninger og på priser. Dette kalles ofte spørringsspredning, og det betyr at du kan bli plukket opp av et delspørsmål du ikke hadde tenkt på.
Innhold hentes. Systemet søker i en indeks, henter et utvalg sider og trekker ut de delene som ser relevante ut. Merk at det er deler av sider, ikke hele sider.
Svaret formuleres. Modellen sammenfatter det den har, og fester kildehenvisninger til påstandene. Det er her du enten er med eller ikke.
Konsekvensen av steg to er den viktigste: konkurransen står mellom avsnitt, ikke mellom sider. Et godt formulert avsnitt midt i en lang artikkel kan brukes selv om resten av siden er middelmådig, og en utmerket side kan bli forbigått fordi poengene er spredt over flere setninger.
Hvilke crawlere som henter innholdet ditt
Det er nyttig å vite at det er flere, og at de gjør ulike ting:
- Googlebot henter innhold til Googles indeks, som også ligger til grunn for AI-oversikter og AI-modus.
- Google-Extended styrer om innholdet ditt kan brukes til å trene og forbedre Googles modeller. Å blokkere den påvirker ikke vanlig søk.
- OAI-SearchBot henter innhold til ChatGPTs søkefunksjon.
- GPTBot henter innhold til OpenAIs modelltrening.
- ChatGPT-User henter en side i det øyeblikket en bruker ber om det.
- PerplexityBot, ClaudeBot og flere andre gjør tilsvarende for sine tjenester.
Skillet mellom søk og trening er verdt å merke seg. Blokkerer du GPTBot, holder du innholdet utenfor treningsdata, men du kan fortsatt bli hentet av søkeboten. Blokkerer du søkeboten, blir du usynlig i den tjenestens svar.
Bør du blokkere noen av dem?
Dette er en reell avveining, ikke et opplagt valg.
Argumentet for å blokkere: innholdet ditt brukes til å bygge tjenester som besvarer spørsmål uten å sende deg besøkende, og du får ingenting igjen for det. Publisister med abonnementsmodell har god grunn til å vurdere dette.
Argumentet mot: for de fleste bedrifter er synlighet poenget. Å bli nevnt i et svar er nærmere en anbefaling enn et tyveri, og blokkerer du, forsvinner du fra en kanal som vokser.
Min anbefaling for en vanlig norsk bedrift er å la det være åpent. Vurderingen ser annerledes ut om innholdet ditt er produktet du selger.
Google har i tillegg lagt inn en egen kontroll i Search Console som lar deg holde innholdet ute av AI-oversikter og AI-modus uten at det påvirker vanlig rangering. Den samme avveiningen gjelder der.
Om llms.txt
Du vil se anbefalinger om å legge en llms.txt-fil på nettstedet, altså en oppsummering ment for språkmodeller.
Filen er et forslag fra et enkeltmiljø, ikke en standard. Google har uttalt at ingen AI-systemer bruker den, og jeg har ikke sett dokumentasjon på effekt fra noen av de store leverandørene. Den koster lite å lage, så du kan gjerne gjøre det om du liker å ligge i forkant, men behandle den som et eksperiment og ikke som et tiltak.
Hva som ser ut til å avgjøre om du blir sitert
Uten at noen av leverandørene har dokumentert dette i detalj, peker observasjonene ganske samstemt mot:
- at innholdet er tilgjengelig og lett å hente fra
- at det finnes et avsnitt som svarer direkte på delspørsmålet
- at kilden fremstår etablert og troverdig
- at innholdet er oppdatert
- at temaet og navnet ditt henger sammen også andre steder på nettet
Det siste er det mest oversette. Modellen har lest langt mer om deg enn det du selv har publisert, og det er en av grunnene til at omtale uten lenke har fått ny betydning.
Vær skeptisk til bastante påstander
Feltet er fullt av folk som selger sikkerhet i noe ingen har fasit på. Leverandørene publiserer ikke hvordan kildevalget skjer, systemene endres ofte, og det samme spørsmålet kan gi ulike kilder to dager på rad.
Den tryggeste konklusjonen er også den kjedeligste: sørg for at innholdet kan hentes, at det er verdt å hente, og at det er tydelig hvem som står bak. Se skrive innhold AI trygt kan sitere.