Hva er et user-agent-navn?
Hver bot sender et navn med hver forespørsel: sin user-agent. I robots.txt bruker du den korte formen av navnet, tokenet, for å gi en bot egne regler. Store og små bokstaver spiller ingen rolle: GPTBot og gptbot er samme navn.
AI-selskaper bruker ulike boter til ulike oppgaver. Søkere finner sider til AI-søk, lærlinger samler sider til trening, og hjelpere åpner en side når noen spør om den. Google-Extended og Applebot-Extended er ikke crawlere i det hele tatt: de bestemmer bare hvordan sider Google og Apple allerede crawler, kan brukes.
Å blokkere en lærling holder sidene dine utenfor fremtidig trening. Å blokkere en søker holder dem utenfor svarene til det produktet. Lurer du på hva din egen robots.txt gjør? Prøv den gratis AI-crawler-sjekken.
Navn på AI-boter, sjekket mot hvert selskaps dokumentasjon
| Navn i robots.txt | Selskap | Hva den gjør | Følger robots.txt? |
|---|---|---|---|
| Diffbot | Diffbot | Uklart, ingen dokumentasjon | Ukjent |
| OAI-SearchBot | OpenAI | Finner sider til AI-søk | Ja |
| GPTBot | OpenAI | Samler sider til AI-trening | Ja |
| ChatGPT-User | OpenAI | Åpner sider når en bruker ber om det | Ikke alltid, sier OpenAI |
| Claude-SearchBot | Anthropic | Finner sider til AI-søk | Ja |
| ClaudeBot | Anthropic | Samler sider til AI-trening | Ja |
| Claude-User | Anthropic | Åpner sider når en bruker ber om det | Ja |
| PerplexityBot | Perplexity | Finner sider til AI-søk | Ja |
| Perplexity-User | Perplexity | Åpner sider når en bruker ber om det | Vanligvis ikke, sier Perplexity |
| Googlebot | Søkemotor, mater også AI-svar | Ja | |
| Google-Extended | Innstilling, ikke en crawler | Ja | |
| Google-Agent | Åpner sider når en bruker ber om det | Vanligvis ikke, sier Google | |
| bingbot | Microsoft | Søkemotor, mater også AI-svar | Ja |
| Applebot | Apple | Søkemotor, mater også AI-svar | Ja |
| Applebot-Extended | Apple | Innstilling, ikke en crawler | Ja |
| meta-externalagent | Meta | Samler sider til AI-trening | Ja |
| meta-webindexer | Meta | Finner sider til AI-søk | Ja |
| meta-externalfetcher | Meta | Åpner sider når en bruker ber om det | Ikke alltid, sier Meta |
| Amazonbot | Amazon | Samler sider til AI-trening | Ja |
| Amzn-SearchBot | Amazon | Finner sider til AI-søk | Ja |
| Amzn-User | Amazon | Åpner sider når en bruker ber om det | Ikke alltid, sier Amazon |
| DuckAssistBot | DuckDuckGo | Finner sider til AI-søk | Ja |
| MistralAI-User | Mistral AI | Åpner sider når en bruker ber om det | Ja |
| MistralAI-Index | Mistral AI | Finner sider til AI-søk | Ikke oppgitt av Mistral AI |
| MistralAI-Training | Mistral AI | Samler sider til AI-trening | Ja |
| CCBot | Common Crawl | Samler sider til AI-trening | Ja |
| Bytespider | ByteDance | Uklart, ingen dokumentasjon | Ukjent |
| cohere-ai | Cohere | Uklart, ingen dokumentasjon | Ukjent |
| Omgilibot | Omgili | Uklart, ingen dokumentasjon | Ukjent |
Sjekk oppsettet ditt
Bruk AI-crawler-sjekken
Skriv inn nettstedet ditt i AI-crawler-sjekken. Den leser robots.txt slik hver bot gjør, og viser den nøyaktige linjen som avgjør.
Åpne robots.txt-filen din
Gå til dittnettsted.no/robots.txt i en nettleser. Filen skal vises som ren tekst, ikke som en nettside.
Se i serverloggene dine
Søk etter navnene ovenfor i tilgangsloggene dine. Hvem som helst kan sende navnet til en bot, så OpenAI, Anthropic, Perplexity og Common Crawl publiserer IP-lister du kan bruke til å sjekke ekte besøk.
Gode vaner
Bestem per bot, ikke alt eller ingenting: søkere, lærlinger og hjelpere gjør ulike ting.
Gi bare en bot sin egen gruppe hvis den trenger andre regler, og gjenta felles regler i den gruppen.
Hver vert og hvert underdomene trenger sin egen robots.txt i roten.
Ikke blokker AI-boter på IP-adresse hvis du vil at de skal lese reglene dine. Anthropic advarer om at en IP-blokkering hindrer botene deres i å lese robots.txt.
Gi en endring rundt et døgn: OpenAI, Perplexity, Meta og Amazon nevner omtrent 24 timer, DuckDuckGo opptil 72 timer.
Sjekk også brannmuren eller CDN-et ditt. Robots.txt er en forespørsel, ikke en lås.
Relaterte ressurser
Slik fungerer robots.txt, regel for regel
Se hvilke AI-boter robots.txt og serveren din slipper inn
Guide til tilgang for AI-crawlere
Sett opp robots.txt for AI-boter steg for steg
Lag en robots.txt med ditt eget valg per bot