Vad är ett user-agent-namn?
Varje bot skickar ett namn med varje förfrågan: sin user-agent. I robots.txt använder du den korta formen av namnet, token, för att ge en bot egna regler. Stora och små bokstäver spelar ingen roll: GPTBot och gptbot är samma namn.
AI-företag använder olika botar för olika uppgifter. Sökare hittar sidor för AI-sökning, lärlingar samlar sidor för träning, och hjälpare öppnar en sida när någon frågar om den. Google-Extended och Applebot-Extended är inte crawlers alls: de bestämmer bara hur sidor som Google och Apple redan crawlar får användas.
Att blockera en lärling håller dina sidor utanför framtida träning. Att blockera en sökare håller dem utanför svaren från den produkten. Vill du se vad din egen robots.txt gör? Prova det kostnadsfria AI-crawlertestet.
Namn på AI-botar, kontrollerade mot varje företags dokumentation
| Namn i robots.txt | Företag | Vad den gör | Följer robots.txt? |
|---|---|---|---|
| Diffbot | Diffbot | Oklart, ingen dokumentation | Okänt |
| OAI-SearchBot | OpenAI | Hittar sidor för AI-sökning | Ja |
| GPTBot | OpenAI | Samlar sidor för AI-träning | Ja |
| ChatGPT-User | OpenAI | Öppnar sidor när en användare ber om det | Inte alltid, enligt OpenAI |
| Claude-SearchBot | Anthropic | Hittar sidor för AI-sökning | Ja |
| ClaudeBot | Anthropic | Samlar sidor för AI-träning | Ja |
| Claude-User | Anthropic | Öppnar sidor när en användare ber om det | Ja |
| PerplexityBot | Perplexity | Hittar sidor för AI-sökning | Ja |
| Perplexity-User | Perplexity | Öppnar sidor när en användare ber om det | Oftast inte, enligt Perplexity |
| Googlebot | Sökmotor, matar även AI-svar | Ja | |
| Google-Extended | Inställning, inte en crawler | Ja | |
| Google-Agent | Öppnar sidor när en användare ber om det | Oftast inte, enligt Google | |
| bingbot | Microsoft | Sökmotor, matar även AI-svar | Ja |
| Applebot | Apple | Sökmotor, matar även AI-svar | Ja |
| Applebot-Extended | Apple | Inställning, inte en crawler | Ja |
| meta-externalagent | Meta | Samlar sidor för AI-träning | Ja |
| meta-webindexer | Meta | Hittar sidor för AI-sökning | Ja |
| meta-externalfetcher | Meta | Öppnar sidor när en användare ber om det | Inte alltid, enligt Meta |
| Amazonbot | Amazon | Samlar sidor för AI-träning | Ja |
| Amzn-SearchBot | Amazon | Hittar sidor för AI-sökning | Ja |
| Amzn-User | Amazon | Öppnar sidor när en användare ber om det | Inte alltid, enligt Amazon |
| DuckAssistBot | DuckDuckGo | Hittar sidor för AI-sökning | Ja |
| MistralAI-User | Mistral AI | Öppnar sidor när en användare ber om det | Ja |
| MistralAI-Index | Mistral AI | Hittar sidor för AI-sökning | Anges inte av Mistral AI |
| MistralAI-Training | Mistral AI | Samlar sidor för AI-träning | Ja |
| CCBot | Common Crawl | Samlar sidor för AI-träning | Ja |
| Bytespider | ByteDance | Oklart, ingen dokumentation | Okänt |
| cohere-ai | Cohere | Oklart, ingen dokumentation | Okänt |
| Omgilibot | Omgili | Oklart, ingen dokumentation | Okänt |
Kolla din inställning
Använd AI-crawlertestet
Skriv in din webbplats i AI-crawlertestet. Det läser din robots.txt som varje bot gör och visar den exakta raden som avgör.
Öppna din robots.txt
Gå till dinwebbplats.se/robots.txt i en webbläsare. Filen ska visas som ren text, inte som en webbsida.
Titta i dina serverloggar
Sök efter namnen ovan i dina åtkomstloggar. Vem som helst kan skicka en bots namn, så OpenAI, Anthropic, Perplexity och Common Crawl publicerar IP-listor som du kan använda för att kontrollera riktiga besök.
Goda vanor
Bestäm per bot, inte allt eller inget: sökare, lärlingar och hjälpare gör olika saker.
Ge bara en bot en egen grupp om den behöver andra regler, och upprepa gemensamma regler i den gruppen.
Varje värd och varje underdomän behöver en egen robots.txt i roten.
Blockera inte AI-botar på IP-adress om du vill att de ska läsa dina regler. Anthropic varnar för att en IP-blockering hindrar dess botar från att läsa robots.txt.
Ge en ändring ungefär ett dygn: OpenAI, Perplexity, Meta och Amazon nämner runt 24 timmar, DuckDuckGo upp till 72 timmar.
Kolla också din brandvägg eller ditt CDN. Robots.txt är en begäran, inte ett lås.
Relaterade resurser
Så fungerar robots.txt, regel för regel
Se vilka AI-botar din robots.txt och server släpper in
Guide till åtkomst för AI-crawlers
Ställ in robots.txt för AI-botar steg för steg
Skapa en robots.txt med ditt eget val per bot