Hvad er et user-agent-navn?
Hver bot sender et navn med hver forespørgsel: sin user-agent. I robots.txt bruger du den korte form af navnet, tokenet, til at give en bot egne regler. Store og små bogstaver er ligegyldige: GPTBot og gptbot er det samme navn.
AI-virksomheder bruger forskellige bots til forskellige opgaver. Søgere finder sider til AI-søgning, lærlinge samler sider til træning, og hjælpere åbner en side, når nogen spørger om den. Google-Extended og Applebot-Extended er slet ikke crawlere: de bestemmer kun, hvordan sider, Google og Apple allerede crawler, må bruges.
At blokere en lærling holder dine sider ude af fremtidig træning. At blokere en søger holder dem ude af det produkts svar. Vil du se, hvad din egen robots.txt gør? Prøv det gratis AI-crawler-tjek.
Navne på AI-bots, tjekket mod hver virksomheds dokumentation
| Navn i robots.txt | Virksomhed | Hvad den gør | Følger robots.txt? |
|---|---|---|---|
| Diffbot | Diffbot | Uklart, ingen dokumentation | Ukendt |
| OAI-SearchBot | OpenAI | Finder sider til AI-søgning | Ja |
| GPTBot | OpenAI | Samler sider til AI-træning | Ja |
| ChatGPT-User | OpenAI | Åbner sider, når en bruger beder om det | Ikke altid, siger OpenAI |
| Claude-SearchBot | Anthropic | Finder sider til AI-søgning | Ja |
| ClaudeBot | Anthropic | Samler sider til AI-træning | Ja |
| Claude-User | Anthropic | Åbner sider, når en bruger beder om det | Ja |
| PerplexityBot | Perplexity | Finder sider til AI-søgning | Ja |
| Perplexity-User | Perplexity | Åbner sider, når en bruger beder om det | Normalt ikke, siger Perplexity |
| Googlebot | Søgemaskine, føder også AI-svar | Ja | |
| Google-Extended | Indstilling, ikke en crawler | Ja | |
| Google-Agent | Åbner sider, når en bruger beder om det | Normalt ikke, siger Google | |
| bingbot | Microsoft | Søgemaskine, føder også AI-svar | Ja |
| Applebot | Apple | Søgemaskine, føder også AI-svar | Ja |
| Applebot-Extended | Apple | Indstilling, ikke en crawler | Ja |
| meta-externalagent | Meta | Samler sider til AI-træning | Ja |
| meta-webindexer | Meta | Finder sider til AI-søgning | Ja |
| meta-externalfetcher | Meta | Åbner sider, når en bruger beder om det | Ikke altid, siger Meta |
| Amazonbot | Amazon | Samler sider til AI-træning | Ja |
| Amzn-SearchBot | Amazon | Finder sider til AI-søgning | Ja |
| Amzn-User | Amazon | Åbner sider, når en bruger beder om det | Ikke altid, siger Amazon |
| DuckAssistBot | DuckDuckGo | Finder sider til AI-søgning | Ja |
| MistralAI-User | Mistral AI | Åbner sider, når en bruger beder om det | Ja |
| MistralAI-Index | Mistral AI | Finder sider til AI-søgning | Ikke oplyst af Mistral AI |
| MistralAI-Training | Mistral AI | Samler sider til AI-træning | Ja |
| CCBot | Common Crawl | Samler sider til AI-træning | Ja |
| Bytespider | ByteDance | Uklart, ingen dokumentation | Ukendt |
| cohere-ai | Cohere | Uklart, ingen dokumentation | Ukendt |
| Omgilibot | Omgili | Uklart, ingen dokumentation | Ukendt |
Tjek din opsætning
Brug AI-crawler-tjekket
Skriv dit website i AI-crawler-tjekket. Det læser din robots.txt, som hver bot gør, og viser den præcise linje, der afgør det.
Åbn din robots.txt
Gå til ditwebsite.dk/robots.txt i en browser. Filen skal vises som ren tekst, ikke som en webside.
Kig i dine serverlogs
Søg efter navnene ovenfor i dine adgangslogs. Alle kan sende en bots navn, så OpenAI, Anthropic, Perplexity og Common Crawl udgiver IP-lister, du kan bruge til at tjekke rigtige besøg.
Gode vaner
Beslut pr. bot, ikke alt eller intet: søgere, lærlinge og hjælpere laver forskellige ting.
Giv kun en bot sin egen gruppe, hvis den skal have andre regler, og gentag fælles regler i den gruppe.
Hver host og hvert subdomæne skal have sin egen robots.txt i roden.
Bloker ikke AI-bots på IP-adresse, hvis de skal kunne læse dine regler. Anthropic advarer om, at en IP-blokering forhindrer virksomhedens bots i at læse robots.txt.
Giv en ændring cirka en dag: OpenAI, Perplexity, Meta og Amazon nævner omkring 24 timer, DuckDuckGo op til 72 timer.
Tjek også din firewall eller dit CDN. robots.txt er en anmodning, ikke en lås.
Relaterede ressourcer
Sådan virker robots.txt, regel for regel
Se hvilke AI-bots din robots.txt og server lukker ind
Guide til adgang for AI-crawlere
Sæt robots.txt op til AI-bots trin for trin
Lav en robots.txt med dit eget valg pr. bot