Hva er brukeragenter?
En brukeragent er en streng som identifiserer hvilken bot eller nettleser som får tilgang til nettstedet ditt. AI-søkemotorer bruker spesifikke brukeragenter slik at du kan kontrollere tilgangen deres i robots.txt.
Å forstå disse brukeragentene hjelper deg med å konfigurere GEO-vennlig tilgang. Denne referansen lister alle viktige AI-botter du bør vite om.
Viktige AI-bot brukeragenter
| Botnavn | Brukeragent-streng | Selskap |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT-pluginer/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (trening) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI-funksjoner) |
| Diffbot | Diffbot | Diffbot (kunnskapsgraf) |
| cohere-ai | cohere-ai | Cohere |
robots.txt-eksempler
Tillat alle AI-botter (anbefalt for GEO)
Denne konfigurasjonen tillater alle AI-botter å crawle hele nettstedet ditt:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Blokker alle AI-botter (ikke anbefalt)
Bruk kun dette hvis du vil melde deg ut av AI-søk fullstendig:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Delvis tilgang-eksempel
Tillat AI-botter til offentlig innhold men blokker private områder:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Teste konfigurasjonen din
Sjekk din robots.txt
Besøk: https://yoursite.com/robots.txt
Bekreft at filen laster og inneholder dine AI-bot-konfigurasjoner.
Bruk robots.txt-testere
Google Search Console tilbyr en robots.txt-tester. Test forskjellige brukeragenter for å bekrefte konfigurasjonen din.
Overvåk serverlogger
Sjekk serverloggene dine for å se hvilke botter som faktisk crawler. Se etter brukeragent-strengene i tilgangslogger.
Beste praksis
- •Tillat alle AI-botter med mindre du har spesifikke grunner til ikke å gjøre det
- •Hold din robots.txt enkel og godt dokumentert
- •Test endringer før du distribuerer til produksjon
- •Overvåk logger for å se hvilke botter som faktisk besøker
- •Oppdater din robots.txt når nye AI-botter dukker opp
- •Blokker kun spesifikke sensitive mapper, ikke hele nettstedet
Relaterte ressurser
- Komplett robots.txt-guide
Full guide til robots.txt-konfigurasjon
- AI-bottilgang
Forstå bottilgang for GEO
- Teknisk SEO-sjekkliste
Komplett teknisk optimaliseringssjekkliste