Hva er brukeragenter?
En brukeragent er en streng som identifiserer hvilken bot eller nettleser som besøker nettstedet ditt. AI-søkemotorer bruker spesifikke brukeragenter slik at du kan kontrollere tilgangen deres i robots.txt.
Å forstå disse brukeragentene hjelper deg å konfigurere GEO-vennlig tilgang. Denne referansen lister opp alle store AI-bots du bør kjenne til.
Viktige AI-bot-brukeragenter
| Bot-navn | Brukeragent-streng | Selskap |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT Plugins/Browse) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Training) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI features) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
robots.txt-eksempler
Tillat alle AI-bots (Anbefalt for GEO)
Denne konfigurasjonen lar alle AI-bots crawle hele nettstedet ditt:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Blokker alle AI-bots (Ikke anbefalt)
Bruk dette kun hvis du ønsker å velge bort AI-søk fullstendig:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Eksempel på delvis tilgang
Tillat AI-bots til offentlig innhold, men blokker private områder:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Test konfigurasjonen din
Sjekk robots.txt-filen din
Besøk: https://yoursite.com/robots.txt
Verifiser at filen lastes inn og inneholder AI-bot-konfigurasjonene dine.
Bruk robots.txt-testere
Google Search Console tilbyr en robots.txt-tester. Test ulike brukeragenter for å verifisere konfigurasjonen din.
Overvåk serverlogger
Sjekk serverloggene dine for å se hvilke bots som faktisk crawler. Se etter brukeragent-strenger i tilgangsloggene.
Beste praksis
- •Tillat alle AI-bots med mindre du har spesifikke grunner til å la være
- •Hold robots.txt enkel og godt dokumentert
- •Test endringer før du publiserer til produksjon
- •Overvåk logger for å se hvilke bots som faktisk besøker
- •Oppdater robots.txt etter hvert som nye AI-bots dukker opp
- •Blokker kun spesifikke sensitive mapper, ikke hele nettstedet
Relaterte ressurser
- Komplett guide til Robots.txt
Fullstendig guide til robots.txt-konfigurasjon
- AI-bot-tilgang
Forstå bot-tilgang for GEO
- Teknisk SEO-sjekkliste
Komplett sjekkliste for teknisk optimalisering