Mitä ovat käyttäjäagentit?
Käyttäjäagentti on merkkijono, joka tunnistaa, mikä botti tai selain käyttää verkkosivustoasi. AI-hakukoneet käyttävät tiettyjä käyttäjäagentteja, jotta voit hallita niiden pääsyä robots.txt:ssä.
Näiden käyttäjäagenttien ymmärtäminen auttaa sinua määrittämään GEO-ystävällisen pääsyn. Tämä viite luettelee kaikki tärkeimmät AI-botit, jotka sinun tulisi tietää.
Tärkeimmät AI-bottien käyttäjäagentit
| Botin nimi | Käyttäjäagenttimerkkijono | Yritys |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT-lisäosat/Selaa) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (Koulutus) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (AI-ominaisuudet) |
| Diffbot | Diffbot | Diffbot (Tietoverkko) |
| cohere-ai | cohere-ai | Cohere |
robots.txt-esimerkit
Salli kaikki AI-botit (Suositeltu GEO:lle)
Tämä määritys sallii kaikkien AI-bottien indeksoida koko sivustosi:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Estä kaikki AI-botit (Ei suositeltu)
Käytä tätä vain, jos haluat opt-out AI-hausta kokonaan:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Osittaisen pääsyn esimerkki
Salli AI-bottien julkiseen sisältöön mutta estä yksityiset alueet:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Määrityksesi testaaminen
Tarkista robots.txt
Vieraile: https://yoursite.com/robots.txt
Varmista, että tiedosto latautuu ja sisältää AI-bottien määritykset.
Käytä robots.txt-testaustyökaluja
Google Search Console tarjoaa robots.txt-testaustyökalun. Testaa eri käyttäjäagentteja varmistaaksesi määrityksesi.
Seuraa palvelimen lokeja
Tarkista palvelimen lokit nähdäksesi, mitkä botit todella indeksoivat. Etsi käyttäjäagenttimerkkijonoja access-lokeista.
Parhaat käytännöt
- •Salli kaikki AI-botit, ellei sinulla ole erityisiä syitä olla tekemättä niin
- •Pidä robots.txt yksinkertaisena ja hyvin dokumentoituna
- •Testaa muutokset ennen tuotantoon viemistä
- •Seuraa lokeja nähdäksesi, mitkä botit todella vierailevat
- •Päivitä robots.txt uusien AI-bottien ilmestyessä
- •Estä vain tietyt arkaluonteiset hakemistot, ei koko sivustoa
Aiheeseen liittyvät resurssit
- robots.txt täydellinen opas
Täydellinen opas robots.txt-määritykseen
- AI-bottien pääsy
Bottien pääsyn ymmärtäminen GEO:lle
- Tekninen SEO-tarkistuslista
Täydellinen teknisen optimoinnin tarkistuslista