Mitä user-agentit ovat?
User-agent on merkkijono, joka tunnistaa, mikä botti tai selain käyttää verkkosivustoasi. Tekoälyhakukoneet käyttävät erityisiä user-agenteja, joten voit hallita niiden pääsyä robots.txt-tiedostossa.
Näiden user-agenttien ymmärtäminen auttaa sinua määrittämään GEO-ystävällisen pääsyn. Tämä viiteopas listaa kaikki tärkeimmät tekoälybotit, jotka sinun tulisi tuntea.
Tärkeimmät tekoälybotti-user-agentit
| Botin nimi | User-Agent-merkkijono | Yritys |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT-laajennukset/selaus) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (koulutus) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (tekoälyominaisuudet) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
robots.txt-esimerkit
Salli kaikki tekoälybotit (suositeltu GEO:lle)
Tämä määritys sallii kaikkien tekoälybottien indeksoida koko sivustosi:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: YouBot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Diffbot
Allow: /
User-agent: cohere-ai
Allow: /Estä kaikki tekoälybotit (ei suositeltu)
Käytä tätä vain, jos haluat jättäytyä kokonaan pois tekoälyhakukoneista:
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Google-Extended
Disallow: /Osittaisen pääsyn esimerkki
Salli tekoälybottien pääsy julkiseen sisältöön, mutta estä yksityiset alueet:
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /admin/
Disallow: /user/
Disallow: /api/Määrityksesi testaaminen
Tarkista robots.txt-tiedostosi
Käy osoitteessa: https://yoursite.com/robots.txt
Varmista, että tiedosto latautuu ja sisältää tekoälybottien määritykset.
Käytä robots.txt-testereitä
Google Search Console tarjoaa robots.txt-testerin. Testaa eri user-agenteja varmistaaksesi määrityksesi toimivuuden.
Seuraa palvelinlokeja
Tarkista palvelinlokisi nähdäksesi, mitkä botit todella indeksoivat sivustoasi. Etsi user-agent-merkkijonoja käyttölokeista.
Parhaat käytännöt
- •Salli kaikki tekoälybotit, ellei sinulla ole erityistä syytä olla sallimatta
- •Pidä robots.txt yksinkertaisena ja hyvin dokumentoituna
- •Testaa muutokset ennen tuotantoon viemistä
- •Seuraa lokeja nähdäksesi, mitkä botit todella vierailevat
- •Päivitä robots.txt uusien tekoälybottien ilmaantuessa
- •Estä vain tietyt arkaluontoiset hakemistot, ei koko sivustoa
Aiheeseen liittyvät resurssit
- Robots.txt täydellinen opas
Täydellinen opas robots.txt-määrityksiin
- Tekoälybottien pääsy
Bottien pääsyn ymmärtäminen GEO:ta varten
- Tekninen SEO-tarkistuslista
Täydellinen tekninen optimointitarkistuslista