Mitä user-agentit ovat?
User-agent on merkkijono, joka tunnistaa, mikä botti tai selain käyttää verkkosivustoasi. Tekoälyhakukoneet käyttävät erityisiä user-agenteja, joten voit hallita niiden pääsyä robots.txt-tiedostossa.
Näiden user-agenttien ymmärtäminen auttaa sinua määrittämään GEO-ystävällisen pääsyn. Tämä viiteopas listaa kaikki tärkeimmät tekoälybotit, jotka sinun tulisi tuntea.
Tärkeimmät tekoälybotti-user-agentit
| Botin nimi | User-Agent-merkkijono | Yritys |
|---|---|---|
| GPTBot | GPTBot | OpenAI (ChatGPT) |
| ChatGPT-User | ChatGPT-User | OpenAI (ChatGPT-laajennukset/selaus) |
| Claude-Web | Claude-Web | Anthropic (Claude) |
| anthropic-ai | anthropic-ai | Anthropic (koulutus) |
| Google-Extended | Google-Extended | Google (Gemini/Bard) |
| PerplexityBot | PerplexityBot | Perplexity AI |
| YouBot | YouBot | You.com |
| Applebot-Extended | Applebot-Extended | Apple (tekoälyominaisuudet) |
| Diffbot | Diffbot | Diffbot (Knowledge Graph) |
| cohere-ai | cohere-ai | Cohere |
Määrityksesi testaaminen
Tarkista robots.txt-tiedostosi
Käy osoitteessa:
Varmista, että tiedosto latautuu ja sisältää tekoälybottien määritykset.
Käytä robots.txt-testereitä
Google Search Console tarjoaa robots.txt-testerin. Testaa eri user-agenteja varmistaaksesi määrityksesi toimivuuden.
Seuraa palvelinlokeja
Tarkista palvelinlokisi nähdäksesi, mitkä botit todella indeksoivat sivustoasi. Etsi user-agent-merkkijonoja käyttölokeista.
Parhaat käytännöt
Salli kaikki tekoälybotit, ellei sinulla ole erityistä syytä olla sallimatta
Pidä robots.txt yksinkertaisena ja hyvin dokumentoituna
Testaa muutokset ennen tuotantoon viemistä
Seuraa lokeja nähdäksesi, mitkä botit todella vierailevat
Päivitä robots.txt uusien tekoälybottien ilmaantuessa
Estä vain tietyt arkaluontoiset hakemistot, ei koko sivustoa
Aiheeseen liittyvät resurssit
Robots.txt täydellinen opas
Täydellinen opas robots.txt-määrityksiin
Tekoälybottien pääsy
Bottien pääsyn ymmärtäminen GEO:ta varten
Tekninen SEO-tarkistuslista
Täydellinen tekninen optimointitarkistuslista