Mikä on user-agent-nimi?
Jokainen botti lähettää jokaisen pyynnön mukana nimen: user-agentinsa. Robots.txt-tiedostossa käytät nimen lyhyttä muotoa, tokenia, kun annat botille omat säännöt. Isoilla ja pienillä kirjaimilla ei ole väliä: GPTBot ja gptbot ovat sama nimi.
Tekoälyyritykset käyttävät eri botteja eri tehtäviin. Hakijat etsivät sivuja tekoälyhakuun, oppijat keräävät sivuja koulutukseen ja avustajat avaavat sivun, kun joku kysyy siitä. Google-Extended ja Applebot-Extended eivät ole lainkaan robotteja: ne päättävät vain, miten Googlen ja Applen jo indeksoimia sivuja saa käyttää.
Oppijan estäminen pitää sivusi tulevan koulutuksen ulkopuolella. Hakijan estäminen pitää ne sen tuotteen vastausten ulkopuolella. Haluatko nähdä, mitä oma robots.txt-tiedostosi tekee? Kokeile ilmaista tekoälyrobottien tarkistinta.
Tekoälybottien nimet, tarkistettuna kunkin yrityksen dokumentaatiosta
| Nimi robots.txt:ssä | Yritys | Mitä se tekee | Noudattaako robots.txt:tä? |
|---|---|---|---|
| Diffbot | Diffbot | Epäselvä, ei dokumentaatiota | Tuntematon |
| OAI-SearchBot | OpenAI | Etsii sivuja tekoälyhakuun | Kyllä |
| GPTBot | OpenAI | Kerää sivuja tekoälyn koulutukseen | Kyllä |
| ChatGPT-User | OpenAI | Avaa sivuja käyttäjän pyynnöstä | Ei aina (OpenAI) |
| Claude-SearchBot | Anthropic | Etsii sivuja tekoälyhakuun | Kyllä |
| ClaudeBot | Anthropic | Kerää sivuja tekoälyn koulutukseen | Kyllä |
| Claude-User | Anthropic | Avaa sivuja käyttäjän pyynnöstä | Kyllä |
| PerplexityBot | Perplexity | Etsii sivuja tekoälyhakuun | Kyllä |
| Perplexity-User | Perplexity | Avaa sivuja käyttäjän pyynnöstä | Yleensä ei (Perplexity) |
| Googlebot | Hakukone, ruokkii myös tekoälyvastauksia | Kyllä | |
| Google-Extended | Asetus, ei robotti | Kyllä | |
| Google-Agent | Avaa sivuja käyttäjän pyynnöstä | Yleensä ei (Google) | |
| bingbot | Microsoft | Hakukone, ruokkii myös tekoälyvastauksia | Kyllä |
| Applebot | Apple | Hakukone, ruokkii myös tekoälyvastauksia | Kyllä |
| Applebot-Extended | Apple | Asetus, ei robotti | Kyllä |
| meta-externalagent | Meta | Kerää sivuja tekoälyn koulutukseen | Kyllä |
| meta-webindexer | Meta | Etsii sivuja tekoälyhakuun | Kyllä |
| meta-externalfetcher | Meta | Avaa sivuja käyttäjän pyynnöstä | Ei aina (Meta) |
| Amazonbot | Amazon | Kerää sivuja tekoälyn koulutukseen | Kyllä |
| Amzn-SearchBot | Amazon | Etsii sivuja tekoälyhakuun | Kyllä |
| Amzn-User | Amazon | Avaa sivuja käyttäjän pyynnöstä | Ei aina (Amazon) |
| DuckAssistBot | DuckDuckGo | Etsii sivuja tekoälyhakuun | Kyllä |
| MistralAI-User | Mistral AI | Avaa sivuja käyttäjän pyynnöstä | Kyllä |
| MistralAI-Index | Mistral AI | Etsii sivuja tekoälyhakuun | Mistral AI ei kerro |
| MistralAI-Training | Mistral AI | Kerää sivuja tekoälyn koulutukseen | Kyllä |
| CCBot | Common Crawl | Kerää sivuja tekoälyn koulutukseen | Kyllä |
| Bytespider | ByteDance | Epäselvä, ei dokumentaatiota | Tuntematon |
| cohere-ai | Cohere | Epäselvä, ei dokumentaatiota | Tuntematon |
| Omgilibot | Omgili | Epäselvä, ei dokumentaatiota | Tuntematon |
Tarkista asetuksesi
Käytä tekoälyrobottien tarkistinta
Anna sivustosi tekoälyrobottien tarkistimeen. Se lukee robots.txt-tiedostosi kuten kukin botti ja näyttää ratkaisevan rivin.
Avaa robots.txt-tiedostosi
Avaa sivustosi.fi/robots.txt selaimessa. Sen pitäisi latautua pelkkänä tekstinä, ei verkkosivuna.
Katso palvelimen lokit
Etsi yllä olevia nimiä käyttölokeistasi. Kuka tahansa voi lähettää botin nimen, joten OpenAI, Anthropic, Perplexity ja Common Crawl julkaisevat IP-listoja, joilla voit varmistaa oikeat käynnit.
Hyvät tavat
Päätä botti kerrallaan, älä kaikki tai ei mitään: hakijat, oppijat ja avustajat tekevät eri asioita.
Anna botille oma ryhmä vain, jos se tarvitsee eri säännöt, ja toista yhteiset säännöt siinä ryhmässä.
Jokainen isäntä ja aliverkkotunnus tarvitsee oman robots.txt-tiedoston juurihakemistoonsa.
Älä estä tekoälybotteja IP-osoitteen perusteella, jos haluat niiden lukevan sääntösi. Anthropic varoittaa, että IP-esto estää sen botteja lukemasta robots.txt:tä.
Anna muutokselle noin päivä: OpenAI, Perplexity, Meta ja Amazon mainitsevat noin 24 tuntia, DuckDuckGo enintään 72 tuntia.
Tarkista myös palomuuri tai CDN. Robots.txt on pyyntö, ei lukko.
Aiheeseen liittyvää
Miten robots.txt toimii sääntö säännöltä
Näe, mitkä tekoälybotit robots.txt ja palvelimesi päästävät sisään
Määritä robots.txt tekoälyboteille vaihe vaiheelta
Tee robots.txt omilla bottikohtaisilla valinnoillasi