Tekoälyrobotit
ClaudeBot
Kutsutaan myös: Claude-User
ClaudeBot on Anthropicin verkkorobotti, joka kerää sisältöä, joka voi auttaa sen generatiivisten tekoälymallien koulutuksessa.
Selkeästi sanottuna
Anthropicilla on kolme bottia. ClaudeBot on koulutusta varten, Claude-User hakee sivuja, kun joku kysyy Claudelta jotain, ja Claude-SearchBot parantaa haun laatua.
Jos sivusto rajoittaa ClaudeBotia, Anthropicin mukaan se tarkoittaa, että sivuston tuleva sisältö jätetään pois sen koulutusdatasta.
Esimerkki
Alla oleva katkelma on Anthropicin esimerkki ClaudeBotin estämisestä koko sivustolta. Anthropic lisää, että tämä on tehtävä jokaisella aliverkkotunnuksella, jonka haluat jättää pois.
User-agent: ClaudeBot
Disallow: /Miksi tällä on väliä tekoälyhaussa
ClaudeBotin estäminen koskee koulutusta. Anthropicin mukaan Claude-Userin tai Claude-SearchBotin poistaminen käytöstä voi heikentää sivustosi näkyvyyttä haussa.
Anthropic sanoo myös, ettei sen IP-osoitteiden estäminen välttämättä toimi hyvin, koska botit eivät silloin pysty lukemaan robots.txt-tiedostoasi.
Mitä voit tehdä
- Käytä kieltäytymiseen robots.txt-tiedostoa IP-estojen sijaan, kuten Anthropic suosittelee.
- Päätä erikseen ClaudeBotista (koulutus) ja Claude-SearchBotista (haku).
- Jos botit käyvät liian usein, lisää Crawl-delay-rivi; Anthropicin mukaan se tukee tätä standardin ulkopuolista laajennusta.
Kokeile: Ilmainen robots.txt-generaattori
Sekoitetaan usein näihin
- Claude-User
- Claude-User käy sivulla, kun joku esittää Claudelle kysymyksen. Jos estät sen, Claude ei voi hakea sisältöäsi näille käyttäjille.
- Claude-SearchBot
- Claude-SearchBot indeksoi sisältöä parantaakseen Clauden hakutuloksia.
Pikafaktat
- Ylläpitäjä
- Anthropic
- Nimi robots.txt-tiedostossa
- ClaudeBot, Claude-User
- Virallinen IP-luettelo
- crawling/bots.json
Lähteet
Faktat ja lähteet tarkistettu viimeksi 19. lokakuuta 2026.
Liittyvät termit
Miten sivusi pärjää tekoälyhaussa?
GEO-Score tarkistaa sivun 22 signaalin avulla tekoälyrobottien pääsystä rakenteiseen dataan ja näyttää, mitä kannattaa korjata ensin.
Analysoi sivu