Crawl- en indexinstellingen
Web Bot Auth
Web Bot Auth is een authenticatiemethode waarbij een bot zijn HTTP-verzoeken cryptografisch ondertekent, zodat een website kan controleren dat een verzoek echt van die bot komt.
In gewone woorden
Iedereen kan „GPTBot” in een user agent zetten. Een handtekening namaken is veel lastiger.
Het leunt op twee IETF-concepten (drafts): een voor een map waarin een crawler zijn publieke sleutels deelt, en een die bepaalt hoe die sleutels de identiteit van de crawler aan HTTP-verzoeken koppelen.
Voorbeeld
Cloudflare gebruikt Web Bot Auth als een van de manieren om bots en agents te verifiëren. Een ondertekend verzoek kan worden gecontroleerd tegen de gepubliceerde sleutels van de crawler voordat het wordt doorgelaten.
Waarom het telt voor AI-zoeken
Nep-crawlers komen veel voor: Google en Common Crawl waarschuwen allebei dat de namen van hun crawlers worden nagebootst.
Ondertekende verzoeken maken het makkelijker om de echte AI-crawlers binnen te laten en bedriegers buiten te houden.
Wat je kunt doen
- Gebruik je Cloudflare, bekijk dan de instellingen voor botverificatie.
- Zolang handtekeningen nog niet overal zijn, verifieer je bots met de IP-lijsten die hun eigenaars publiceren.
- Beoordeel een crawler niet alleen op zijn naam; controleer of hij is wie hij zegt.
Vaak verward met
- User agent
- Een user agent is alleen een naam die de bezoeker meestuurt. Web Bot Auth voegt bewijs toe.
- IP-verificatie
- Een IP-lijst laat zien waar een verzoek vandaan komt. Een handtekening laat zien wie het stuurde.
Bronnen
Feiten en bronnen voor het laatst gecontroleerd op 19 oktober 2026.
Verwante begrippen
Verder lezen op GEO-Score
Hoe doet jouw pagina het in AI-zoeken?
GEO-Score checkt één pagina op 22 signalen, van toegang voor AI-crawlers tot structured data, en laat zien wat je eerst moet oplossen.
Analyseer een pagina