AI-crawlers
Meta-ExternalAgent
Ook wel: Meta-ExternalFetcher
Meta-ExternalAgent is de webcrawler van Meta voor doelen zoals het trainen van AI-basismodellen of het verbeteren van producten door content direct te indexeren.
In gewone woorden
Zijn user agent ziet eruit als meta-externalagent/1.1.
Meta heeft ook Meta-ExternalFetcher. Die haalt losse links op als een gebruiker erom vraagt, bijvoorbeeld om AI taken te laten afronden, en Meta zegt dat hij robots.txt kan omzeilen.
Voorbeeld
Een site die niet wil dat Meta haar content voor deze doelen crawlt, voegt de groep hieronder toe aan robots.txt.
User-agent: meta-externalagent
Disallow: /Waarom het telt voor AI-zoeken
Eén crawler dekt meerdere doelen, dus blokkeren raakt zowel AI-training als het indexeren voor producten van Meta.
Meta-ExternalFetcher werkt voor individuele gebruikers en volgt robots.txt misschien niet.
Wat je kunt doen
- Beslis over Meta-ExternalAgent los van de andere crawlers van Meta, zoals facebookexternalhit.
- Gebruik robots.txt voor Meta-ExternalAgent.
- Zet privécontent achter een login, want Meta-ExternalFetcher kan robots.txt omzeilen.
Probeer het: Gratis robots.txt-generator
Vaak verward met
- Meta-ExternalFetcher
- Meta-ExternalFetcher haalt één link op als een gebruiker erom vraagt. Meta-ExternalAgent crawlt het web.
- facebookexternalhit
- facebookexternalhit is nog een crawler van Meta. Meta zegt dat hij robots.txt kan omzeilen bij beveiligings- of integriteitscontroles.
Snelle feiten
- Van
- Meta
- Naam in robots.txt
- meta-externalagent, meta-externalfetcher
Bronnen
Feiten en bronnen voor het laatst gecontroleerd op 19 oktober 2026.
Verwante begrippen
Hoe doet jouw pagina het in AI-zoeken?
GEO-Score checkt één pagina op 22 signalen, van toegang voor AI-crawlers tot structured data, en laat zien wat je eerst moet oplossen.
Analyseer een pagina