AI-crawlers
Meta-ExternalAgent
Kallas även: Meta-ExternalFetcher
Meta-ExternalAgent är Metas webbcrawler för syften som att träna grundläggande AI-modeller eller förbättra produkter genom att indexera innehåll direkt.
Med enkla ord
Dess user agent ser ut så här: meta-externalagent/1.1.
Meta har också Meta-ExternalFetcher. Den hämtar enskilda länkar när en användare ber om det, till exempel så att en AI kan utföra uppgifter, och Meta säger att den kan kringgå robots.txt.
Exempel
En webbplats som inte vill att Meta crawlar dess innehåll för de här syftena lägger till gruppen nedan i sin robots.txt.
User-agent: meta-externalagent
Disallow: /Varför det spelar roll för AI-sök
En enda crawler täcker flera syften, så en blockering påverkar både AI-träning och indexering för Metas produkter.
Meta-ExternalFetcher arbetar åt enskilda användare och följer kanske inte robots.txt.
Det här kan du göra
- Bestäm dig om Meta-ExternalAgent separat från Metas andra crawlers, som facebookexternalhit.
- Använd robots.txt för Meta-ExternalAgent.
- Lägg privat innehåll bakom en inloggning, eftersom Meta-ExternalFetcher kan kringgå robots.txt.
Testa: Gratis robots.txt-generator
Förväxlas ofta med
- Meta-ExternalFetcher
- Meta-ExternalFetcher hämtar en länk när en användare ber om det. Meta-ExternalAgent crawlar webben.
- facebookexternalhit
- facebookexternalhit är en annan Meta-crawler. Meta säger att den kan kringgå robots.txt vid säkerhets- eller integritetskontroller.
Snabbfakta
- Drivs av
- Meta
- Namn i robots.txt
- meta-externalagent, meta-externalfetcher
Källor
Fakta och källor senast kontrollerade 19 oktober 2026.
Relaterade begrepp
Hur klarar sig din sida i AI-sök?
GEO-Score kontrollerar en sida på 22 signaler, från åtkomst för AI-crawlers till strukturerad data, och visar vad du ska åtgärda först.
Analysera en sida