KI-Crawler
Meta-ExternalAgent
Auch genannt: Meta-ExternalFetcher
Meta-ExternalAgent ist der Webcrawler von Meta für Zwecke wie das Training von KI-Basismodellen oder das Verbessern von Produkten durch direktes Indexieren von Inhalten.
Einfach erklärt
Sein User-Agent sieht aus wie meta-externalagent/1.1.
Meta betreibt auch Meta-ExternalFetcher. Er ruft einzelne Links auf Wunsch eines Nutzers ab, etwa damit KI Aufgaben erledigt, und Meta sagt, dass er robots.txt umgehen kann.
Beispiel
Eine Website, die nicht möchte, dass Meta ihre Inhalte für diese Zwecke crawlt, fügt die Gruppe unten in die robots.txt ein.
User-agent: meta-externalagent
Disallow: /Warum es für die KI-Suche zählt
Ein Crawler deckt mehrere Zwecke ab, Sperren betrifft also KI-Training und die Produkt-Indexierung von Meta.
Meta-ExternalFetcher arbeitet für einzelne Nutzer und hält sich möglicherweise nicht an robots.txt.
Was Sie tun können
- Entscheiden Sie über Meta-ExternalAgent getrennt von Metas anderen Crawlern, etwa facebookexternalhit.
- Nutzen Sie robots.txt für Meta-ExternalAgent.
- Legen Sie private Inhalte hinter einen Login, denn Meta-ExternalFetcher kann robots.txt umgehen.
Ausprobieren: Kostenloser robots.txt-Generator
Oft verwechselt mit
- Meta-ExternalFetcher
- Meta-ExternalFetcher ruft einen Link auf Wunsch eines Nutzers ab. Meta-ExternalAgent crawlt das Web.
- facebookexternalhit
- facebookexternalhit ist ein weiterer Crawler von Meta. Laut Meta kann er robots.txt bei Sicherheits- oder Integritätsprüfungen umgehen.
Kurz und knapp
- Betreiber
- Meta
- Name in robots.txt
- meta-externalagent, meta-externalfetcher
Quellen
Fakten und Quellen zuletzt geprüft am 19. Oktober 2026.
Verwandte Begriffe
Wie schlägt sich Ihre Seite in der KI-Suche?
GEO-Score prüft eine Seite anhand von 22 Signalen, vom Zugang für KI-Crawler bis zu strukturierten Daten, und zeigt, was Sie zuerst beheben sollten.
Seite analysieren