AI-crawlere
Meta-ExternalAgent
Kaldes også: Meta-ExternalFetcher
Meta-ExternalAgent er Metas webcrawler til formål som at træne AI-grundmodeller eller forbedre produkter ved at indeksere indhold direkte.
Med enkle ord
Dens user agent ser sådan ud: meta-externalagent/1.1.
Meta har også Meta-ExternalFetcher. Den henter enkelte links, når en bruger beder om det, fx så en AI kan udføre opgaver, og Meta siger, at den kan omgå robots.txt.
Eksempel
Et website, der ikke vil have Meta til at crawle dets indhold til disse formål, tilføjer gruppen nedenfor i sin robots.txt.
User-agent: meta-externalagent
Disallow: /Hvorfor det betyder noget for AI-søgning
Én crawler dækker flere formål, så en blokering påvirker både AI-træning og indeksering til Metas produkter.
Meta-ExternalFetcher arbejder for bestemte brugere og følger måske ikke robots.txt.
Det kan du gøre
- Beslut dig om Meta-ExternalAgent særskilt fra Metas andre crawlere, som facebookexternalhit.
- Brug robots.txt til Meta-ExternalAgent.
- Læg privat indhold bag et login, fordi Meta-ExternalFetcher kan omgå robots.txt.
Prøv det: Gratis robots.txt-generator
Forveksles ofte med
- Meta-ExternalFetcher
- Meta-ExternalFetcher henter et link, når en bruger beder om det. Meta-ExternalAgent crawler nettet.
- facebookexternalhit
- facebookexternalhit er en anden Meta-crawler. Meta siger, at den kan omgå robots.txt ved sikkerheds- eller integritetstjek.
Hurtige fakta
- Drives af
- Meta
- Navn i robots.txt
- meta-externalagent, meta-externalfetcher
Kilder
Fakta og kilder sidst tjekket 19. oktober 2026.
Relaterede begreber
Hvordan klarer din side sig i AI-søgning?
GEO-Score tjekker en side på 22 signaler, fra adgang for AI-crawlere til strukturerede data, og viser, hvad du skal rette først.
Analysér en side