Applebot-Extended

O Applebot-Extended não rastreia páginas. A Apple só o usa para decidir como os dados rastreados pelo Applebot podem ser usados.

A Apple diz que páginas que bloqueiam o Applebot-Extended ainda podem aparecer nos resultados, no Spotlight, na Siri e no Safari.

A Apple pode usar dados rastreados para responder perguntas de conhecimento geral na Siri e na busca, com links para as fontes. Para deixar um conteúdo específico fora dessas respostas, a Apple indica a meta tag nosnippet.

User-agent: Applebot-Extended
Disallow: /

Na Apple, treinamento e respostas de IA são dois controles diferentes: Applebot-Extended para treinamento, nosnippet para as respostas.

Bloquear o Applebot-Extended não impede o Applebot de rastrear suas páginas.

• Adicione um grupo para o Applebot-Extended se você não quer que seu conteúdo seja usado para treinar os modelos da Apple.
• Use nosnippet no conteúdo que você quer deixar fora das respostas de conhecimento geral da Apple.
• Para páginas pagas, a Apple aceita isAccessibleForFree: false nos seus dados estruturados; assim ela não usa esse conteúdo como contexto extra para a IA.

Experimente: Gerador de robots.txt gratuito

Applebot

O Applebot é o rastreador da Apple para Spotlight, Siri e Safari. O Applebot-Extended é só uma configuração sobre o uso em treinamento.

Google-Extended

Os dois são tokens de exclusão sem rastreador próprio, de duas empresas diferentes.