Chunking

Uma página inteira costuma ser longa demais para entregar de uma vez a um modelo, então os sistemas RAG primeiro a dividem em chunks.

A Anthropic descreve chunks que normalmente não passam de algumas centenas de tokens.

Um guia longo sobre consertar bicicletas poderia ser dividido em chunks como "consertar um pneu furado", "ajustar os freios" e "lubrificar a corrente". Uma pergunta sobre freios recupera então só o chunk dos freios.

Chunking descreve como os sistemas de IA processam sua página, não algo que você precise fazer.

O Google diz que você não precisa quebrar seu conteúdo em pedacinhos para a Pesquisa Google. Os sistemas dele entendem vários assuntos em uma página e podem mostrar a parte relevante.

• Escreva primeiro para pessoas: um título claro por subtema já cria chunks naturais.
• Faça a primeira frase abaixo de cada título responder a esse título.
• Não divida uma boa página em várias páginas rasas para a IA. O Google avisa que criar páginas para cada variação de uma busca, principalmente para manipular o ranking, viola sua política contra abuso de conteúdo em escala (scaled content abuse).

Passage ranking

Chunking é como um sistema de recuperação divide documentos. Passage ranking é um sistema do Google que avalia seções isoladas de uma página.