Chunking

Une page web entière est souvent trop longue pour être donnée d’un coup à un modèle, alors les systèmes RAG la découpent d’abord en chunks.

Anthropic décrit des chunks qui ne dépassent généralement pas quelques centaines de tokens.

Un long guide de réparation de vélo pourrait être découpé en chunks comme « réparer une crevaison », « régler les freins » et « graisser la chaîne ». Une question sur les freins ne récupère alors que le chunk sur les freins.

Le chunking décrit la façon dont les systèmes d’IA traitent votre page, pas quelque chose que vous devez faire vous-même.

Google dit que vous n’avez pas besoin de découper votre contenu en tout petits morceaux pour la recherche Google. Ses systèmes comprennent plusieurs sujets sur une même page et peuvent montrer la bonne partie.

• Écrivez d’abord pour les gens : un titre clair par sous-sujet crée déjà des chunks naturels.
• Faites en sorte que la première phrase sous chaque titre réponde à ce titre.
• Ne découpez pas une bonne page en dizaines de pages minces pour l’IA. Google prévient que créer des pages pour chaque variante de requête, surtout pour manipuler le classement, enfreint sa règle contre l’abus de contenu à grande échelle (scaled content abuse).

Passage ranking

Le chunking, c’est la façon dont un système de récupération découpe les documents. Le passage ranking est un système de Google qui évalue les sections d’une page.