Retrieval-augmented generation (RAG)

Pensez à un examen à livre ouvert. Le modèle n’a pas besoin de tout retenir, puisqu’il peut d’abord chercher.

Le nom vient d’un article de recherche de 2020 signé Lewis et ses coauteurs. Ils ont associé un modèle de langage à un index de Wikipédia consultable.

Une entreprise crée un chatbot d’aide à partir de ses propres manuels. Un client demande comment réinitialiser un appareil. Le système trouve d’abord les paragraphes les plus utiles du manuel, puis le modèle en tire une réponse courte.

Google dit que ses fonctionnalités IA utilisent le RAG. Elles récupèrent dans l’index des pages pertinentes et à jour, puis génèrent une réponse avec des liens cliquables vers ces pages.

Dans un système RAG, seul le texte récupéré peut finir dans la réponse. Si votre page n’est pas trouvée à cette première étape, elle ne peut pas être citée.

• Écrivez des sections qui répondent clairement à une question, pour qu’un passage récupéré ait du sens tout seul.
• Utilisez les mots que les gens emploient vraiment pour un sujet, à côté des termes techniques.
• Gardez vos pages explorables et indexables : pour les fonctionnalités IA de Google, la récupération part de l’index de recherche.

Grounding

Le guide de Google décrit le RAG comme « also known as grounding ». En pratique, les deux mots désignent la même idée.

Fine-tuning

Le fine-tuning entraîne davantage le modèle, ce qui modifie le modèle lui-même. Le RAG laisse le modèle tel quel et lui donne du texte à lire.