Retrieval-augmented generation (RAG)

Denk aan een open-boektoets. Het model hoeft niet alles te onthouden, want het kan eerst dingen opzoeken.

De naam komt uit een onderzoeksartikel uit 2020 van Lewis en anderen. Zij combineerden een taalmodel met een doorzoekbare index van Wikipedia.

Een bedrijf bouwt een helpchatbot op basis van zijn eigen handleidingen. Een klant vraagt hoe hij een apparaat reset. Het systeem zoekt eerst de best passende alinea’s uit de handleiding, en het model schrijft daar een kort antwoord van.

Google zegt dat zijn AI-functies RAG gebruiken. Ze halen relevante, actuele pagina’s uit de Search-index en maken een antwoord met klikbare links naar die pagina’s.

In een RAG-systeem kan alleen opgehaalde tekst in het antwoord belanden. Wordt je pagina in die eerste stap niet gevonden, dan kan ze ook niet geciteerd worden.

• Schrijf secties die één vraag duidelijk beantwoorden, zodat een opgehaald stuk op zichzelf klopt.
• Gebruik de woorden die mensen echt gebruiken voor een onderwerp, naast eventuele vaktermen.
• Houd je pagina’s crawlbaar en indexeerbaar: voor de AI-functies van Google begint het ophalen bij de Search-index.

Grounding

De gids van Google beschrijft RAG als „also known as grounding”. In de praktijk bedoelen de twee woorden hetzelfde idee.

Fine-tuning

Bij fine-tuning train je het model verder, waardoor het model zelf verandert. RAG laat het model zoals het is en geeft het tekst om te lezen.