Retrieval-augmented generation (RAG)

Tænk på en eksamen, hvor du må bruge bogen. Modellen behøver ikke huske alt, fordi den kan slå op først.

Navnet kommer fra en forskningsartikel fra 2020 af Lewis og kolleger. De kombinerede en sprogmodel med et søgbart indeks over Wikipedia.

En virksomhed bygger en support-chatbot på sine egne manualer. En kunde spørger, hvordan man nulstiller en enhed. Systemet finder først de mest nyttige afsnit i manualen, og modellen skriver et kort svar ud fra dem.

Google siger, at dets AI-funktioner bruger RAG. De henter relevante, opdaterede sider fra indekset og laver et svar med links, man kan klikke på.

I et RAG-system kan kun hentet tekst ende i svaret. Hvis din side ikke dukker op i det første trin, kan den ikke blive citeret.

• Skriv sektioner, der klart besvarer ét spørgsmål, så en hentet passage giver mening alene.
• Brug de ord, folk faktisk bruger om et emne, sammen med fagudtrykkene.
• Hold dine sider crawlbare og indekserbare: i Googles AI-funktioner starter hentningen i søgeindekset.

Grounding

Googles guide beskriver RAG som "also known as grounding". I praksis peger de to ord på den samme idé.

Fine-tuning

Fine-tuning træner modellen videre, så selve modellen ændrer sig. RAG lader modellen være og giver den tekst at læse.