Retrieval-augmented generation (RAG)

Tenk på en eksamen der du kan bruke boka. Modellen trenger ikke huske alt, fordi den kan slå opp først.

Navnet kommer fra en forskningsartikkel fra 2020 av Lewis og kolleger. De kombinerte en språkmodell med en søkbar indeks over Wikipedia.

Et selskap lager en kundeservice-chatbot basert på sine egne brukerveiledninger. En kunde spør hvordan man tilbakestiller en enhet. Systemet finner først de mest nyttige avsnittene, og modellen skriver et kort svar ut fra dem.

Google sier at AI-funksjonene bruker RAG. De henter relevante, oppdaterte sider fra indeksen og lager et svar med lenker man kan klikke på.

I et RAG-system kan bare hentet tekst havne i svaret. Hvis siden din ikke dukker opp i det første steget, kan den ikke bli sitert.

• Skriv seksjoner som tydelig svarer på ett spørsmål, så et hentet avsnitt gir mening alene.
• Bruk ordene folk faktisk bruker om et emne, sammen med fagbegrepene.
• Hold sidene dine crawlbare og indekserbare: i Googles AI-funksjoner starter hentingen i søkeindeksen.

Grounding

Googles guide beskriver RAG som "also known as grounding". I praksis peker de to ordene på den samme ideen.

Fine-tuning

Fine-tuning trener modellen videre, så selve modellen endrer seg. RAG lar modellen være og gir den tekst å lese.