Retrieval-augmented generation (RAG)

Tänk på ett prov där du får ha boken framme. Modellen behöver inte komma ihåg allt, eftersom den kan slå upp först.

Namnet kommer från en forskningsartikel från 2020 av Lewis med kollegor. De kombinerade en språkmodell med ett sökbart index över Wikipedia.

Ett företag bygger en supportchattbot på sina egna manualer. En kund frågar hur man återställer en enhet. Systemet hittar först de mest användbara styckena i manualen, och modellen skriver ett kort svar utifrån dem.

Google säger att dess AI-funktioner använder RAG. De hämtar relevanta, aktuella sidor från indexet och skapar ett svar med klickbara länkar.

I ett RAG-system kan bara hämtad text hamna i svaret. Om din sida inte dyker upp i det första steget kan den inte citeras.

• Skriv avsnitt som tydligt besvarar en fråga, så att ett hämtat stycke är begripligt på egen hand.
• Använd de ord folk faktiskt använder om ett ämne, tillsammans med fackorden.
• Håll dina sidor crawlbara och indexerbara: i Googles AI-funktioner börjar hämtningen i sökindexet.

Grounding

Googles guide beskriver RAG som "also known as grounding". I praktiken pekar de två orden på samma idé.

Fine-tuning

Fine-tuning tränar modellen vidare, så själva modellen ändras. RAG låter modellen vara och ger den text att läsa.