Retrieval-Augmented Generation (RAG)

Denken Sie an eine Prüfung mit offenem Buch. Das Modell muss nicht alles im Kopf haben, weil es zuerst nachschlagen kann.

Der Name stammt aus einem Forschungsartikel von Lewis und anderen aus dem Jahr 2020. Sie kombinierten ein Sprachmodell mit einem durchsuchbaren Index von Wikipedia.

Eine Firma baut einen Hilfe-Chatbot auf ihren eigenen Handbüchern auf. Ein Kunde fragt, wie er ein Gerät zurücksetzt. Das System sucht zuerst die passendsten Absätze aus dem Handbuch, und das Modell schreibt daraus eine kurze Antwort.

Google sagt, dass seine KI-Funktionen RAG nutzen. Sie rufen relevante, aktuelle Seiten aus dem Suchindex ab und erstellen eine Antwort mit anklickbaren Links zu diesen Seiten.

In einem RAG-System kann nur abgerufener Text in der Antwort landen. Wird Ihre Seite im ersten Schritt nicht gefunden, kann sie nicht zitiert werden.

• Schreiben Sie Abschnitte, die eine Frage klar beantworten, damit ein abgerufener Teil für sich allein Sinn ergibt.
• Verwenden Sie die Wörter, die Menschen wirklich für ein Thema nutzen, neben Fachbegriffen.
• Halten Sie Ihre Seiten crawlbar und indexierbar: Für die KI-Funktionen von Google beginnt das Abrufen im Suchindex.

Grounding

Der Leitfaden von Google beschreibt RAG als „also known as grounding“. In der Praxis meinen beide Wörter dieselbe Idee.

Fine-Tuning

Beim Fine-Tuning wird das Modell weiter trainiert, das Modell selbst ändert sich also. RAG lässt das Modell, wie es ist, und gibt ihm Text zum Lesen.