Vector search

Eerst wordt elke passage omgezet in een embedding en opgeslagen in een vectordatabase. Als er een vraag binnenkomt, krijgt die ook een embedding.

De database geeft dan de opgeslagen passages terug die het dichtst bij de vraag liggen.

Een kooksite slaat elke receptstap op als losse passage. Iemand vraagt: „Hoe voorkom ik dat pasta aan elkaar plakt?” Vector search kan de stap over roeren en veel water vinden, ook al staat het woord „plakken” er niet in.

Anthropic beschrijft dit als de gebruikelijke opzet voor RAG: documenten in chunks knippen, er embeddings van maken, die in een vectordatabase zetten en op betekenis zoeken.

Anthropic merkt ook op dat embeddings exacte matches kunnen missen, zoals een foutcode. Daarom voegen veel systemen er zoeken op trefwoord aan toe.

• Schrijf passages die op zichzelf kloppen, zodat één opgehaald stuk de vraag nog steeds beantwoordt.
• Zet exacte namen, modelnummers en codes in gewone tekst, want zoeken op betekenis alleen kan ze missen.
• Gebruik duidelijke koppen, zodat elke passage een duidelijk onderwerp heeft.

Semantisch zoeken

Semantisch zoeken is het doel: betekenis matchen. Vector search is een veelgebruikte manier om dat te bereiken.

Hybrid search

Hybrid search combineert vector search met zoeken op trefwoord.