RAG — wann sich der Aufwand lohnt
Eigene Dokumente ans Modell anzuschließen ist kein Selbstzweck. Es lohnt sich dort, wo die Wissensbasis größer ist als jedes Kontextfenster.
Retrieval-Augmented Generation heißt im Kern: Bevor das Modell antwortet, sucht ein Schritt davor die passenden Stellen aus einer eigenen Wissensbasis und legt sie in den Kontext. Das Modell erfindet weniger, weil es etwas zu lesen hat.
Wann es sich lohnt
- Die Wissensbasis ist deutlich größer als das Kontextfenster.
- Die Inhalte ändern sich häufiger, als man ein Modell nachtrainieren möchte.
- Es muss belegbar sein, woher eine Aussage stammt.
Wann nicht
Passt das gesamte relevante Material ohnehin in den Kontext, ist die Retrieval-Schicht nur eine zusätzliche Fehlerquelle: Ein schlechter Treffer wird zu einer schlechten Antwort, und der Fehler liegt dann nicht im Modell, sondern in der Suche.
Unsere Einordnung
Wir bauen die Suchschicht erst, wenn das Kontextfenster nachweislich nicht mehr reicht — und messen vorher, statt zu schätzen.
Quellen
Passt in die KI-Landkarte
Die Zusammenhänge hinter dieser Meldung stehen ausführlich im Kapitel Daten & Wissen.
Zu Daten & Wissen- daten
- rag
- architektur