So gibt die KI präzise, belegbare Antworten auf Basis Ihres Firmenwissens, etwa Handbücher oder Richtlinien.
Wie funktioniert RAG?
Retrieval-Augmented Generation verbindet zwei Schritte: Zuerst sucht ein Retriever die relevantesten Ausschnitte aus Ihrer eigenen Wissensbasis, etwa Handbücher, Verträge oder Tickets, meist über eine Vektorsuche auf Embeddings. Danach formuliert das Sprachmodell aus diesen Ausschnitten eine Antwort und verweist auf die Belegstelle.
Die Methode wurde 2020 von einem Forschungsteam um Patrick Lewis (damals Facebook AI Research, heute Meta) vorgestellt, um die Wissenslücken reiner Sprachmodelle zu schliessen, ohne das Modell selbst neu zu trainieren.
Für wen ist RAG relevant (KMU)?
RAG lohnt sich, sobald Antworten auf firmeneigenem, sich änderndem Wissen beruhen müssen: Produktkatalog, interne Richtlinien, Vertragswerk, Support-Historie. Für ein KMU ist RAG oft die schnellere und günstigere Alternative zum Feintuning eines eigenen Modells, weil sich nur die Wissensbasis laufend aktualisieren lässt, nicht das Modell selbst.
Regulierte Branchen wie Finanz, MedTech oder Versicherung profitieren zusätzlich davon, dass jede Antwort eine nachvollziehbare Quelle hat: Ein Prüfer kann nachvollziehen, aus welchem Dokument eine Aussage stammt, statt einer Behauptung vertrauen zu müssen. Für den Datenschutz gilt dieselbe Logik wie bei jeder Verarbeitung von Personendaten: Wo RAG auf Personendaten zugreift, greifen DSGVO beziehungsweise nDSG unverändert weiter.
Was müssen Sie tun?
Der Aufbau folgt weniger einer technischen als einer organisatorischen Reihenfolge: erst verstehen, welches Wissen wo liegt und wem es gehört, dann erst die Pipeline bauen.
- Wissensbasis identifizieren und aufbereiten (Quellen-Audit)
- Berechtigungen im Retrieval abbilden, nicht nur im Original-Dokument
- Qualität der Antworten laufend messen
- Re-Indizierung einplanen, wenn sich Dokumente ändern
Typische Fehler
- Berechtigungen aus dem Original-System werden im RAG-Index nicht nachgebildet
- Die Wissensbasis wird einmalig indexiert und danach nie aktualisiert
- Quellenangabe fehlt, Antworten wirken dadurch unprüfbar
- RAG wird auf unstrukturierte, veraltete Datenablagen aufgesetzt, statt vorher aufzuräumen
Aufwand und Kostentreiber
Den Aufwand bestimmen vor allem: die Menge und Qualität der vorhandenen Dokumente, aufgeräumt oder verstreut über mehrere Systeme, die Anzahl anzubindender Quellen wie SharePoint, Fileshares oder Tickets, die Komplexität des Berechtigungsmodells, und ob Embeddings und Inferenz lokal oder über ein Gateway laufen sollen.
Worauf bei Anbietern achten?
- Werden bestehende Berechtigungen im Retrieval respektiert, oder sieht am Ende jeder alles?
- Gibt jede Antwort eine nachvollziehbare Quelle aus, oder wird nur behauptet?
- Ist eine laufende Re-Indizierung Teil des Angebots, oder bleibt der Assistent auf einem Stand stehen?
- Läuft die Verarbeitung lokal oder wo genau, wenn Vertraulichkeit zählt?
Häufige Fragen
Was unterscheidet RAG von einem klassischen Chatbot?
Ein klassischer Chatbot antwortet aus seinem Training, RAG sucht zuerst in Ihren eigenen Dokumenten und lässt das Modell erst danach formulieren, mit Quellenangabe.
Woher kommt die Methode RAG?
Aus einem 2020 veröffentlichten Forschungspapier von Patrick Lewis und Kolleginnen und Kollegen (Facebook AI Research), das zeigte, wie sich Sprachmodelle mit externem Wissen kombinieren lassen.
Ersetzt RAG das Training eines eigenen Modells?
In den meisten Fällen ja, weil sich die Wissensbasis laufend aktualisieren lässt, ohne das Modell selbst neu zu trainieren. Das ist deutlich aufwendiger.
Sieht dann jeder Mitarbeitende alle Dokumente über den Assistenten?
Nur, wenn die Berechtigungen falsch umgesetzt wurden. Richtig aufgesetzt gilt im Retrieval dieselbe Rolle wie im Original-System.
Wie aktuell bleibt der Assistent?
Das hängt von der Re-Indizierung ab. Ohne laufende Aktualisierung arbeitet RAG mit einer eingefrorenen Momentaufnahme.
Läuft RAG nur mit sehr grossen Sprachmodellen?
Nein, RAG funktioniert grundsätzlich mit jedem Sprachmodell, auch kleineren, lokal betriebenen. Die Qualität der Antwort hängt stark von der Qualität der Wissensbasis ab.
Quellen
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, Lewis, P. et al., arXiv / NeurIPS 2020, 2020
- Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung, DSGVO), EUR-Lex, Amt für Veröffentlichungen der Europäischen Union, 2016