Wer einen KI-Assistenten auf eigene Unterlagen loslassen will – Handbücher, Verträge, Bedingungswerke, die eigene Website –, landet fast immer bei einem RAG-System. Der Begriff klingt technisch, die Idee ist einfach.
Das Prinzip in drei Schritten
- Zerlegen: Die Dokumente werden in Abschnitte geteilt und so gespeichert, dass man sie nach Bedeutung durchsuchen kann (als sogenannte Vektoren).
- Suchen: Kommt eine Frage, sucht das System die passendsten Abschnitte heraus.
- Antworten: Die KI bekommt Frage und gefundene Abschnitte – und darf nur daraus antworten, idealerweise mit Quellenangabe.
RAG steht für Retrieval-Augmented Generation: Erzeugung, ergänzt um vorheriges Nachschlagen. Der große Vorteil: Das Wissen bleibt in deinen Dokumenten und lässt sich jederzeit aktualisieren, ohne ein Modell neu zu trainieren.
Wo es in der Praxis hakt
Die häufigste Ursache für falsche Antworten ist nicht das Sprachmodell, sondern die Suche. Wir haben das selbst gemessen: Ein Assistent nannte einen falschen Fakt – der richtige Abschnitt war vorhanden, lag aber knapp außerhalb der Treffer, die das Modell zu sehen bekam. Erst messen, dann am Modell schrauben.
Weitere typische Stolpersteine:
- Schlecht zerlegte Dokumente: Tabellen, Fußnoten und Verweise („siehe § 4 Abs. 2") verlieren beim Zerteilen ihren Zusammenhang.
- Veraltete Versionen: Liegen alte und neue Fassung nebeneinander, mischt die KI sie.
- Keine Quellen: Ohne Quellenangabe kann niemand prüfen, ob die Antwort stimmt.
Wenn Zusammenhänge zählen: Wissensgraphen
Bei Gesetzen, Versicherungsbedingungen oder technischen Normen steht die Antwort oft nicht in einem Abschnitt, sondern in der Beziehung zwischen mehreren. Hier helfen Wissensgraphen: Systeme wie LightRAG zerlegen Dokumente zusätzlich in Begriffe und deren Beziehungen und können so auch über mehrere Stellen hinweg antworten. Wir betreiben solche Wissensgraph-Assistenten selbst – etwa für Steuerrecht und historische Versicherungsbedingungen – und lassen das Gelernte in Aurora einfließen.
Worauf du bei einem RAG-Projekt achten solltest
- Quellenangaben in jeder Antwort.
- Feste Testfragen mit bekannten Antworten – vor dem Start und nach jeder Änderung.
- Ehrliches „weiß ich nicht" statt kreativer Lückenfüller.
- Datenschutz: Wo liegen die Dokumente, welches Modell verarbeitet sie, gibt es einen Auftragsverarbeitungsvertrag?
Wenn du einen Assistenten für eure eigenen Unterlagen planst – oder ein Angebot dafür vorliegen hast –, sprich uns an. Für Angebote anderer Anbieter gibt es unsere unabhängige Zweitmeinung.
Häufige Fragen
Was ist ein RAG-System?
Ein RAG-System (Retrieval-Augmented Generation) sucht zu einer Frage zuerst passende Abschnitte in den eigenen Dokumenten und lässt die KI dann nur auf dieser Grundlage antworten – idealerweise mit Quellenangabe.
Was ist der Unterschied zwischen RAG und Fine-Tuning?
Beim Fine-Tuning wird ein Modell mit eigenen Daten nachtrainiert. Bei RAG bleibt das Modell unverändert und bekommt das Wissen bei jeder Frage aus den Dokumenten mitgeliefert. RAG ist leichter aktuell zu halten und erlaubt Quellenangaben.
Was ist LightRAG?
LightRAG ist ein Open-Source-Ansatz, der klassische Vektorsuche mit einem Wissensgraphen kombiniert: Dokumente werden in Begriffe und Beziehungen zerlegt, sodass auch Fragen beantwortet werden können, deren Antwort über mehrere Stellen verteilt ist.
Über 20 Jahre Marketing und E-Commerce: Sony Europe (Club Vaio, Sony Style), Product Marketing für LUMIX bei Panasonic, General Manager Marketing bei Teufel/Raumfeld, Mitgründer von CUMO und DealBird. Seit 2024 baut er mit TeamMaid KI-Lösungen für den Mittelstand – von der Strategie bis zu eigenen Produkten wie LogBuster und Omnibooker.
