KI & Automation

Was ist RAG (Retrieval Augmented Generation)?

Retrieval Augmented Generation (RAG) ist ein Architekturmuster, das ein Sprachmodell mit einer externen Wissensquelle verbindet. Bei einer Anfrage ruft das RAG-System zuerst passende Dokumente aus einer Datenbasis ab, meist über eine Vektordatenbank, und liefert sie dem Modell als Kontext. Das Modell antwortet dann auf Basis dieser belegten Inhalte statt nur aus dem Trainingswissen. Der Begriff geht auf eine Arbeit von Patrick Lewis und Kollegen bei Meta AI (2020) zurück und reduziert Halluzinationen.

Ein reines Sprachmodell antwortet nur aus dem, was es im Training gesehen hat. Es kennt weder aktuelle noch unternehmensinterne Informationen und neigt dazu, fehlende Fakten zu erfinden, also zu halluzinieren. Ein RAG-System löst dieses Problem nach dem Prinzip einer Open-Book-Prüfung: Es schlägt erst in einer kuratierten Quelle nach und formuliert die Antwort dann auf Basis der gefundenen Belege. So bleiben Antworten aktuell, nachvollziehbar und an die eigene Datenbasis gebunden.

Kriterium	Reines Sprachmodell	RAG-System
Wissensbasis	Nur Trainingsdaten, fester Stand	Externe Quellen, jederzeit aktualisierbar
Aktualität	Veraltet ab Trainingsschluss	So aktuell wie die angebundene Datenbasis
Belegbarkeit	Keine Quellenangabe möglich	Antwort lässt sich auf abgerufene Dokumente zurückführen
Halluzinationsrisiko	Hoch bei unbekanntem Wissen	Reduziert, da Antwort an Belege gebunden
Anpassung	Neutraining oder Fine-Tuning nötig	Datenquelle aktualisieren genügt

Stand: Juni 2026. Der Begriff Retrieval Augmented Generation wurde 2020 von Patrick Lewis und Kollegen bei Meta AI (damals Facebook AI Research) eingeführt.

Wie ein RAG-System eine Anfrage beantwortet

Das RAG-System schlägt erst nach und formuliert dann. Die Vektordatenbank liefert über semantische Ähnlichkeit die relevantesten Textstellen. Die Darstellung ist illustrativ.

Wie funktioniert ein RAG-System?

Ein RAG-System arbeitet in zwei Phasen. Zunächst werden die Quelldokumente in kleine Abschnitte zerlegt und als Vektoren, sogenannte Embeddings, in einer Vektordatenbank gespeichert. Kommt eine Anfrage, läuft folgender Ablauf:

Retrieval: Die Anfrage wird ebenfalls in einen Vektor übersetzt, die Datenbank findet die semantisch ähnlichsten Textstellen.
Augmentation: Diese Textstellen werden der eigentlichen Frage als Kontext beigegeben.
Generation: Das Sprachmodell formuliert die Antwort auf Basis von Frage und mitgeliefertem Kontext.

Weil die Antwort an die abgerufenen Belege gebunden ist, lässt sie sich nachvollziehen und bleibt so aktuell wie die hinterlegte Datenbasis. Ein Neutraining des Modells ist nicht nötig, es genügt, die Quellen zu aktualisieren.

Einordnung

RAG ist der praktikabelste Weg, ein Sprachmodell an die eigene Datenwelt anzubinden, ohne ein eigenes Modell zu trainieren. Entscheidend ist nicht das Modell, sondern die Qualität der Wissensbasis. Wer schlecht strukturierte Daten in ein RAG-System gibt, ob Dokumente, Handbücher oder Produktdaten, bekommt schlecht belegte Antworten zurück. Ein sauberes Data Management zahlt sich deshalb direkt in der Antwortqualität aus, vom internen Wissensmanagement bis zur Produktberatung.

Philipp Foreman, Geschäftsführer onacy GmbH

Wofür wird RAG eingesetzt?

RAG ist die Grundlage für KI-Anwendungen, die verlässlich mit unternehmenseigenem Wissen arbeiten sollen. Die Wissensquelle kann jede Art von Unternehmensdaten sein, etwa interne Dokumentation, Handbücher, Richtlinien, FAQ oder Produktkataloge. Typische Anwendungen im Mittelstand sind interne Assistenten für technische Dokumentation, Support-Systeme auf Basis von Handbüchern und FAQ sowie im Commerce Produktberater, die auf den echten Katalog zugreifen.

Auch viele KI-Agenten nutzen RAG als Wissenskomponente, um Entscheidungen auf belegten Informationen aufzubauen. Der Markt wächst entsprechend: Branchenanalysen erwarten für RAG ein durchschnittliches jährliches Wachstum von rund 38 Prozent zwischen 2025 und 2030.

Was unterscheidet RAG von Fine-Tuning?

Beim Fine-Tuning wird ein Modell mit zusätzlichen Daten nachtrainiert, das Wissen ist danach fest im Modell verankert. Das ist aufwendig, teuer und muss bei jeder Änderung wiederholt werden. RAG dagegen lässt das Modell unverändert und liefert das Wissen zur Laufzeit aus einer externen Quelle.

Für die meisten Mittelstandsanwendungen ist RAG der pragmatischere Weg, weil sich die Wissensbasis ohne Neutraining aktualisieren lässt und Antworten belegbar bleiben. Voraussetzung ist ein gepflegtes Data Management, das die Quelldaten konsistent und maschinenlesbar hält.

Häufige Fragen zu RAG

Was ist RAG einfach erklärt?

RAG steht für Retrieval Augmented Generation und verbindet ein Sprachmodell mit einer externen Wissensquelle. Bei einer Frage sucht das System zuerst passende Dokumente, meist über eine Vektordatenbank, und gibt sie dem Modell als Kontext. Das Modell antwortet dann auf Basis dieser Belege statt nur aus dem Trainingswissen. Das reduziert Halluzinationen und hält Antworten aktuell.

Warum reduziert RAG Halluzinationen?

Ein reines Sprachmodell erfindet fehlende Fakten, weil es nur aus seinem Training schöpft. RAG bindet die Antwort an konkret abgerufene Dokumente, ähnlich einer Open-Book-Prüfung. Das Modell formuliert auf Basis belegter Inhalte, statt zu raten. So lassen sich Antworten nachvollziehen und auf die zugrunde liegende Datenbasis zurückführen.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

Beim Fine-Tuning wird ein Modell mit zusätzlichen Daten nachtrainiert, das Wissen sitzt danach fest im Modell. RAG lässt das Modell unverändert und liefert Wissen zur Laufzeit aus einer externen Quelle. RAG ist günstiger und flexibler, weil sich die Wissensbasis ohne Neutraining aktualisieren lässt und Antworten belegbar bleiben.

Wofür braucht ein RAG-System eine Vektordatenbank?

Die Vektordatenbank speichert Dokumente als Embeddings in einem hochdimensionalen Raum. Bei einer Anfrage findet sie über semantische Ähnlichkeit die relevantesten Textstellen, nicht nur exakte Stichworttreffer. So liefert das Retrieval auch dann passende Belege, wenn die Frage anders formuliert ist als die Quelldokumente. Sie ist damit das Herzstück der Suchphase eines RAG-Systems.

RAG auf der eigenen Datenbasis aufsetzen

Ein RAG-System ist nur so gut wie seine Wissensbasis. Im Erstgespräch klären wir, wie weit Ihre Daten, ob Dokumente, Wissens- oder Produktdaten, für eine belastbare KI-Anwendung geeignet sind und welche Schritte bis dahin nötig sind.

KI-Beratung: Erstgespräch vereinbaren

Mehr Kontext: KI- und Automation-Hub