KI-Wissensmanagement mit Retrieval Augmented Generation
Ihr Wissen ist da. Es ist nur über Laufwerke, Wikis, Tickets und Köpfe verteilt. Ein KI-Assistent macht es auffindbar, wenn die Grundlagen stimmen.
KI-Wissensmanagement nutzt meist Retrieval Augmented Generation (RAG): Ein Assistent sucht zu jeder Frage die passenden Stellen in Ihren Dokumenten und Systemen und formuliert daraus eine Antwort mit Quelle. Das Modell lernt dabei nichts dazu. Ihr Wissen bleibt in Ihren Quellen, mit Ihren Zugriffsrechten.
Was ist Retrieval Augmented Generation?
Retrieval Augmented Generation verbindet eine Suche mit einem Sprachmodell. Pro Frage laufen fünf Schritte:
- Frage: Eine Mitarbeiterin fragt in eigenen Worten.
- Rechte prüfen: Das System berücksichtigt nur Quellen, die sie öffnen darf.
- Suchen: Es findet die relevantesten Textstellen in Dokumenten, Wikis oder Systemen.
- Antworten: Ein Sprachmodell formuliert eine kurze Antwort nur aus diesen Stellen.
- Belegen: Die Antwort nennt ihre Quellen. Gibt es keine passende Stelle, sagt der Assistent das.
RAG oder Fine-Tuning?
| Retrieval Augmented Generation | Fine-Tuning | |
|---|---|---|
| Wie Wissen ins System kommt | Wird bei jeder Frage nachgeschlagen | Wird ins Modell trainiert |
| Aktualität | Neue Dokumente sind sofort verfügbar | Neues Training nötig |
| Quellenangabe | Ja | Nein |
| Zugriffsrechte | Pro Person durchsetzbar | Kaum möglich |
| Sinnvoll für | Wissen, das sich ändert | Fester Stil oder festes Format |
Für Unternehmenswissen ist RAG fast immer die bessere Wahl.
Welche Quellen lassen sich anbinden?
- Dokumente: Dateiablagen, Dokumentenmanagement, PDFs, Office-Dateien, auch gescannte Dokumente per Texterkennung.
- Wikis und Intranet: Prozessbeschreibungen, Richtlinien, Handbücher.
- Tickets und E-Mails: gelöste Fälle als Erfahrungswissen.
- Systeme und Datenbanken: Produkt- und Kundendaten aus CRM, ERP oder eigenen Datenbanken, abgefragt über Schnittstellen.
Sind Ihre Daten bereit?
Ein Assistent ist nur so gut wie seine Quellen. Vor dem Start lohnt ein ehrlicher Blick:
- Aktualität: Gibt es veraltete Versionen, die neben gültigen liegen?
- Dubletten: Steht dasselbe in fünf leicht unterschiedlichen Dokumenten?
- Struktur: Haben Dokumente erkennbare Abschnitte, Überschriften und Tabellen?
- Rechte: Sind Zugriffsrechte im Quellsystem sauber gepflegt?
- Formate: Sind Scans lesbar, oder sind es nur Bilder?
Gehören Zugriffsrechte in die Suche oder in die Oberfläche?
In die Suche. Wird erst nach der Antwort gefiltert, hat das Modell vertrauliche Inhalte schon gesehen und kann sie in die Antwort einfließen lassen. Richtig ist: Der Assistent durchsucht für jede Person nur die Inhalte, die sie im Quellsystem öffnen dürfte. Mehr zu diesem und weiteren Datenschutzpunkten im Beitrag zu DSGVO-konformer KI.
Was ist bei deutschen Dokumenten anders?
- Zusammengesetzte Wörter: „Wartungsvertragsverlängerung“ findet eine rein semantische Suche schlecht. Eine Kombination aus semantischer und Stichwortsuche löst das.
- Tabellen und Formulare: Viele Informationen stecken in Tabellen. Sie müssen beim Einlesen als Tabellen erhalten bleiben.
- Fachsprache und Abkürzungen: Interne Kürzel gehören in ein Glossar, das die Suche nutzt.
Wie messen Sie den Erfolg?
Mit einem Testset echter Fragen und klaren Kennzahlen: Antwortkorrektheit, Trefferquote der Suche, Quellenangabe und eine ehrliche „nicht gefunden“-Quote. Wie Sie das aufsetzen, zeigt der Beitrag zur LLM Evaluation. Im Alltag zählen zusätzlich die Zeit bis zur Antwort und wie viele Fragen ohne Rückfrage bei Kollegen gelöst werden.
Häufige Fragen
Wie viele Dokumente brauchen wir für den Start?
Es gibt kein Minimum. Entscheidend ist, dass die Dokumente die Fragen beantworten, die Ihre Teams tatsächlich stellen.
Werden unsere Daten zum Training genutzt?
Nein. Bei Retrieval Augmented Generation werden Ihre Inhalte nur zum Zeitpunkt der Frage nachgeschlagen.
Was ist der Unterschied zu einer Intranet-Suche?
Eine Suche liefert eine Liste von Dokumenten. Ein Wissensassistent liefert die Antwort, mit Verweis auf die Stelle, aus der sie stammt.
Wie wir solche Assistenten bauen, zeigt unsere Seite zu RAG und KI-Wissensassistenten. Starten lässt sich mit einem Proof of Concept auf einem Teil Ihrer Dokumente.
