LLM Evaluation: Antwortqualität von KI messen
Ein Bauchgefühl ist keine Qualitätssicherung. Mit einem Testset aus echten Fragen wissen Sie, ob Ihr Assistent besser oder schlechter wird.
LLM Evaluation heißt: Sie prüfen die Antworten eines KI-Systems systematisch gegen erwartete Ergebnisse. Grundlage ist ein Testset aus echten Fragen mit Sollantworten. Gemessen wird bei jeder Änderung, also bei neuem Modell, neuem Prompt oder neuen Dokumenten.
Warum reicht Ausprobieren nicht?
Eine Änderung kann zehn Antworten verbessern und drei andere verschlechtern. Wer nur stichprobenartig ausprobiert, sieht die zehn und übersieht die drei. Ein Testset macht beides sichtbar, jedes Mal, mit denselben Fragen.
Dazu kommt: Wer über einen KI-Assistenten entscheidet, braucht eine Zahl, keine Anekdote. „87 von 100 Testfragen korrekt mit Quelle beantwortet“ ist eine Entscheidungsgrundlage. „Sieht gut aus“ ist keine.
Wie baut man ein Testset?
- Echte Fragen sammeln: aus Tickets, E-Mails, Suchanfragen im Intranet oder durch kurze Interviews mit Fachleuten.
- Sollantwort und Quelle festhalten: Was ist die richtige Antwort, und in welchem Dokument steht sie?
- Schwierige Fälle ergänzen: unklare Fragen, Fragen ohne Antwort in den Dokumenten, Fragen zu vertraulichen Inhalten.
- Klein anfangen: Einige Dutzend gut gewählte Fragen bringen mehr als hunderte zufällige. Das Set wächst mit jedem echten Fehler, den Sie finden.
Welche Metriken zählen?
| Metrik | Was sie misst | Woran Sie ein Problem erkennen |
|---|---|---|
| Antwortkorrektheit | Stimmt die Antwort inhaltlich mit der Sollantwort überein? | Richtige Quelle, falsche Aussage |
| Quellentreue | Steht alles in der Antwort auch in der genannten Quelle? | Zusätze, die nirgends belegt sind |
| Trefferquote der Suche | Findet das System die richtige Quelle unter den ersten Treffern? | Gute Antworten nur bei einfachen Fragen |
| Quellenangabe | Nennt jede Antwort ihre Quelle? | Antworten ohne Beleg |
| „Nicht gefunden“-Quote | Sagt das System ehrlich, wenn es keine Antwort gibt? | Erfundene Antworten auf unbeantwortbare Fragen |
| Antwortzeit und Kosten | Wie schnell und wie teuer ist eine Antwort? | Qualität, die im Betrieb nicht bezahlbar ist |
Wer bewertet: Mensch oder KI?
Beides. Fachleute legen die Sollantworten fest und bewerten eine Stichprobe. Für die laufende Messung bewertet ein zweites Sprachmodell die Antworten nach festen Kriterien, oft „LLM-as-a-Judge“ genannt. Das skaliert, braucht aber regelmäßige Abgleiche mit menschlichen Bewertungen. Sonst misst man am Ende die Vorlieben des Bewertungsmodells.
RAG Evaluation: Suche und Antwort getrennt messen
Bei Assistenten, die mit Retrieval Augmented Generation arbeiten, gibt es zwei Fehlerquellen: Die Suche findet die falschen Stellen, oder das Modell formuliert aus den richtigen Stellen eine falsche Antwort. Messen Sie beides getrennt. Wenn die Suche nicht trifft, hilft auch das beste Modell nicht. In der Praxis liegt der größere Hebel oft bei Suche und Dokumentaufbereitung.
Wie vermeiden Sie Halluzinationen?
Ganz verhindern lassen sie sich nicht. Sie lassen sich aber deutlich reduzieren und erkennbar machen:
- Antworten nur aus gefundenen Quellen erzeugen, mit Quellenangabe.
- Eine klare „nicht gefunden“-Antwort erlauben und ausdrücklich gewünscht machen.
- Unbeantwortbare Fragen ins Testset aufnehmen und die „Nicht gefunden“-Quote messen.
- Nutzerinnen und Nutzern ermöglichen, falsche Antworten mit einem Klick zu melden.
Wann sollten Sie messen?
- Vor dem Go-live: als Entscheidungsgrundlage, etwa am Ende eines Proof of Concept.
- Bei jeder Änderung: neues Modell, neuer Prompt, neue Datenquelle.
- Laufend im Betrieb: Stichproben und Nutzerfeedback. Diese Disziplin wird oft LLMOps genannt.
Häufige Fragen
Wie viele Testfragen brauchen wir?
Für den Start reichen einige Dutzend gut gewählte Fragen, die die wichtigsten Themen und schwierigen Fälle abdecken. Danach wächst das Set mit jedem gefundenen Fehler.
Wie oft sollten wir testen?
Automatisch bei jeder Änderung am System und zusätzlich regelmäßig im Betrieb, weil sich auch Ihre Dokumente ändern.
Lassen sich Halluzinationen ganz verhindern?
Nein. Mit Antworten nur aus Quellen, Quellenangabe und einer ehrlichen „nicht gefunden“-Antwort werden sie aber selten und für Nutzer erkennbar.
