KI-Monitoring: So prüfen Sie KI-Prozesse, damit die Qualität bleibt

Viele Betriebe erleben denselben Ablauf: Ein KI-System startet überzeugend, alle sind zufrieden – und nach einigen Monaten häufen sich stille Fehler, die niemand bemerkt, weil niemand hinschaut. Das ist kein Einzelfall, sondern der Normalfall: Eine in Scientific Reports veröffentlichte Studie fand zeitlichen Qualitätsverfall in 91 % der untersuchten Fälle (Vela et al., Scientific Reports, 2022). Dieser Artikel zeigt, was KI-Monitoring ist, warum KI ohne Prüfung schlechter wird und wie Sie mit einem einfachen Regelkreis die Qualität dauerhaft halten – vom Mittelständler mit einem einzigen KI-Telefonassistenten bis zum Betrieb mit mehreren KI-Prozessen.

Was ist KI-Monitoring?

KI-Monitoring ist die systematische, laufende Überwachung von KI-Systemen im Betrieb – mit dem Ziel, Qualitätsverfall früh zu erkennen und gegenzusteuern, bevor Kunden oder Mitarbeiter ihn bemerken. Es beantwortet drei Fragen: Läuft das System technisch stabil? Liefert es fachlich richtige und angemessene Ergebnisse? Und trägt es noch messbar zum Geschäftsergebnis bei?

Der Unterschied zum klassischen IT-Monitoring ist grundlegend. Ein Server ist entweder erreichbar oder nicht – das lässt sich mit einem Ping prüfen. Ein KI-System kann dagegen technisch perfekt laufen und trotzdem inhaltlich falsche, unpassende oder veraltete Antworten geben. Verfügbarkeit zu messen reicht deshalb nicht: KI-Monitoring muss auch die inhaltliche Qualität der Ergebnisse bewerten. Wer die Grundbegriffe rund um Sprachmodelle nachschlagen möchte, findet sie kompakt in unserem KI-Glossar.

Warum wird KI ohne Prüfung schlechter?

Die kurze Antwort: Weil sich die Welt um das KI-System herum ständig ändert, das System selbst aber nicht automatisch mitlernt. Drei Mechanismen sind in der Praxis entscheidend.

Data Drift ist die Verschiebung der Eingangsdaten. Ein KI-Telefonassistent, der auf Terminanfragen konfiguriert wurde, bekommt plötzlich viele Anrufe zu einer neuen Leistung, einem neuen Standort oder einer Preisänderung – Themen, zu denen er nichts hinterlegt hat. Die Technik funktioniert, die Antworten passen trotzdem nicht mehr.

Concept Drift ist die Veränderung des Zusammenhangs zwischen Eingabe und richtiger Ausgabe. Was gestern die richtige Antwort war, ist es heute nicht mehr: neue Öffnungszeiten, neue Zuständigkeiten, geänderte Abläufe. Das Modell antwortet weiter souverän – nur eben falsch. Wie verbreitet dieser schleichende Verfall ist, zeigt die bereits zitierte Studie aus Scientific Reports. Die Autoren testeten vier gängige ML-Modelltypen auf 32 Datensätzen – 128 Kombinationen – und beobachteten zeitlichen Qualitätsverfall in 91 % der Fälle (Vela et al., 2022).

Modellwechsel beim Anbieter ist die dritte Ursache – und bei generativer KI die am meisten unterschätzte. Die großen Sprachmodelle hinter Chatbots und Voicebots werden von ihren Anbietern laufend aktualisiert, und dasselbe Modell kann sich dadurch messbar anders verhalten. Forscher der Universitäten Stanford und Berkeley verglichen GPT-4 im März und im Juni 2023. Bei der Aufgabe, Primzahlen von zusammengesetzten Zahlen zu unterscheiden, fiel die Trefferquote von 84 % auf 51 % (Chen, Zaharia & Zou, arXiv, 2023). Für Ihren Betrieb heißt das: Selbst wenn Sie nichts ändern, kann sich Ihr KI-System ändern.

Dass fehlende Kontrolle auch wirtschaftlich teuer wird, zeigt der Blick auf gescheiterte Projekte: Gartner prognostizierte im Juli 2024, dass mindestens 30 % der Generative-AI-Projekte bis Ende 2025 nach dem Proof of Concept abgebrochen werden – wegen schlechter Datenqualität, unzureichender Risikokontrollen, steigender Kosten oder unklaren Geschäftsnutzens (Gartner, 2024). Drei dieser vier Gründe sind im Kern Monitoring-Probleme: Wer Qualität und Nutzen nicht misst, kann sie weder belegen noch verbessern.

Prädiktive vs. generative KI: zwei Arten von Monitoring

Nicht jede KI wird gleich überwacht. Prädiktive KI (etwa eine Umsatzprognose oder Belegungsvorhersage) liefert Zahlen, die sich später an der Realität messen lassen – hier vergleicht das Monitoring Vorhersage und Ist-Wert. Generative KI (etwa ein KI-Telefonassistent oder ein Text-Assistent) liefert freie Sprache, für die es kein eindeutiges „richtig" gibt – hier bewertet das Monitoring Gesprächsqualität anhand von Kriterien.

Für die meisten KMU ist der zweite Fall der relevante. Wer verstehen will, wie so ein System grundsätzlich arbeitet, findet die Grundlagen in unserem Überblick Was ist ein KI-Telefonassistent.

Die drei Ebenen des KI-Monitorings

Wirksames Monitoring trennt drei Ebenen – wer nur eine davon prüft, hat blinde Flecken:

Die Ebenen bauen aufeinander auf: Technik ohne Qualität ist wertlos, Qualität ohne Geschäftsnutzen ist Selbstzweck. In der Praxis beginnen Betriebe fast immer auf Ebene 1, weil sie am einfachsten messbar ist – und vergessen Ebene 2 und 3. Genau dort entsteht aber der schleichende Verfall.

Prüfpunkte beim KI-Telefonassistenten

Am konkreten Beispiel wird es greifbar. Bei einem KI-Telefonassistenten – also einem System, das Anrufe annimmt, Termine bucht und in Kalender und CRM schreibt – gehören diese Punkte auf die Prüfliste:

• Annahmequote und Reaktionszeit: Nimmt der Assistent weiterhin jeden Anruf in unter einer Sekunde an – auch bei parallelen Anrufen?
• Fachliche Korrektheit: Stimmen Öffnungszeiten, Leistungen, Preise und Abläufe in den Antworten noch mit der Realität überein – gerade nach Änderungen im Betrieb?
• Datenqualität der Übergaben: Kommen Name, Rückrufnummer und Anliegen vollständig und richtig im CRM an? Landet der Termin im richtigen Kalender?
• Eskalationsverhalten: Erkennt der Assistent weiterhin zuverlässig, wann ein Mensch übernehmen muss – etwa bei Notfällen oder Beschwerden?
• Gesprächsabbrüche: Legen Anrufer auffällig oft mitten im Gespräch auf? Das ist oft das erste sichtbare Signal für Qualitätsprobleme.
• Tonalität: Bleibt der Assistent höflich, klar und zur Marke passend – auch nach einem Modell-Update des Anbieters?

Automatisch prüfen: Testfälle, LLM as a Judge, Stichproben, Tracing

Niemand kann täglich hunderte Gespräche abhören – und niemand muss es. Vier Methoden tragen die Hauptlast der Prüfung:

Feste Testfälle (Regression-Tests): Eine Sammlung typischer Anrufe – Terminwunsch, Preisfrage, Notfall, Beschwerde – wird regelmäßig automatisiert gegen das System gefahren. Weichen die Antworten plötzlich ab, schlägt das System Alarm. Das ist der wichtigste Schutz gegen unbemerkte Modellwechsel.

LLM as a Judge: Ein zweites Sprachmodell bewertet die Gespräche des ersten nach festen Kriterien: Wurde das Anliegen gelöst? War die Antwort korrekt und freundlich? Die Forschung zeigt, dass starke Sprachmodelle als Bewerter in über 80 % der Fälle mit menschlichen Urteilen übereinstimmen – etwa so oft, wie Menschen untereinander übereinstimmen (Zheng et al., arXiv, 2023). Damit lässt sich jedes Gespräch bewerten, nicht nur eine Stichprobe.

Menschliche Stichproben: Automatische Bewertung ersetzt den Menschen nicht, sie fokussiert ihn. Eine kleine, regelmäßige Stichprobe – bevorzugt aus den automatisch schlecht bewerteten Gesprächen – hält das Urteilsvermögen im Betrieb und kalibriert die automatische Bewertung.

Tracing: Jeder Vorgang wird vom Anruf bis zum CRM-Eintrag nachvollziehbar protokolliert. Wenn etwas schiefgeht, sehen Sie, wo es schiefging: beim Verstehen, beim Buchen oder bei der Übergabe an die Schnittstelle.

Der Monitoring-Regelkreis

Monitoring ist kein Bericht, der abgeheftet wird, sondern ein Kreislauf, der Woche für Woche läuft:

Entscheidend ist der Rhythmus: Technik-Kennzahlen laufen täglich automatisch, Qualitätsbewertung wöchentlich, die Geschäftsebene monatlich. Und nach jeder Änderung – neue Leistung, neue Preise, neues Modell des Anbieters – läuft die Testfall-Sammlung einmal komplett durch.

So machen wir es selbst: Monitoring im eigenen CRM

Bei aiXau aus Hannover richten wir KI-Telefonassistenten und KI-Rezeptionen für KMU ein – und betreiben unsere eigenen Prozesse nach demselben Prinzip, das wir Kunden empfehlen. Die Anfragen über unser Kontaktformular laufen in die Lead-Inbox unseres CRM, und auch dort gilt der Regelkreis: Wir prüfen regelmäßig, ob jede Anfrage vollständig ankommt, ob die automatische Vorqualifizierung die Anliegen richtig einordnet und ob kein Vorgang liegen bleibt.

Als Implementierungspartner bauen wir dieselbe Nachvollziehbarkeit in Kundenprojekte ein: Gesprächsprotokolle, Übergabe-Tracing bis ins CRM und eine Testphase vor dem Go-Live, in der der Betrieb mit eigenen Testanrufen abnimmt. Denn ein Assistent, der beim Go-Live gut ist, soll es im Monat zwölf immer noch sein.

Rechtlicher Rahmen: EU AI Act und DSGVO in Kürze

Monitoring ist nicht nur Qualitätssicherung, sondern zunehmend auch Pflicht. Drei Bausteine sollten Sie kennen:

• EU AI Act, Artikel 50 (Transparenz): Seit dem 2. August 2026 müssen Nutzer informiert werden, wenn sie mit einem KI-System interagieren – etwa einem Chatbot oder Voicebot –, sofern das nicht offensichtlich ist. Bei Verstößen drohen Bußgelder von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes (Cooley LLP, 2026).
• EU AI Act, Artikel 72 (Post-Market-Monitoring): Für Hochrisiko-Systeme verlangt der AI Act ein dokumentiertes Überwachungssystem nach der Inbetriebnahme (Artikel 72 AI Act) – also genau den Regelkreis aus diesem Artikel, schriftlich festgehalten.
• DSGVO: Gesprächsdaten sind personenbezogene Daten. Monitoring-Protokolle brauchen dieselbe Sorgfalt wie das System selbst: EU-Hosting, Auftragsverarbeitungsvertrag (AVV) und klare Löschfristen.

Dieser Abschnitt ersetzt keine Rechtsberatung; er zeigt aber: Wer Monitoring sauber aufsetzt, erfüllt viele Dokumentationspflichten nebenbei.

Die 6-Schritte-Checkliste für Ihr KI-Monitoring

1. Bestandsaufnahme: Listen Sie alle KI-Prozesse im Betrieb auf – auch die unscheinbaren. Notieren Sie je Prozess, was eine „gute" Ausgabe ist.
2. Kennzahlen festlegen: Wählen Sie je Ebene zwei bis drei Kennzahlen (Technik, Qualität, Geschäft). Weniger ist mehr – aber keine Ebene auslassen.
3. Testfall-Sammlung aufbauen: Sammeln Sie 20 bis 50 typische Fälle aus dem echten Betrieb und definieren Sie die erwartete Antwort. Diese Sammlung läuft nach jeder Änderung durch.
4. Automatische Bewertung einrichten: Lassen Sie Gespräche automatisch nach festen Kriterien bewerten (LLM as a Judge) und ergänzen Sie eine wöchentliche menschliche Stichprobe.
5. Verantwortung und Rhythmus klären: Eine Person besitzt das Thema. Täglich Technik, wöchentlich Qualität, monatlich Geschäft – fest im Kalender.
6. Nachsteuern dokumentieren: Jede Korrektur (neues Wissen, geänderte Konfiguration) wird notiert und mit der Testfall-Sammlung gegengeprüft. So entsteht nebenbei die Dokumentation, die auch der Gesetzgeber sehen will.

Wie viel Aufwand das ist? Deutlich weniger, als ein schleichend schlechter werdendes System kostet. Einen ehrlichen Überblick über laufende Kosten von KI-Telefonie gibt unser Artikel zu den Kosten eines KI-Telefonassistenten; und wer noch am Anfang steht, findet im Praxis-Guide KI für Unternehmen typische Einstiegsprojekte nach Aufwand und Nutzen.

Häufige Fragen zum KI-Monitoring

Michael Oswald Stockmann

CMO/CSO bei aiXau (Hannover) – verantwortet Marketing und Vertrieb und begleitet KMU bei Einführung und Qualitätssicherung von KI-Telefonassistenten, von der Analyse bis zum laufenden Monitoring.