Ein Unternehmen prüft, ob es Teile seiner Callcenter-Anfragen mit KI beantworten lässt. Der Pilot läuft, die Auswertung kommt auf den Tisch: Fehlerquote rund vier Prozent. Die Entscheidung fällt schnell und einstimmig. Das können wir uns nicht leisten. Projekt beendet.
Die Szene wirkt wie verantwortungsvolles Management. Bis jemand die Frage stellt, die in solchen Runden fast nie gestellt wird: Wie hoch ist die Fehlerquote der Menschen, die diese Anfragen heute beantworten?
Stille. Niemand hat es je gemessen. Und wo man es misst, liegt die menschliche Quote in vielen dieser Tätigkeiten über den vier Prozent, gegen die eben noch entschieden wurde. Das Unternehmen hat eine Lösung abgelehnt, die weniger Fehler gemacht hätte als der Status quo, und fühlt sich dabei vorsichtig.
Woher der falsche Maßstab kommt
Wir haben unsere Erwartungen an Maschinen über ein Jahrhundert an deterministischer Technik gebildet. Der Taschenrechner rechnet immer richtig. Die Datenbank liefert immer denselben Datensatz. Maschine heißt hundert Prozent. Bei Menschen dagegen haben wir gelernt, mit Fehlern zu leben: Vier-Augen-Prinzip, Freigabeschleife, Reklamationsabteilung. Menschliche Fehler sind eingepreist, maschinelle Fehler sind Skandale.
Generative KI fällt zwischen diese Kategorien. Sie ist eine Maschine, aber keine deterministische. Sie hat aus menschlichen Daten gelernt und macht deshalb menschenähnliche Fehler: mal brillant, mal daneben, überzeugt im Ton, wenn sie irrt. Wer sie mit dem Taschenrechner-Maßstab misst, lässt sie immer durchfallen. Wer sie mit dem Menschen-Maßstab misst, entdeckt, wie oft sie besteht.
Die Regel, die ich jeder Organisation mitgebe: Vergleichen Sie die KI mit menschlicher Leistung, nicht mit Perfektion. Nicht „macht die KI Fehler?“, das tut sie. Sondern: Macht sie mehr oder weniger Fehler als die heutige Lösung, bei welchen Kosten, mit welcher Geschwindigkeit?
Warum das unangenehm ist
Wenn KI an menschlicher Leistung gemessen wird, wird menschliche Leistung auch an KI gemessen. Das ist für niemanden angenehm. Es passiert trotzdem, ob wir hinsehen oder nicht. Organisationen, die hinsehen, haben mehr Möglichkeiten als solche, die den Vergleich aus Rücksicht vermeiden.
Eine Abgrenzung ist mir dabei wichtig: Der faire Vergleich ist kein Argument dafür, Menschen zu ersetzen, wo die Quote es hergibt. Er ist ein Argument dafür, auf Basis echter Zahlen zu entscheiden statt auf Basis eines Reflexes. In vielen Fällen lautet das Ergebnis: Mensch und KI gemeinsam schlagen beide Einzellösungen. Die KI übernimmt Masse und Erstentwurf, der Mensch Prüfung, Ausnahme und Verantwortung. Wo diese Kontrolle sitzt und wie eng sie sein muss, sollte die gemessene Fehlerquote entscheiden, nicht das Bauchgefühl gegenüber einer Maschine.
Das Entscheidungsraster
Vier Fragen, mit denen sich jeder potenzielle KI-Einsatz in einer halben Stunde fair bewerten lässt. Die ehrliche Beantwortung der ersten ist erfahrungsgemäß die schwerste.
Wie gut ist die heutige Lösung wirklich? Messen oder schätzen Sie die bestehende Fehlerquote, inklusive der Fehler, die nie auffallen, weil niemand nachprüft. Diese Basislinie ist Ihr Vergleichswert, nicht die Null.
Was kostet ein Fehler in diesem Prozess? Eine ungenaue Produktempfehlung ist ärgerlich und korrigierbar. Eine falsche Medikamentendosis ist es nicht. Je billiger und umkehrbarer der Einzelfehler, desto eher darf die Quote allein entscheiden. Je teurer und endgültiger, desto mehr menschliche Kontrolle gehört in den Prozess, unabhängig von der Quote.
Wo genau setzen wir die menschliche Prüfung an? Die KI erstellt, der Mensch gibt frei? Die KI beantwortet die Standardfälle, der Mensch die markierten Ausnahmen? Für fast jeden Prozess gibt es eine Aufteilung, bei der die kombinierte Fehlerquote unter beiden Einzelquoten liegt. Daran erkennt man gute KI-Einführungen: Sie fragen nicht, wen die KI ersetzt, sondern wo im Prozess welche Stärke sitzt.
Wann messen wir wieder? Testergebnisse haben bei dieser Technologie ein Ablaufdatum. Ein Prozess, der heute zu heikel ist, kann es in einem Jahr nicht mehr sein. Schreiben Sie zu jeder Nein-Entscheidung ein Wiedervorlagedatum. Ein Nein ohne Wiedervorlage ist kein Urteil, sondern eine Beerdigung.
Nehmen Sie sich einen einzigen Prozess vor und jagen Sie ihn durch die vier Fragen. Besonders lohnend sind die, bei denen in der Vergangenheit jemand gesagt hat: Das können wir uns nicht leisten. Fragen Sie dort zuerst nach der Basislinie.
Dieser Text ist Ausgabe 6 meiner Newsletter-Serie „Denken Sie nicht über KI nach. Denken Sie mit KI.“, die wöchentlich auf Substack erscheint. Wer die Ausgaben eine Woche früher lesen will, samt Übung und Leserzuschriften: Newsletter abonnieren.
Schreibe einen Kommentar