Fast jedes Automatisierungsangebot beginnt mit derselben Frage: Kann KI das? Das ist die falsche Frage. Die eigentliche frage sollte so lauten: Welchen Teil dieses Ablaufs kann KI wiederholbar, messbar und umkehrbar erledigen, zu risikobereinigten Kosten unterhalb der menschlichen Alternative, und woran erkennen wir, dass ein Fall außerhalb dieses Teils liegt?
Die nötigen Beweise und ROI für KI im operativen Betrieb sind bindend und deutlich spezifischer, als die Vermarktung nahelegt.
Die Zahlen, die standhalten
Kontrollierte Studien zeichnen für klar abgegrenzte, wiederkehrende Arbeit ein erstaunlich einheitliches Bild. Anbieter-Fallbeispiele tun das nicht.
Aus dem Produktivbetrieb kommen noch höhere Zahlen: rund 70 Prozent schnellere Rechnungsverarbeitung bei Careem(Einer in den Emiraten ansässige Super-App), 20 bis 50 Prozent weniger Prognosefehler, über 30 Prozent weniger Ausschuss auf geeigneten Fertigungslinien. Das sind echte Ergebnisse, doch hinter jedem steht ein neu gebauter Ablauf mit sauberen Daten, Integration, Geschäftsregeln, Überwachung und menschlicher Ausnahmebearbeitung. Ein Modell, das man einem bestehenden Prozess einfach überstülpt, liefert davon nichts.
Der Befund, der das Scoping verändern sollte
In einem Experiment mit 758 Beraterinnen und Beratern von BCG(Boston Consulting Group) erledigten die KI-Nutzer Aufgaben rund 25 Prozent schneller, bei etwa 40 Prozent höher bewerteter Qualität, solange die Aufgabe innerhalb der Fähigkeiten des Modells lag. Bei einem Problem knapp außerhalb dieser Grenze kamen die KI-gestützten Beraterinnen und Berater mit 19 Prozentpunkten geringerer Wahrscheinlichkeit zur richtigen Antwort.
Ein KI-System kann im Benchmark von gestern glänzen und im ungewöhnlichen Fall, auf den es ankommt, mit voller Überzeugung falsch liegen.
Das ist das eigentliche Scoping-Problem. Die durchschnittliche Trefferquote sagt nichts über das Verhalten am Rand, und am Rand liegen meist die teuren Fälle. Deshalb behandeln wir „das Modell schneidet gut ab“ und „dieser Prozess lässt sich automatisieren“ als zwei völlig getrennte Aussagen.
Drei Modi statt zwei
Die meisten Gespräche über Automatisierung laufen auf ein Entweder-oder hinaus: automatisieren oder sein lassen. Drei Modi helfen mehr, denn „nicht automatisieren“ heißt selten „keine KI einsetzen“. Es heißt, dass das System nicht allein über das Ergebnis bestimmen darf.
Automatisieren
Fehler sind günstig oder umkehrbar, Ergebnisse objektiv prüfbar, Eingaben stabil, und Ausnahmen lassen sich automatisch erkennen.
- Rechnungen auslesen und abgleichen
- Tickets klassifizieren und weiterleiten
- Bedarfsprognosen
- Optische Fehlerprüfung
- Interne Wissenssuche mit Quellenangabe
Unterstützen
KI beschleunigt Analyse oder Entwurf, aber eine sachkundige Person trifft weiterhin die Entscheidung und steht dafür ein.
- Vertragsprüfung und Klauselextraktion
- Vorauswahl im Recruiting, nie die Entscheidung
- Priorisierung von Leads
- Analyse, Recherche und erste Entwürfe
- Klinische und juristische Bewertung
Beim Menschen lassen
Die Entscheidung betrifft Rechte, Gesundheit, Lebensunterhalt, Sicherheit oder den Zugang zu einer Grundleistung. Oder die Lage ist neu statt wiederkehrend.
- Einstellung, Kündigung, Beförderung, Vergütung
- Kreditablehnung und Anspruchsprüfung
- Diagnose und Behandlung
- Sicherheitsrelevante Abschaltung
- Freigabe hoher oder ungewöhnlicher Zahlungen
Wie ein guter Kandidat aussieht
Starke Kandidaten folgen fast immer einem Muster: standardisierte Eingabe entgegennehmen, klassifizieren oder extrahieren oder vorhersagen, die Konfidenz gegen Geschäftsregeln prüfen, eine umkehrbare Aktion auslösen, Ausnahmen eskalieren, alles protokollieren. Je weiter ein Ablauf von dieser Form abweicht, hin zu Mehrdeutigkeit, widersprüchlichen Zielen, Verhandlung, Empathie oder unumkehrbaren Folgen, desto stärker spricht alles für Unterstützung statt Automatisierung.
Vor der Festlegung bewerten wir einen Prozess anhand von zehn Faktoren: Wirtschaftlichkeit nach Prüfaufwand, Häufigkeit, Volumen, Komplexität, Schwankung der Eingaben, regulatorische Lage, Anteil menschlichen Urteils, Erklärbarkeit, Datenlage und Fehlerkosten. Eine hohe Summe hebt kein Veto auf: Unumkehrbare Risiken für Sicherheit oder Grundrechte beenden das Gespräch unabhängig von der Punktzahl.
Realistische Bandbreiten nach Prozess
| Prozess | Modus | Realistischer Gewinn | Woran es scheitert |
|---|---|---|---|
| Kundenservice | Stufe 0 und 1 automatisieren | 15 bis 35% Produktivität | Erfundene Richtlinien, fehlende Eskalation |
| Kreditorenbuchhaltung | Mit Kontrollen automatisieren | 40 bis 70% Bearbeitungszeit | Betrug, Doppelzahlungen, Freigaberechte |
| Recruiting | Nur unterstützen | 20 bis 40% Verwaltung, 0% Auswahl | Diskriminierung, keine belegte Trefferverbesserung |
| Vertragsprüfung | Unterstützen | 50 bis 80% bei strukturierter Extraktion | Erfundene Fundstellen, Vertraulichkeit |
| Software und Analyse | Unterstützen | 20 bis 40%, bis 55% bei klarer Aufgabe | Erfundene Belege, Fehler jenseits der Modellgrenze |
| Prognose | Automatisieren | 20 bis 50% geringerer Prognosefehler | Regimewechsel, schlechte Stammdaten |
Was die ROI-Zahlen verschweigen
Deloitte hat 1.854 Führungskräfte befragt und fand, dass ein zufriedenstellender Ertrag bei einem KI-Anwendungsfall typischerweise zwei bis vier Jahre braucht, wobei nur 6 Prozent die Amortisation innerhalb eines Jahres sahen. McKinsey kommt bei operativ führenden Unternehmen auf sechs bis zwölf Monate. Beides stimmt. Abgegrenzte operative Automatisierung auf reifen Daten rechnet sich schnell, unternehmensweite KI-Transformation nicht.
Der Posten, den fast jede Wirtschaftlichkeitsrechnung auslässt, ist der erwartete Fehlerschaden. Ein Prozess, der eine Million an Personalkosten spart, aber mit 0,1 Prozent Wahrscheinlichkeit einen Zwanzig-Millionen-Vorfall in Regulierung oder Sicherheit auslöst, hat keinen Millionen-Business-Case. Auch die durchschnittliche Genauigkeit klärt das nicht, denn Fehler in Teilgruppen, übersehene Positivfälle und das Verhalten bei verschobenen Daten wiegen meist schwerer als der Wert in der Überschrift.
- Das Nennerproblem: Die einfachsten 60 Prozent der Tickets zu automatisieren entfernt oft deutlich weniger als 60 Prozent der Arbeit, weil die verbleibenden Fälle je Vorgang mehr Zeit kosten
- Das Zurechnungsproblem: Die meisten veröffentlichten Erfolge bündeln KI mit CRM-Umstellung, Datenbereinigung, Schulung und Prozessumbau
- Das Problem der stillen Arbeit: Prüfarbeit, die in ein Dashboard wandert, bleibt Arbeit und gehört in den Nenner
„Human in the loop“ ist kein Sicherheitsmechanismus
Die häufigste Kontrolle ist in der üblichen Umsetzung zugleich die schwächste. In einer Studie aus der Pathologie hob KI die Durchschnittsleistung, führte aber trotzdem in 7 Prozent der Fälle zu einem Automatisierungsbias: Ein zutreffendes menschliches Urteil wurde nach einem falschen KI-Hinweis wieder verworfen. Eine weitere randomisierte Studie mit 2.784 Teilnehmenden zeigte, dass umständlichere Prüfverfahren die Zustimmung zu falschen Vorschlägen sogar erhöhen.
Ein Freigabeknopf ist keine Aufsicht
Echte Prüfung heißt, dass die Person die zugrunde liegenden Belege sieht statt nur die Empfehlung, Zeit und Befugnis zum Widerspruch hat, ihre eigene Einschätzung mitunter festhält, bevor die des Modells sichtbar wird, und regelmäßig darauf geprüft wird, ob sie Modellfehler tatsächlich erkennt. Alles darunter erzeugt den Anschein von Verantwortung und erhält die Verzerrung.
Womit wir anfangen
Das vernünftigste Portfolio beginnt mit langweiligen Prozessen. Extraktion, Klassifikation, Prognose, Vergleich, Prüfung, Entwurf und Abstimmung in hoher Stückzahl liefern eine bessere risikobereinigte Wirtschaftlichkeit als autonome Agenten mit folgenreichen Entscheidungen. Genau daran baut man auch die Überwachung und Ausnahmebearbeitung auf, die später ohnehin gebraucht wird.
Die Fehlerschwelle wird danach vom Geschäftsschaden her gesetzt, nicht von dem Benchmark, den ein Anbieter gerade mitbringt. Ein System mit 95 Prozent Treffern, sofortiger Erkennung und kostenloser Rücknahme ist eine weit sicherere Automatisierung als eines mit 99,9 Prozent, dessen seltene Fehler sich nicht rückgängig machen lassen.
Das ist die Arbeit, die unsere Forward Deployed Engineers erledigen, bevor eine Zeile Code entsteht: den Prozess erfassen, den Teil finden, der diesen Test besteht, und klar sagen, wenn herkömmliche Automatisierung, eine Prozesskorrektur oder gar nichts die ehrlichere Antwort ist.