KI-ROI braucht Prozesskennzahlen statt Aktivität

KI-ROI lässt sich nicht aus aktiven Nutzern, verbrauchten Tokens oder erzeugten Commits ablesen. OpenAI und AWS beschreiben diese Woche zwei unterschiedliche Messansätze, die zur gleichen Managementfrage führen: Was hat sich im Geschäftsprozess tatsächlich verbessert?

Nutzung ist nur der Ausgangspunkt

OpenAI führt Nutzungs- und Ausgabenanalysen für ChatGPT Work und Codex zusammen. Administratoren können Adoption, Credits und Tokenverbrauch nach Gruppen oder Nutzern betrachten. Laut OpenAI helfen diese Daten dabei, Schulungsbedarf, ungenutzte Integrationen und Kostenschwerpunkte zu erkennen.

Der Anbieter setzt aber eine wichtige Grenze: Produktaktivität allein misst keinen Geschäftswert. Fachverantwortliche müssen ergänzen, was sich im Ablauf verändert hat und ob Lieferzeit, Qualität oder Profitabilität besser wurden. Damit wird aus einem Lizenz-Dashboard noch kein ROI-Nachweis.

Entwicklungsdaten brauchen eine Baseline

AWS zeigt denselben Gedanken am Softwareprozess. Eine serverlose Architektur sammelt GitHub- und GitLab-Metriken, verarbeitet sie über AWS Step Functions und stellt sie in Amazon Quick Sight dar. Der Ansatz nutzt Änderungsdetektion, inkrementelle Läufe und einen vollständigen Refresh alle 24 Stunden.

Die Architektur kann Aktivität sichtbar machen. Sie beantwortet aber nicht automatisch, ob KI Entwicklung beschleunigt, nur die Zahl der Commits erhöht oder zusätzliche Qualitätsprobleme erzeugt. AWS empfiehlt deshalb eine Baseline vor dem Einsatz von Coding-Werkzeugen und eine fortlaufende Beobachtung danach.

Vier Ebenen für eine belastbare Messung

Für einen KI-Piloten sollten Sie vier Ebenen trennen:

• Adoption: aktive Nutzer, genutzte Funktionen und wiederkehrende Workflows.
• Aufwand: Zeit, Modellkosten, Integrationskosten und menschliche Prüfung.
• Prozess: Durchlaufzeit, Wartezeit, Nacharbeit und Übergaben.
• Ergebnis: Fehlerquote, Termintreue, Qualität oder finanzieller Beitrag.

Definieren Sie vor dem Rollout eine Baseline und einen fachlichen Owner. Vergleichen Sie nicht nur Teams mit und ohne KI, sondern möglichst denselben Prozess vor und nach einer klar dokumentierten Änderung. Bei personenbezogenen Nutzungsdaten gehören Zweck, Zugriff und Aufbewahrung in die Governance; ein Produktivitätsranking einzelner Mitarbeitender ist keine neutrale Nebenwirkung.

Die entscheidende Kennzahl ist deshalb nicht, wie viel KI genutzt wurde. Sie lautet: Welches Ergebnis wurde mit welchem Gesamtaufwand nachweisbar besser?