KI-Inferenz: Observability für den Betrieb

AWS erweitert SageMaker AI um detaillierte Metriken für generative Inferenz und ein SageMaker-Insights-Dashboard in Amazon CloudWatch. Das ist keine kosmetische Monitoring-Funktion. Es zeigt, wohin der Betrieb von LLM-Anwendungen geht: weg von „API antwortet oder antwortet nicht“ hin zu messbarer Inferenzqualität, Kapazität und Zuverlässigkeit.

Was AWS ergänzt

Laut AWS emittieren SageMaker-Inferenzendpunkte nun native OpenTelemetry-Metriken an CloudWatch. Das neue Dashboard ordnet sie auf drei Ebenen ein: Performance, Capacity und Reliability. Sichtbar werden unter anderem Token-Latenzen, Durchsatz, Fehler, GPU-, CPU- und Speicherauslastung, KV-Cache-Druck, Availability-Zone-Verteilung, Skalierungsereignisse und Cold-Start-Diagnosen.

Die klassische CloudWatch-Dokumentation bleibt dabei wichtig: Metriken wie ModelLatency und OverheadLatency beschreiben weiterhin, wo Zeit verloren geht. Neu ist vor allem die Tiefe für generative Workloads, bei denen Token-Streaming, GPU-Speicher und Inference Components über Nutzererlebnis und Kosten entscheiden.

Warum das mehr als AWS ist

Microsoft beschreibt für Azure AI Foundry ebenfalls Tracing über OpenTelemetry und Application Insights: Timeline, Spans, Eingaben, Ausgaben, Fehler, Latenzen und Token-Nutzung werden im Entwicklungs- und Betriebsprozess sichtbar. OpenTelemetry führt parallel eigene semantische Konventionen für Generative AI, Agents, MCP, Anthropic, AWS Bedrock, Azure AI Inference und OpenAI.

Der gemeinsame Nenner: LLM-Betrieb wird beobachtbar wie klassische Software — aber mit neuen Signalen. Eine hohe Antwortzeit kann am Modell, am Prompt, am Tool-Aufruf, an GPU-Kapazität, am Cache oder an einer schlecht geplanten Agentenschleife liegen.

Was DACH-Unternehmen prüfen sollten

Für regulierte Organisationen reicht ein Chatbot-Dashboard nicht. Sie brauchen SLOs für Antwortzeit und Fehlerrate, Kostenmetriken pro Fachbereich, Datenschutzregeln für Trace-Inhalte und klare Retention-Vorgaben. Gerade Prompt- und Response-Inhalte dürfen nicht unkontrolliert in Telemetrie landen.

Starten Sie mit einem kleinen Pflichtset: Token-Verbrauch, P95/P99-Latenz, Fehlerklassen, Tool-Aufrufe, Cache-Treffer, Kosten pro Vorgang und ein Alarm, wenn ein Agent ungewöhnlich viele Schritte ausführt. Die Betriebsfrage lautet nicht mehr: „Welches Modell nutzen wir?“ Sondern: „Können wir erklären, was unser KI-System im Fehlerfall getan hat?“