AWS CloudWatch: KI soll bei Incidents mit ermitteln

Amazon Web Services hat mit CloudWatch Omni eine neue Oberfläche für das Monitoring von Anwendungen und KI-Agenten vorgestellt. Der Dienst soll Telemetriedaten aus CloudWatch sowie per OpenTelemetry angebundene Daten zusammenführen, Anwendungen automatisch als Abhängigkeitsgraph darstellen und Incident-Untersuchungen mit einem KI-Assistenten unterstützen. CloudWatch Omni läuft als eigenständige Webanwendung außerhalb der AWS-Konsole.

CloudWatch ist Amazons zentraler Dienst, um AWS-Ressourcen und Anwendungen über Metriken, Logs, Traces und Alarme zu überwachen. Er richtet sich vor allem an Entwickler, Betriebsteams und SREs, die Cloud-Workloads beobachten und auf Störungen reagieren müssen. Die Hyperscaler bieten solche Managed-Monitoring-Dienste zwar schon lange an, sie sind aber traditionell vor allem auf die eigene Plattform zugeschnitten.

Gemeinsame Oberfläche für Incident Response

Mit Omni will AWS die bisher in CloudWatch verteilten Ansichten stärker an Anwendungen ausrichten. Dafür legt ein Team einen sogenannten Space an, der die zugehörigen Anwendungen und Telemetriedaten zusammenfasst. Omni soll Services und ihre Abhängigkeiten aus vorhandenen Daten automatisch erkennen und als Topologie anzeigen. Zudem soll Omni Überwachungsansichten und Alarme anpassen, wenn sich eine Anwendung zum Beispiel durch neue Services verändert. Bereits vorhandene CloudWatch-Daten wie Logs, Metriken, Traces und Alarme sollen ohne erneute Instrumentierung verfügbar sein. Zusätzlich instrumentierte Workloads können ihre Telemetrie über das OpenTelemetry Protocol (OTLP) an Omni senden.

Die Plattform soll zudem Untersuchungen bei Störungen bündeln. Löst etwa ein Alarm wegen steigender Fehlerraten aus, soll Omni eine Untersuchungssitzung mit passenden Signalen öffnen: etwa einer kurz zuvor erfolgten Bereitstellung, auffälligen Latenzen eines abhängigen Dienstes und dem Service-Graphen. Weitere Teammitglieder sollen derselben Sitzung per SSO beitreten können, ohne Zugang zur AWS-Managementkonsole zu benötigen. AWS nennt hierfür IAM Identity Center mit SAML-2.0-Identitätsanbietern wie Okta oder Azure AD.

Teil dieser Sitzungen ist der Amazon DevOps Agent: Er soll Ereignisse über mehrere Services korrelieren, mögliche Fehlerpfade in der Abhängigkeitsstruktur verfolgen und nächste Untersuchungsschritte vorschlagen. Die Ergebnisse und der Verlauf einer Untersuchung bleiben für die Nachbereitung erhalten.

Evaluierungen und Traces für KI-Agenten

Neben klassischen Anwendungen richtet sich CloudWatch Omni an Teams, die Anwendungen mit generativer KI und KI-Agenten entwickeln und betreiben. Solche KI-Agenten verknüpfen häufig mehrere Modellaufrufe mit Werkzeugen, externen APIs und teils Unteragenten. Metriken wie Fehlerrate und Antwortzeit zeigen dabei zwar technische Probleme, aber nicht unbedingt, ob ein Agent eine sachlich falsche Antwort gibt, das falsche Werkzeug auswählt oder sich nach einer Prompt-Änderung schlechter verhält.

Dafür bringt Omni einen Trace Explorer mit, der Aufrufe von Sprachmodellen, Tools und weiteren Verarbeitungsschritten hierarchisch aufschlüsselt. Entwickler sollen zwei Traces vergleichen können, um etwa die Folgen unterschiedlicher System-Prompts oder Modellkonfigurationen nachzuvollziehen. Hinzu kommen Evaluierungen für Kriterien wie Kohärenz, Nützlichkeit, Faktentreue und die korrekte Auswahl von Werkzeugen oder Bearbeitungspfaden. AWS nennt 17 eingebaute Evaluatoren.

Für die Entwicklung bietet Amazon Erweiterungen für VS Code und Kiro an. Die lokale Nutzung ist ohne AWS-Konto möglich; erst für die dauerhafte Speicherung und gemeinsame Nutzung von Telemetrie in CloudWatch ist eine Verbindung zu einem AWS-Konto vorgesehen. Als Frameworks werden unter anderem LangChain, LangGraph, CrewAI, das OpenAI SDK, Strands und das Vercel AI SDK für Python und TypeScript unterstützt. Die Instrumentierung stützt sich auf OpenInference und ADOT.

Einstieg über CloudWatch, Betrieb außerhalb der Konsole

Bestehende CloudWatch-Kunden können Omni über die Schaltfläche „Try CloudWatch Omni“ in der CloudWatch-Konsole aktivieren. Für eine organisationsweite Einführung muss ein Administrator eine Domain einrichten, den Identitätsanbieter anbinden sowie Spaces für Teams oder Umgebungen definieren. Anschließend greifen die Nutzer direkt über die eigene Omni-Webadresse auf die Oberfläche zu. Für Telemetrie aus weiteren Umgebungen stellt AWS Konnektoren in Aussicht.

AWS hat die Neuerung in zwei begleitenden Beiträgen beschrieben: Einer behandelt die Anwendungsbeobachtung und die kollaborative Incident-Analyse, der andere die Überwachung, Evaluierung und Entwicklung von KI-Agenten.