heise+ | Lehren aus einem produktiven Review-Agenten-Workflow

Auf jeder Konferenz, in jedem LinkedIn-Feed, in jedem zweiten Slack-Kanal mit KI-Bezug läuft gerade dasselbe Schauspiel: Jemand zeigt eine Pipeline, in der ein Agent den Bugreport liest, den Fehler reproduziert, den Testfall schreibt, den Fix vorschlägt und sich selbst gleich mit reviewt. Vollständig autonom, Ende zu Ende, kein Mensch mehr im Loop. Die Kommentare darunter: „Genau das bauen wir gerade auch.“ Die beeindruckendsten dieser Demos suggerieren inzwischen nahezu vollständige Autonomie. Mich interessiert im Projektalltag eine andere Frage: Wie viele dieser Workflows funktionieren auch dann noch zuverlässig, wenn niemand die Demo vorher zwanzigmal geprobt hat?

• Agentic QA wirft die Frage auf, wie viel Autonomie Testsuiten vertragen, ohne die menschliche Verantwortung aufzugeben.
• Die Rolle des Menschen verschiebt sich von der Prüfung einzelner Outputs hin zur Gestaltung effektiver Kontrollmechanismen.
• Der Erfolg von Agentic QA hängt maßgeblich davon ab, wie gut diese Kontrollmechanismen konzipiert sind.

Ich habe keine vollautonome Testsuite. Ich habe einen Multi-Agenten-Workflow, der seit sechs Monaten im Projektalltag läuft, rund 140 echte User-Storys verarbeitet und echte Testfälle in Jira erzeugt hat – und der an einer Stelle ganz bewusst nicht autonom ist. Genau diese Stelle ist interessanter als jede Demo, die „alles kann“. Denn die eigentliche Frage von Agentic QA ist nicht, wie viel ein Agent kann. Sie ist: Wie viel Autonomie verträgt eine Testsuite, ohne dass die Kontrolle über sie verloren geht?

Luca Ortiz ist Team Lead bei der NELTA GmbH in Hamburg. Als IT-Berater übernimmt er in externen Kundenprojekten die Rolle des Testmanagers und verantwortet Teststrategie, Testautomatisierung und Qualitätssicherung. Darüber hinaus berät er Teams dazu, wie sich Softwaretesting im Zeitalter von KI grundlegend neu denken lässt.

Altes Problem, neue Geschwindigkeit

In meinem letzten Beitrag ging es um ein Projekt, in dem die Testautomatisierung komplett nach Südostasien ausgelagert wurde. Ein Automation Manager koordinierte, ein Offshore-Team automatisierte – isoliert, ohne fachlichen Kontext, ohne Anbindung an Sprint-Reviews oder Daily Stand-ups. Die Suite wuchs auf rund 1.000 Testfälle. Als der erste Automation Manager das Projekt verließ, übernahm sein Nachfolger eine Sammlung, deren innere Logik niemand mehr kannte. Die wöchentlichen Pipeline-Läufe produzierten Hunderte False Positives, keine echten Bugs. Die Projektleitung berichtete trotzdem nach oben: „Wir automatisieren.“ Schein-Coverage – Masse ohne Aussagekraft.