KI-Agenten gelten als entscheidender Schritt in der Unternehmensdigitalisierung. Doch viele Projekte scheitern, bevor sie nachhaltigen Nutzen entfalten. Warum der stabile Betrieb von Agenten weit über ihre Entwicklung hinausgeht – und welche Rolle „AgentOps“ dabei spielt.
Foto: KNIME
Michael Berthold, CEO von KNIME
Der Einsatz von KI-Agenten – Systeme, die eigenständig Aufgaben übernehmen und mehrere Datenquellen oder Tools orchestrieren – nimmt in Unternehmen deutlich zu. In der Praxis zeigt sich jedoch: Der Schritt von der Entwicklung in den stabilen Betrieb ist oft der schwierigste. Häufig unterschätzen Organisationen den Aufwand, bestehende Prozesse anzupassen oder zu überwachen. Hinzu kommen Bedenken beim Datenschutz und der Datenteilung. Vor allem aber fehlt es an klaren Strukturen, um Agenten dauerhaft zu pflegen, anzupassen und zu kontrollieren.
Datenspezialist Michael Berthold, CEO von KNIME, sieht darin eine Parallele zu etablierten MLOps-Prozessen aus dem Machine Learning: „AgentOps ist weit mehr als ein neues Schlagwort – es ist der Schlüssel, um KI-Agenten in der Praxis wirksam und zuverlässig einzusetzen. Ob ein Data-Science-Modell Preise vorhersagt oder ein KI-Agent Fragen zu Produkten beantwortet, im Kern unterscheiden sie sich kaum: Beide brauchen ein stabiles Fundament, um zuverlässig zu funktionieren. Dafür sind interdisziplinäre Teams aus Data Scientists, IT und Fachbereichen notwendig, die eng zusammenarbeiten. Low-Code- und No-Code-Plattformen sind hier hilfreich, da sie die erforderlichen Werkzeuge und Datenquellen bündeln und den Betrieb planbar und nachvollziehbar machen, ohne dass jeder Mitarbeiter programmieren können muss.“
Viele Unternehmen setzen bei der Umsetzung von Agenten auf bekannte Methoden aus der Software- oder Machine-Learning-Welt. Drei Vorgehensweisen haben sich etabliert – mit teils gravierenden Nachteilen.
Bei der „Wildwest-Methode“ entwickeln Fachabteilungen Agenten und Tools unabhängig voneinander. Das führt häufig zu unkoordinierten Einzellösungen, die nach kurzer Zeit kaum mehr wartbar sind.
Die „Wasserfall-Methode“ übergibt fertige Agenten von der Data Science an die IT-Abteilung, die sie eigenständig produktiv setzen soll. Ändert sich jedoch die zugrundeliegende KI oder ein Tool, sinkt die Qualität des Agenten oft drastisch – die Prozesse bleiben starr und träge.
Und die „klassische Software-Methode“, bei der traditionelle Entwicklungspraktiken auf Agenten angewandt werden, vernachlässigt die besonderen Anforderungen an Überwachung, Validierung und Anpassung. Das Ergebnis: Systeme, die entweder unflexibel oder nicht nachhaltig sind.
Hier setzt das Konzept AgentOps an. Es umfasst alle Prozesse, mit denen Agenten in produktive Umgebungen überführt, dort überwacht und regelmäßig gepflegt werden. Statt Agenten nur zu entwickeln, rückt der dauerhafte Betrieb in den Fokus.
AgentOps sorgt dafür, dass Agenten automatisch auf Veränderungen in Daten, Märkten oder Rahmenbedingungen reagieren können. Wenn Abweichungen auftreten, sollen Systeme entweder selbst Anpassungen vornehmen oder das verantwortliche Team informieren. Nur durch diesen geschlossenen Zyklus bleibt die Qualität erhalten – sowohl technisch als auch inhaltlich.
Während klassische CI/CD-Prozesse aus der Softwareentwicklung vor allem auf regelmäßige Updates zielen, umfasst ein AgentOps-Deployment ein ganzes „Production Package“. Dieses beinhaltet den Agenten, seine Tools, Abhängigkeiten und gegebenenfalls trainierte Modelle. Damit verbunden sind deutlich höhere Anforderungen an Nachvollziehbarkeit und Stabilität.
Damit Agenten langfristig zuverlässig arbeiten, stützt sich AgentOps auf drei zentrale Prinzipien:
Datenqualität: Agenten müssen stets mit aktuellen und relevanten Informationen arbeiten. Änderungen an Tools oder Datenquellen dürfen ihre Entscheidungen nicht unbemerkt beeinflussen.
Versionierung: Jede Anpassung an Agenten, Tools oder Daten muss nachvollziehbar bleiben. So lassen sich Ursachen für Qualitätsverluste identifizieren und beheben.
Monitoring: Kontinuierliche – möglichst automatisierte – Überwachung ist unerlässlich, um Bias, Fehlentwicklungen oder veränderte Bedingungen frühzeitig zu erkennen.
Nur wenn diese drei Säulen konsequent umgesetzt werden, lässt sich sicherstellen, dass Agenten nicht nur kurzfristig, sondern auch über längere Zeiträume hinweg verlässlich arbeiten.
Wie schon im MLOps-Umfeld hängt der Erfolg auch bei AgentOps stark von der interdisziplinären Zusammenarbeit ab. Data Scientists, IT und Fachabteilungen müssen ihre Prozesse eng verzahnen. Nur so entsteht die notwendige Transparenz, um Agenten im laufenden Betrieb flexibel anzupassen – ohne Stabilität oder Kontrolle zu verlieren.
