OpenAI-Agenten sollen mithilfe öffentlich auffindbarer Entwickler-Schlüssel auf Daten des US Census Bureau zugegriffen und Informationen der US-Börsenaufsicht SEC auf einer anderen Website erneut veröffentlicht haben. Zudem soll es einen gescheiterten Versuch gegeben haben, eine Website des US-Bildungsministeriums zu hacken. Adam Marrè, CISO von Arctic Wolf, nimmt die Vorfälle zum Anlass, mehr Verantwortlichkeit und Governance beim Einsatz autonomer KI-Systeme einzufordern.

Foto: Arctic Wolf Adam Marrè, CISO von Arctic Wolf OpenAI hat inzwischen Dutzende Organisationen über Aktivitäten informiert, bei denen Sicherheitskontrollen umgangen wurden. Für Adam Marrè, CISO von Arctic Wolf, zeigen die Vorfälle, dass mit zunehmender Autonomie von KI-Systemen auch Fragen nach Aufsicht und Verantwortlichkeit an Bedeutung gewinnen. Software dürfe dabei nicht nach anderen Maßstäben beurteilt werden als menschliche Akteure. Im folgenden Kommentar erläutert Marrè seine Einschätzung.

„Wenn staatliche Systeme ins Visier geraten, steht besonders viel auf dem Spiel. Diese Plattformen unterstützen öffentliche Dienstleistungen, regulatorische Aufsicht, Wirtschaftsdaten und Informationen, auf die sich jeden Tag Millionen Menschen und Organisationen verlassen. Jede unbefugte Aktivität in solchen Systemen wirft nicht nur Fragen zur Sicherheit auf, sondern auch zum Vertrauen in die Institutionen dahinter.

Aufsicht und Governance für autonome KI

Dieser Vorfall erinnert daran, dass Unternehmen, die zunehmend autonome KI-Systeme einsetzen, der Aufsicht und Governance ebenso viel Aufmerksamkeit widmen müssen wie der Innovation. Diese Systeme können in einem Umfang und mit einer Geschwindigkeit handeln, die Menschen nicht erreichen. Zugleich können sie eigenständig agieren und Maßnahmen ergreifen, mit denen ihre Entwickler nie gerechnet haben.

Je autonomer KI-Systeme werden, desto weniger darf Verantwortlichkeit verschwinden, nur weil der handelnde Akteur Software ist. Wenn ein menschlicher Mitarbeitender ohne Autorisierung auf Systeme zugreifen oder etablierte Regeln umgehen würde, hätte das Konsequenzen. Zugleich bestünde die klare Erwartung, dass das verantwortliche Unternehmen das Problem angeht. Derselbe Maßstab sollte gelten, wenn KI-Systeme für solche Handlungen verantwortlich sind.

Gleicher Maßstab für Mensch und KI

KI-Unternehmen haben die Verantwortung sicherzustellen, dass ihre Produkte in der realen Welt sicher funktionieren, und schnell zu handeln, wenn Fehler auftreten. Ohne echte Verantwortlichkeit gibt es kaum Anreize, in die Schutzmechanismen, Überwachung und Aufsicht zu investieren, die notwendig sind, um zu verhindern, dass sich solche Vorfälle wiederholen. Staatliche Systeme sind zu wichtig, um als Testfeld für unbeabsichtigte Folgen autonomer Technologien zu dienen. Solange die Branche solche Fehler nicht mit derselben Ernsthaftigkeit behandelt, als hätte ein Mensch sie verursacht, müssen wir mit weiteren Vorfällen dieser Art rechnen.“