Ich denke, das hängt stark von der Art des Unternehmens ab. Bei einer Bank würde ich es zum Beispiel erlauben, dass ein KI-Agent Konten bei einem erkannten Angriff selbstständig sperrt. Hier wäre für mich eine schnelle Reaktion besser, auch wenn es im Einzelfall eine falsche Entscheidung sein könnte. Eine unnötige Sperrung wäre wahrscheinlich weniger schlimm als ein Angriff, der zu spät gestoppt wird. Trotzdem sollte vorher genau festgelegt werden, welche Entscheidungen der Agent treffen darf und wie groß der mögliche Schaden sein darf.

Angreifer agieren heute in Maschinengeschwindigkeit (Datendiebstahl und -verschlüsselung in Sekunden). Ein menschliches Eingreifen mitten in der Nacht ist schlicht zu langsam. Eine automatische, temporäre Kontensperrung ist daher das kleinere Übel gegenüber einem unbemerkt voranschreitenden Ransomware-Angriff. Allerdings bedarf es zwingend eines Notfallleitfadens für Vorfälle mit autonomen Systemen, um Fehlalarme im Nachgang schnell und geordnet zu korrigieren. 

Ich denke das ist abhängig vom Kontext insb. welche Safety und Security policies man definiert hat

Ich antworte mal ausweichend ... erst mal unabhängig von KI.

Gibt es für die *menschlichen Mitarbeiter* einen "Entscheidungsleitfaden" (Baum, Vorschrift … was auch immer), auf dessen Grundlage entschieden werden soll? Wenn ja … wieso stellt man diesem nicht auch dem Agenten zur Verfügung? Evtl. Angereichert mit deterministischen Guardrails/Gates, so dass er sich nicht außerhalb des Entscheidungsbaums bewegen darf.

Es besteht dann immer noch das Risiko, dass der Agent sich "falsch" entscheidet. Ob nun durch Zufall, Halluzination oder was auch immer, spielt IMHO keine Rolle. Dieses Risiko gibt es bei Menschen aber auch!

Und es ist die Aufgabe solcher Leitfäden, den Einfluss möglicher falscher Entscheidungen zu modellieren und zu mitigieren. Sehr spannend in diesem Zusammenhang ist übrigens mal das Studieren von Notfalldokumenten/Entscheidungsbäumen bei wirklich kritischen Systemen ... Flugzeuge, Schienenverkehr, Prozessindustrie ...

Wenn diese Dokumente/Abläufe also existieren, ist das Risiko, dass ein Agent sich falsch entscheidet, IMHO auf der gleichen Ebene zu sehen, wie wenn ein Mensch sich falsch entscheidet.

Existieren diese Dokumente/Vorgaben nicht, kommen wir IMHO zum eigentlichen Crux der Frage. Wir haben die Tendenz, menschlichen Entscheidungen (oder Worst-Case-Bauchgefühl) mehr zu trauen als denen einer KI … ob dies nun gerechtfertigt ist oder nicht, ist eine andere Frage. Und ob sie stimmt, sowieso. Damit sind wir aber bei einer anderen Diskussion.

Wenn die Vorgaben existieren, ist es "nur" die Frage, ob sie ausreichend sind und auch Fehlentscheidungen antizipieren und mitigieren... egal, ob Mensch oder KI.

Wenn die Vorgaben nicht existieren, fangen wir IMHO an, über Meinungen zu diskutieren, inwiefern man Menschen mehr vertraut als KIs. Und über Meinungen kann man endlos diskutieren ...