Man muss bei dieser Frage scharf differenzieren zwischen herkömmlichen Systemen und echten Agenten: Zum einen gibt es klassische KI-Systeme & Assistenten: Diese operieren innerhalb starrer, vordefinierter Grenzen und verlangen bei fast jedem Schritt eine menschliche Bestätigung oder Eingabe.
Im Unterschied dazu stehen die KI-Agenten (Agentic AI): Sie zeichnen sich durch echtes zielgerichtetes Verhalten, Anpassungsfähigkeit und eine weitgehende Minimierung menschlicher Aufsicht aus. Ein Agent bekommt lediglich ein abstraktes Ziel vorgegeben und plant die notwendigen Zwischenschritte eigenständig.

Trotz des Trends zu maximaler Autonomie bin ich strikt gegen ein vollständiges Loslassen von der menschlichen Kontrolle.
Es besteht die Notwendigkeit menschlicher Aufsicht, gerade bei kritischen Unternehmensentscheidungen, finanziellen Transaktionen oder der Verarbeitung sensibler Kundendaten, zwingend muss ein Mensch im Prozess verankert sein (Human-in-the-Loop).
Es besteht Pflicht zur Nachvollziehbarkeit: Autonome Entscheidungen dürfen keine unüberprüfbare Blackbox sein. Unternehmen müssen Mechanismen implementieren, mit denen Schritte des KI-Agenten im Nachhinein lückenlos auditiert und nachvollzogen werden können.

Pauschal halte ich eine Antwort für unmöglich. Das hängt IMHO von der Risikoabschätzung der Aktion ab, die der Agent ausführt.

Aber genau hier sehe ich das größere Problem. In Agentic Systemen (e.g. wirklich autonome Systeme mit mehreren Agenten, Orchestrator ...) kann man sowas relativ gut vorab machen.

Problematisch sehe ich das eher bei Desktop Agenten, wo die Auto Classifier auch mal daneben liegen bzw. die Benutzer nach der 10 Frage "darf ich das" auf "Ja und nicht mehr fragen" klicken. Ein Effekt den, man ja auch aus anderen Szenarien kennt.

Ich denke das man dies relativ gut anhand der IT Security Schutzziele bestimmen kann. Innerhalb der IT-Security spielt ja z.B. das Schutzziel der Verfügbarkeit eine wichtige Rolle. Wenn der KI-Agent entsprechend eine Entscheidung trifft die dieses Schutzziel verletzt, müssen die Folgen klar abgeschätzt werden können. 

Autonomie ist für KI-Agenten ein sehr hohes Recht. Damit eine Aufgabe sinnvoll von echten Agenten übernommen werden kann, sollte diese entweder "sicher" lösbar und/oder "notwendig" sein. 

Die Aufgabe Sicherheitsbedrohungen an einen Menschen zu MELDEN, ist beispielsweise eher sicher. Nur in extremen Notfällen, und wenn kein Mensch unmittelbar zur Verfügung steht, sollte ein Agent voll-autonom handeln dürfen. Was der Agent dabei als solchen Notfall interpretiert ist schwer vorherzusagen und die Entscheidung dazu dem Agenten zu überlassen risikoreich. 

Ein ausreichend durchdachtes Agentisches System mit strengen Regeln und Berechtigungen, als auch eine Bindung an strenge, durch prüfbaren Programmcode gesetzten Bedingungen ist dabei das, was es zu erreichen gilt, bevor echte autonome Handlungen in riskanten Fällen sinnvoll sind. Und dann müssen diese noch getestet und geprüft werden!