Forum - Icon IT-Sicherheit

Forum IT-Sicherheit
Raum für Austausch mit Experten und Community

Benachrichtigungen
Alles löschen

Welche Berechtigung würden Sie einem KI-Agenten in einer Webanwendung auf keinen Fall geben?

3 Beiträge
4 Benutzer
0 Reaktionen
54 Ansichten
0
Themenstarter

Frage an alle unsere Experten: Welche Berechtigung würden Sie einem KI-Agenten in einer Webanwendung auf keinen Fall erteilen, selbst wenn dadurch ein Teil seines Nutzens verloren ginge?


3 Antworten
0

Bei den Datenzugriffen sehe ich diese Grenzen, mit Blick auf den Datenschutz, als eine Facette der Herausforderungen: Wenn eine KI eigenständig entscheidet, welche Datenquellen sie anzapft, um ein Ziel zu erreichen, droht der Kontrollverlust darüber, ob personenbezogene Daten DSGVO-konform verarbeitet werden.
Es könnte unvorhersehbare Datenflüsse geben: Ein Agent agiert dynamisch. Unternehmen können im Vorfeld schwerer dokumentieren, welche Daten wann und wohin fließen, was die Pflicht zur Transparenz gegenüber Betroffenen massiv erschwert.


0

Ich verstehe die Frage nicht ganz. 
Es geht um eine Webanwendung, wo eine KI-Agent für einen User agiert?


0

Ich tue mir schwer, das auf eine einzelne Berechtigung festzulegen. I.d.R. ist die *Kombination* der Berechtigungen das Problem. Ein Rahmenwerk, mit dem ich ganz gerne arbeite ist hier Simon Willisons "lethal trifecta for AI" bzw. Metas "Agents Rule of Two".

Einfach gesagt unterscheiden diese zwischen "Zugriff auf private Daten", "Exposition gegenüber nicht vertrauenswürdigen Daten" und der Fähigkeit zur externen Kommunikation. Und der Trick ist, maximal zwei dieser Klassen zu erlauben. Wenn man dieses bei einer WebApp durchsetzen kann, erledigen sich viele Risiken von selber.

Im derzeitigen KI-Hype werden aber gerade im Agent/Agentic-Bereich Berechtigungen aller drei Klassen geradezu "gefordert" … das Agent/Agentic-System soll ja auch was "können" … mit entsprechenden Konsequenzen. Fügt man jetzt noch Memory/Gedächtnis hinzu, wird es schlichtweg zur tickenden Zeitbombe. E.g. eine Prompt Injection in einem PDF, das vielleicht vor einem Monat geparsed wurde, triggert auf einmal *heute* eine entsprechende Aktion... sowas wie EchoLeak mit Zeitzünder ...


Antwort
Teilen:

Fragen stellen, Erfahrungen teilen, Lösungen finden im Bereich IT-Sicherheit

Das Forum IT-Sicherheit des Marktplatzes IT-Sicherheit ist die interaktive Austauschplattform der Community, in der IT-Verantwortliche, Sicherheitsbeauftragte, Anbieter, Fachkräfte und Interessierte konkrete Fragen stellen, Praxiserfahrungen teilen und Einschätzungen zu IT-Sicherheitsthemen diskutieren können. Das Forum ergänzt die Fachinhalte des Marktplatzes um den direkten Austausch mit Experten und der IT-Sicherheitscommunity.


Ihr Nutzen

Nutzen Sie das Forum, um Fragen zur IT-Sicherheit zu stellen, Erfahrungen aus der Praxis zu teilen und von Einschätzungen der Community und Experten zu profitieren.