Sichere LLMs sind nur der Anfang bei der KI-Sicherheit.
Kaum ein Unternehmen verzichtet heute darauf, Künstliche Intelligenz zu verwenden. Die Vorteile wiegen die potenziellen Gefahren mehr als auf. Dennoch kann ein zu lasches AI-Security-Konzept sie teuer zu stehen kommen.
Zusammenfassung (TL; DR):
- Da sichere KI-Modelle allein nicht ausreichen, müssen Unternehmen ihre gesamte Infrastruktur schützen, um schwerwiegende Angriffe wie Prompt Injections, Datenlecks oder manipulierte Lieferketten zu verhindern.
- Besonders der unkontrollierte Einsatz von autonomen KI-Agenten birgt durch zu weitreichende Berechtigungen und ungeprüfte Ausgaben erhebliche Sicherheitsrisiken für interne Systeme.
- Ein wirksamer Schutz erfordert daher ein umfassendes Governance-Modell, das strikte Zugriffskontrollen nach dem Least-Privilege-Prinzip und eine kontinuierliche Überwachung des gesamten Entwicklungszyklus beinhaltet.
Der Einsatz Künstlicher Intelligenz, insbesondere in Form von KI-Agenten, ist in vielen Unternehmen mittlerweile an der Tagesordnung. Viele sind sich der besonderen Gefahrenlage durch den hohen Grad der Automatisierung bewusst, glauben aber, es genüge, sichere Modelle zu verwenden. Dieser Schein kann trügen.
Sicherheitsrisiko #1: Prompt Injection
Das derzeit wohl größte Risiko im Hinblick auf KI-Agenten ist die Prompt Injection. Einfach erklärt geht es darum, dass Hacker manipulierte Eingaben erstellen, die Large Language Models (LLMs) dazu bringen, ursprüngliche Anweisungen zu ignorieren und Restriktionen zu umgehen. Besonders gefährlich sind kompromittierte Prompts, die Kriminelle in Dokumenten, E-Mails oder Webseiten verbergen, auf die KI-Agenten Zugriff haben. Beispiele wie CVE-2025-53773 und EchoLeak im Microsoft Copilot zeigen, dass solche Angriffe bis zum Zugriff auf sensible Daten führen können. Schutz bieten eine klare Trennung von System- und Nutzereingaben, Content-Filter sowie eingeschränkte Berechtigungen für KI-Agenten.
Sicherheitsrisiko #2: Datenleaks
Unter bestimmten Umständen legen LLMs sensible Informationen wie personenbezogene Daten, API-Schlüssel oder interne Unternehmensdaten offen. Das passiert zum Beispiel, wenn sie versehentlich im Trainingsdatensatz enthalten sind und so über das Modell zugänglich werden. Haben KI-Agenten etwa Zugriff auf E-Mails, CRM- oder Dokumentensysteme, steigt das Risiko erheblich. Immer wieder kommt es auf diese Weise zu ungewollten Datenleaks, die Unternehmen schwer schädigen können. Es ist daher unverzichtbar, dass sie Data-Loss-Prevention-Maßnahmen, regelmäßige Zugriffskontrollen nach dem Least-Privilege-Prinzip sowie Tests zur Erkennung von Datenlecks als Sicherheitsmaßnahmen fest implementieren.
Sicherheitsrisiko #3: Mangelhaftes Output Handling
Es kommt leider häufig vor, dass Ausgaben von Large Language Models ungeprüft an andere Systeme weitergegeben werden. Das kann durchaus Sinn ergeben, birgt aber das Risiko, dass etwa fehlerhafte Codevorschläge, SQL-Injections oder schädliche Skripte entstehen. Besonders im Zusammenhang mit KI-Agenten besteht das Risiko unkontrollierter Vertrauensketten, wenn ein System oder eine Anwendung eine KI-Ausgabe direkt und ohne Kontrollinstanz verarbeitet. Um dies zu verhindern, sollten LLM-Ausgaben wie nicht vertrauenswürdige Eingaben behandelt, validiert, bereinigt und durch sichere Schnittstellen kontrolliert werden.
Sicherheitsrisiko #4: Zu viele Berechtigungen für KI-Agenten
Wenn Unternehmen ihren KI-Agenten mehr Berechtigungen geben, als sie für die Erfüllung ihrer Aufgabe benötigen, spricht man von „Excessive Agency“. Das Problem ist, dass umfangreiche Zugriffe auf Datenbanken, E-Mails oder Finanzsysteme bei Fehlern oder Manipulationen erhebliche Schäden verursachen können. Um dieses Risiko zu reduzieren, sollten KI-Agenten nach dem Least-Privilege-Prinzip eingeschränkt, kritische Aktionen durch Menschen freigegeben und alle Aktivitäten vollständig protokolliert werden.
Sicherheitsrisiko #5: Kompromittierte KI-Supply-Chains
Large Language Models, Datensätze, Plug-ins und Komponenten von Drittanbietern können Bugs und Fehler enthalten. So ist es möglich, dass manipulierte Modelldateien oder kompromittierte Erweiterungen Schadcode einschleusen und unbemerkt in KI-Systeme gelangen. Eine besondere Gefahr stellen in diesem Zusammenhang Angriffe auf eigentlich vertrauenswürdige Abhängigkeiten und Automatisierungsworkflows dar. Schutz gegen die Kompromittierung der KI-Supply-Chain bieten nur absolute Transparenz, eine Übersicht über alle vorhandenen KI-Komponenten, die eingehende Prüfung ihrer Herkunft und Integrität sowie eine kontinuierliche Überwachung von Drittanbieter-Tools.
Sicherheitsrisiko #6: Daten- und Modellvergiftung
Wenn manipulierte Daten in Datensätze für das KI-Training, das Feintuning oder in RAG (Retrieval-Augmented Generation)-Wissensdatenbanken gelangen, nennen Fachleute dies Data beziehungsweise Model Poisoning. Durch diese „Vergiftung“ besteht die Gefahr, dass KI-Modelle fehlerhafte Muster lernen, verinnerlichen und dann falsche Ergebnisse erzeugen. Das Model Poisoning stellt in diesem Zusammenhang eine besonders schwere Form der Vergiftung dar, da hierbei Modellparameter direkt manipuliert werden. Unternehmen können sich schützen, indem sie eine lückenlose Nachverfolgung der Datenherkunft implementieren, Datensätze stets validieren und Tools zur Erkennung ungewöhnlicher Modellreaktionen nutzen. Neue Modelle sollten sie vor dem produktiven Einsatz dringend in isolierten Umgebungen testen.
Sicherheitsrisiko #7: Schwachstellen in Vektordatenbanken und Embeddings
RAG ist mittlerweile der etablierte Mechanismus, um LLM-Ausgaben mit spezifischen Datenquellen zu verknüpfen. Die zugrunde liegenden Vektordatenbanken und Embeddings stellen jedoch selbst eine Angriffsfläche dar. Angreifer können manipulierte Dokumente in Wissensbasen einschleusen, Ähnlichkeitswerte von Embeddings verändern oder Schwachstellen bei Zugriffskontrollen von Vektorspeichern ausnutzen, um gezielt zu beeinflussen, welche Informationen das Modell abruft. Maßnahmen wie Zugriffskontrollen, Integritätsprüfungen und regelmäßige Audits helfen, Manipulationen frühzeitig zu erkennen.
Häufige Fragen (FAQ)
Ein sicheres Modell schützt nicht vor den Risiken der umgebenden Infrastruktur. Gefahren entstehen vor allem dort, wo das Modell mit anderen Systemen interagiert – etwa durch manipulierte Daten aus Drittquellen (Supply-Chain-Angriffe), unvollständige Kontrollen bei der Weiterleitung von KI-Ausgaben oder das Einschleusen von Schadcode über externe Dokumente.
Unter Excessive Agency versteht man das Problem, dass KI-Agenten zu weitreichende Berechtigungen für Datenbanken, E-Mails oder Finanzsysteme erhalten, was bei Fehlern oder Manipulationen zu massiven Schäden führen kann. Minimieren lässt sich dies durch das Least-Privilege-Prinzip (nur minimal notwendige Rechte), die Pflicht zur menschlichen Freigabe bei kritischen Aktionen sowie eine vollständige Protokollierung.
Da RAG-Systeme (Retrieval-Augmented Generation) genutzt werden, um LLMs mit spezifischen Unternehmensdaten zu füttern, bilden ihre Vektordatenbanken ein attraktives Ziel. Angreifer können manipulierte Dokumente in diese Wissensbasen einschleusen oder Ähnlichkeitswerte manipulieren, um gezielt zu steuern, welche (potenziell falschen oder schädlichen) Informationen das Modell abruft und verarbeitet.
