Gefahr durch Schatten-KI und autonome Bots

Tobias Elsner,    |
 „Shadow AI“-Tools – warum lassen sich diese nicht absichern? Schatten-KI

Das Sicherheits-Dilemma der KI: Schatten-KI und Autonomie-Risiken beherrschen.

Künstliche Intelligenz steigert Produktivität und Innovationskraft, schafft aber gleichzeitig neue Sicherheitsrisiken. Schatten-KI und autonome Agentensysteme stellen Unternehmen vor neue Herausforderungen. Systemhäuser sind gefordert, ihre Kunden nicht nur technologisch, sondern auch beim Risikomanagement zu begleiten.

Zusammenfassung (TL; DR):

  • Der unkontrollierte Einsatz von Schatten-KI im Arbeitsalltag führt zu unbemerktem Datenabfluss. Parallel dazu müssen autonome KI-Agenten als neue digitale Identitäten wie privilegierte Benutzerkonten überwacht werden.
  • Diese Entwicklung deckt historische Schwachstellen in den Berechtigungsstrukturen von Unternehmen auf, da Sprachmodelle interne Informationen in Sekundenschnelle auffindbar machen.
  • Für IT-Systemhäuser wandelt sich die Rolle deshalb von der reinen Software-Installation hin zur strategischen Governance-Beratung, die Datenklassifikation und menschliche Kontrollinstanzen etabliert.

Kaum eine Technologie verbreitet sich derzeit schneller als Künstliche Intelligenz. Mitarbeitende nutzen ChatGPT, Claude, LeChat/Vibe, Microsoft Copilot oder spezialisierte KI-Werkzeuge längst im Arbeitsalltag, häufig unabhängig davon, ob diese offiziell eingeführt wurden oder nicht.

Sicherheitsdilemma und Schatten-KI

Für Unternehmen entsteht dadurch ein Sicherheitsdilemma: Einerseits verspricht KI erhebliche Effizienzgewinne, andererseits entstehen neue Risiken. Für Systemhäuser und IT-Dienstleister bedeutet dies einen Rollenwandel. Gefragt sind nicht mehr nur technische Integrationsleistungen, sondern ganzheitliche Sicherheits- und Beratungskonzepte.

Die größte Herausforderung besteht häufig nicht in komplexen KI-Systemen, sondern in ihrer unkontrollierten Nutzung. Unter Schatten-KI versteht man den Einsatz von KI-Anwendungen ohne Freigabe oder ausreichende Kontrolle durch die IT-Organisation. Mitarbeitende laden vertrauliche Dokumente in öffentliche KI-Dienste hoch und nutzen private Accounts für dienstliche Aufgaben.

Die Motivation ist nachvollziehbar: KI spart Zeit, verbessert Texte, erstellt Präsentationen oder unterstützt bei der Softwareentwicklung. Fehlen jedoch offizielle Lösungen oder klare Richtlinien, entstehen schnell Parallelwelten außerhalb der IT-Governance. Aus Sicht des Risikomanagements handelt es sich weniger um ein technisches als um ein organisatorisches Problem.

KI-Agenten als nächste Evolutionsstufe

Parallel zur generativen KI entwickelt sich Agentic AI zur nächsten Evolutionsstufe. KI-Agenten beantworten nicht mehr nur Fragen, sondern planen eigenständig Aufgaben, greifen auf Daten zu, bedienen Anwendungen und führen Aktionen aus. Damit verändert sich auch die Risikobetrachtung.

Ein klassischer Chatbot liefert im schlimmsten Fall eine falsche Antwort. Ein KI-Agent kann dagegen fehlerhafte Entscheidungen treffen oder durch nichtvorhergesehene Aktionen ganze Prozessketten ins Wanken bringen. Unternehmen müssen für Agentic AI nicht nur den Zugriff auf Daten absichern (Datenklassifikation, Rollen und Rechte), sondern auch festlegen, welche Entscheidungen eine KI eigenständig treffen darf und an welchen Stellen ein Mensch eingebunden werden muss (Human-in-the-loop).

In vielen Projekten richtet sich der Blick auf das Sprachmodell. Tatsächlich entscheidet jedoch die Qualität der Daten- und Berechtigungsstruktur über das Sicherheitsniveau beim Einsatz von Retrieval Augmented Generation (RAG) wie z. B. im Fall von M365 Copilot. Die KI macht vorhandenes Wissen deutlich leichter zugänglich und erhöht damit die Wahrscheinlichkeit, dass Lücken in der Berechtigungsstruktur zum Problem werden.

Historisch gewachsene Verzeichnis-Strukturen und über Jahre gewachsene Berechtigungs-„Konzepte“ werden dadurch plötzlich sichtbar. Informationen, die bislang praktisch unauffindbar waren, können innerhalb weniger Sekunden zusammengeführt und ausgewertet werden. Die eigentliche Schwachstelle liegt in fehlender Datenklassifikation, unzureichenden Berechtigungskonzepten und mangelnder Datenhygiene.

Mit Agentic AI entstehen digitale Identitäten, die selbstständig handeln können

Ein KI-Agent besitzt Berechtigungen, nutzt Anwendungen, verarbeitet Informationen und führt Aktionen aus. Aus Sicht der Informationssicherheit unterscheidet er sich damit kaum noch von einem privilegierten Benutzerkonto.

Für Unternehmen bedeutet dies, dass KI-Agenten Bestandteil des Identity- und Access-Managements werden müssen. Jeder Agent benötigt einen verantwortlichen Owner, klar definierte Rollen und Berechtigungen, eine revisionssichere Protokollierung sowie regelmäßige Überprüfungen. Ein Agent sollte insbesondere nur auf diejenigen Daten und Werkzeuge zugreifen können, die für seine konkrete Aufgabe erforderlich sind.

Generell riskant ist es nebenbei bemerkt, KI-Systemen gleichzeitig Zugang ins Internet und Zugriff auf vertrauliche Daten zu geben, wie es bei M365 Copilot häufig der Fall ist: Dieses Szenario öffnet Datenlecks über indirekte Prompt Injection Tür und Tor.

Neue Verantwortung für Systemhäuser

Für Systemhäuser und vergleichbare Dienstleister entsteht daraus eine neue Verantwortung. Die Einführung eines KI-Assistenten ist längst keine reine Softwareinstallation mehr. Sie erfordert eine Bewertung der bestehenden Datenlandschaft, der Berechtigungsstrukturen und der organisatorischen Prozesse.

Kunden erwarten Orientierung bei Fragen wie:

  • Welche KI-Dienste dürfen genutzt werden?
  • Welche Daten dürfen verarbeitet werden?
  • Wie werden Agenten abgesichert?
  • Welche Governance ist erforderlich?
  • Wie lassen sich regulatorische Anforderungen erfüllen?

Damit verschiebt sich der Fokus vom reinen Produktverkauf hin zur kontinuierlichen Sicherheitsberatung. Aufgrund des dafür nötigen Wissens und Erfahrung bietet es sich an, dass Systemhäuser wie Kunden hier mit spezialisierten Dienstleistern aus dem Bereich Security zusammenarbeiten und hochwertige und nachhaltige Ergebnisse zu erzielen.

Ein wirksames KI-Risikomanagement beginnt bereits vor der Einführung neuer Werkzeuge. Dazu gehören neben der schon beschriebenen Datenklassifizierung und Berechtigungsstrukturen eine Inventarisierung der eingesetzten KI-Anwendungen, verbindliche Nutzungsrichtlinien, Sensibilisierungsmaßnahmen für Mitarbeitende sowie regelmäßige Sicherheitsüberprüfungen. Ebenso wichtig sind Prozesse zur Protokollierung und Überwachung autonomer Entscheidungen.

Human-in-the-Loop-Prinzip

Besonders Agentensysteme sollten schrittweise eingeführt werden. Entscheidungen mit hohem Schadenspotenzial benötigen weiterhin menschliche Freigaben, während Routineaufgaben kontrolliert automatisiert werden können. Dieses Human-in-the-Loop-Prinzip verbindet die Effizienz der KI mit der notwendigen Kontrolle.

Fazit: Künstliche Intelligenz verändert nicht nur Geschäftsprozesse, sondern auch das Risikomanagement. Schatten-KI, autonome Agenten und der einfache Zugriff auf große Datenmengen schaffen neue Herausforderungen, die sich nicht allein durch technische Sicherheitsmaßnahmen lösen lassen.

Für Systemhäuser eröffnet sich gleichzeitig die Chance, ihre Rolle neu zu definieren. Wer Kunden bei Governance, Datenklassifikation, Berechtigungsmanagement und sicherer KI-Einführung begleitet, entwickelt sich vom klassischen IT-Dienstleister zum strategischen Sicherheitspartner ggfs. mit Hilfe spezialisierter IT-Security-Dienstleister

Die entscheidende Frage lautet künftig daher nicht mehr, ob Unternehmen KI einsetzen werden, sondern wie sie deren Chancen nutzen, ohne die Kontrolle über Daten, Identitäten und Geschäftsprozesse zu verlieren.

 

Autoren

  • @-yet GmbH | Plus
    : Anbieter

    Die @-yet GmbH aus Leichlingen ist ein führender IT-Sicherheits-Dienstleister mit über 20 Jahren Erfahrung im Bereich Cybersicherheit. Über 80 Mitarbeitende beraten und unterstützen namhafte Kunden - vom mittelständischen Unternehmen bis zum internationalen Konzern - bei der Prävention, Risikominimierung und im Bereich Datenschutz. Im Krisenfall stellt die @-yet ein vollständiges strategisches und operatives Krisenmanagement unter Einsatz spezialisierter Incident-Response-Teams. Die hohe Qualität der @-yet ist durch die Aufnahme in die APT-Responsedienstleister-Liste des BSI bestätigt.

  • Tobias Elsner

    Tobias Elsner ist Principal Security Resulter bei @-yet. Seine Schwerpunkte sind KI-Sicherheit, Penetrationstests, IT-Forensik, Incident Response und allgemeine Informationssicherheitsberatung. Er verfügt über mehr als 20 Jahre Erfahrung im Bereich IT-Sicherheit und ist unter anderem OSCP und GCFE zertifiziert. Aktuell beschäftigt er sich intensiv mit den Sicherheitsrisiken von generischer KI bzw. LLMs im Allgemeinen und von Agentic AI im Speziellen.

Weitere Inhalte zum Thema

Logo Newsletter IT-Sicherheit

Nichts mehr verpassen!

Mit Klick auf „Newsletter anmelden“ erhalten Sie unseren Newsletter. Die Anmeldung wird erst aktiv, nachdem Sie den Bestätigungslink in der E-Mail angeklickt haben. Datenschutzerklärung

Das könnte Sie auch interessieren