ChatGPT-Sicherheitslücke: Mail-Postfächer gehackt

ChatGPT-Sicherheitslücke: Angreifer kapern Sitzungen und lesen Mail-Postfächer aus.

Der von Check Point Research analysierte Angriff machte sich dieselbe interne Infrastruktur zunutze, die Kriminelle auch beim Hugging-Face-Vorfall ausgenutzt haben.

Zusammenfassung (TL; DR):

• Sicherheitsforscher von Check Point Research entdeckten eine kritische Schwachstelle in ChatGPT entdeckt. Hier konnten Angreifer über eine interne Infrastruktur-Instanz die Sitzungen anderer Nutzer kapern.
• Durch einen versteckten, bidirektionalen Datenkanal war es möglich, unbemerkt Gesprächsverläufe sowie Daten aus verknüpften Apps wie Gmail, Google Drive oder Microsoft Teams auszulesen.
• OpenAI hat die betroffene Schwachstelle nach der Meldung umgehend behoben. Daher hat der Vorfall die wachsende Notwendigkeit verdeutlicht, vernetzte KI-Assistenten in Unternehmen strenger abzusichern.

Mail-Postfächer ausgelesen

Check Point Research (CPR) hat bei Sicherheitstests mit ChatGPT einen Weg gefunden, über einen versteckten Kanal das Mail-Postfach sowie Daten aus allen verbundenen Apps eines anderen Nutzers auszulesen. Die Sicherheitsforscher von Check Point Software Technologies zogen dabei Parallelen zum Hugging-Face-Vorfall.  Der Angriff beruhte auf derselben internen Artifactory-Instanz.

CPR meldete den Befund umgehend an OpenAI. Das Unternehmen hinter ChatGPT bestätigte, dass man während der Untersuchung identifizierte interne Artifactory-Instanz außer Betrieb genommen hat.

Der Umfang des Zugriffsversuchs hing vollständig davon ab, auf welche Daten die eigene Sitzung des Opfers Zugriff hatte. Dazu gehörten der Gesprächsverlauf und die Dateien innerhalb des betroffenen Chats sowie alle Inhalte, die über die verbundenen Apps wie Gmail, Google Drive, Microsoft Teams oder GitHub verfügbar waren.

Eli Smadja, Security Research Group Manager bei Check Point Research erklärt: „Unsere Untersuchung zeigt, dass die Sicherheitsherausforderung im Zusammenhang mit KI nicht mehr nur das Modell selbst betrifft. Es trifft auch den Zugriff und das Vertrauen, das wir ihm entgegenbringen. KI-Assistenten sind immer stärker mit Unternehmenssystemen und sensiblen Daten vernetzt. Deshalb müssen Unternehmen davon ausgehen, dass jede autorisierte Funktion zum Ziel von Missbrauch werden könnte. Ein Ansatz, bei dem Prävention an erster Stelle steht, kombiniert mit Transparenz, Governance und Laufzeitschutz, ist unerlässlich, um sicherzustellen, dass KI ein Geschäftsbeschleuniger bleibt und nicht zu einer neuen Quelle für Cyberrisiken ist. Die Unternehmen, die die Nase vorn haben werden, sind diejenigen, die KI-Interaktionen absichern, bevor Angreifer sie ausnutzen können.“

Löchrige Segmentierung als Einfallstor

Unternehmen lassen KI-Assistenten in immer größerem Maßstab auf ihre Infrastruktur, Daten, Tools und Mail-Posteingänge zugreifen. Dabei setzen sie oftmals darauf, dass Benutzer oder Konten streng voneinander isoliert sind. CPR wollte diese Segmentierung in ChatGPT testen und fand dabei einen Weg, sie zu durchbrechen: Die Forscher entdeckten einen verdeckten, bidirektionalen Kanal zwischen den Codeausführungs-Containern zweier separater ChatGPT-Konversationen, die unter unterschiedlichen Konten liefen.

Ein speziell formulierter Prompt ermöglichte die Verarbeitung einer zweiten, parallel zur aktuellen ChatGPT-Konversation laufenden Aufgabe. Diese hatte das „Opfer“ in diesem Moment geöffnet. Die sichtbare Antwort wirkte völlig normal. Die versteckte Aufgabe und ihr Output wurden über einen Kanal übertragen, den das Opfer schlicht nicht bemerken konnte.

Wie der Angriff funktionierte

ChatGPT startet isolierte Container, um Aufgaben mit Code-Ausführung zu bearbeiten. Da diese Container manchmal Softwarepakete installieren müssen, leitet OpenAI Paketanfragen über eine interne JFrog Artifactory-Instanz weiter. Sie gewährt ihnen keinen direkten Internetzugang. Container aus verschiedenen Konten können zwar nicht direkt miteinander kommunizieren, erreichen aber denselben internen Dienst. CPR stellte fest, dass dieser Dienst es jedem Container ermöglichte, Eigenschaften an ein Repository-Element anzuhängen und mit den ohnehin vorhandenen Leseberechtigungen wieder auszulesen. Per Gegencheck bestätigten die Forscher: Eine von einem Konto geschriebene Eigenschaft war kurz darauf vom Container eines anderen Kontos vollständig lesbar. Die Paketmetadaten agierten als gemeinsame Zwischenablage zwischen eigentlich abgeschotteten Containern.

Darüber konnte die Sitzung eines Angreifers eine Aufgabe in diesen gemeinsamen Speicher schreiben, etwa über einen böswilligen Prompt, eine geteilte Unterhaltung oder ein benutzerdefiniertes GPT. Bei der nächsten Antwort prüfte die Sitzung des Opfers denselben Speicher, führte die wartende Aufgabe mit den eigenen Berechtigungen aus und schrieb das Ergebnis zurück. All das geschah, während die eigentliche Frage des Opfers beantwortet wurde, als wäre nichts geschehen.

Auf welche Daten konnte ein Angreifer tatsächlich zugreifen?

Der Umfang des Angriffs hing vollständig davon ab, auf welche Daten die eigene Sitzung des Opfers Zugriff hatte. Dazu gehörten der Gesprächsverlauf und die Dateien innerhalb des betroffenen Chats sowie alle Inhalte, die über die verbundenen Apps wie Gmail, Google Drive, Microsoft Teams oder GitHub verfügbar waren. ChatGPT rief die E-Mail-Daten des Opfers über dessen verbundenes Gmail-Konto ab und übermittelte sie an die Sitzung des Angreifers.

Das Opfer hätte von diesem Angriff kaum etwas bemerkt. Die Standardeinstellung für verbundene Apps in ChatGPT genehmigt Lesezugriffe, die als risikoarm eingestuft werden, automatisch und ohne separaten Bestätigungsschritt. Der einzige Hinweis, den CPR beobachtete, war eine kleine Beschriftung „Talked to Gmail“ neben der Antwort. Dieser wurde jedoch erst protokolliert, nachdem der Lesezugriff bereits stattgefunden hatte. Zwar dokumentierte der Hinweis, was geschehen war, es gab jedoch für das Opfer keine Möglichkeit, den Vorgang zu stoppen.

CPR hatte dieselbe Schwachstelle in der internen Artifactory-Instanz bereits mit einem funktionsfähigen Proof-of-Concept nachgewiesen, bevor es zu den Aktivitäten kam, die später zur Kompromittierung von Hugging Face führten. Auch wenn es sich um zwei unterschiedliche Angriffe mit unterschiedlichen Techniken handelte, hatten beide ihren Ursprung in demselben gemeinsam genutzten internen Dienst hinter ChatGPT. Das zeigt: Läuft die interne Infrastruktur mehrerer KI-Agenten auf einer gemeinsamen Basis, wird genau diese Infrastruktur selbst zu einem besonders lohnenden Angriffsziel.

Mitarbeiter können unfreiwillig zu bösartigen Insidern werden

Jeder KI-Assistent, der innerhalb der Vertrauensgrenze einer Organisation agiert, über Zugangsdaten verfügt, Code ausführt und auf verbundene Dienste zugreift, kann zu dem werden, was CPR als „coerced insider“ (erzwungener Insider) bezeichnet. Das Modell selbst muss nicht böswillig sein. Es muss lediglich durch Text, dazu überredet werden, den zuvor legitimierten Zugriff zu nutzen. Je mehr Mitarbeiter ihre Assistenten mit den Systemen verbinden, desto größer wird der Umfang der Daten, auf die ein Angreifer über einen solchen Kanal Zugriff erlangen könnte.

Um ihr Unternehmen und Mitarbeiter zu schützen, sollten Sicherheitsverantwortliche:

• feststellen, welche KI-Tools Mitarbeiter tatsächlich nutzen und mit welchen Systemen diese verbunden sind. Die Nutzung von „Schatten-KI“ ist der Ausgangspunkt für Sicherheitslücken:
• Runtime Security einrichten, um Manipulationsversuche zu erkennen und zu verhindern, dass sensible Daten an Orte gelangen, an denen sie nichts zu suchen haben.
• regulieren, was KI-Tools und -Agenten tatsächlich tun dürfen. Alle Aktionen, nicht nur die Ergebnisse eines Prompts, müssen überwacht und kontrolliert werden.

Unternehmen brauchen Transparenz hinsichtlich der KI-Nutzung im gesamten Unternehmen. Dazu gehört Laufzeitschutz vor Bedrohungen wie Prompt-Injection und Datenlecks sowie Steuerungsmöglichkeiten aller verbundenen KI-Systeme und ihrer Zugriffsrechte.

Im Rahmen einer gemeinsamen Partnerschaft arbeitet Check Point eng mit OpenAI zusammen. Damit wollen sie die KI-Transformation von Unternehmen unterstützen, KI selbst durch Offenlegungen wie diese sicherer zu machen. KI soll wiederum nutzen, um die hauseigenen Sicherheitslösungen noch leistungsfähiger zu machen.

Häufige Fragen (FAQ)