Enisa
Securing Machine Learning Algorithms
Der Bericht „Securing Machine Learning Algorithms“ von ENISA aus dem Jahr 2021 befasst sich mit den Sicherheitsherausforderungen, die maschinelle Lernalgorithmen (Machine Learning, ML) mit sich bringen. Der Bericht untersucht die Bedrohungen und Schwachstellen, die bei der Entwicklung und Implementierung von ML-Systemen auftreten, und bietet Sicherheitsmaßnahmen, um diese zu adressieren.
Einleitung und Kontext
Mit der rasanten Entwicklung der digitalen Technologie und der zunehmenden Bedeutung von Künstlicher Intelligenz (KI) sind auch die Risiken gestiegen, die durch den Einsatz solcher Technologien entstehen. Maschinelles Lernen, das als eine der vielversprechendsten Technologien im Bereich der KI gilt, wird in vielen Industrien und öffentlichen Sektoren genutzt. Gleichzeitig machen die spezifischen Eigenschaften von ML-Systemen sie anfällig für eine Reihe von Cyberbedrohungen, darunter Datenvergiftung, Angriffe auf Modelle und Verstöße gegen Datenschutzbestimmungen. Ziel des Berichts ist es, den Lebenszyklus von ML-Systemen zu analysieren und geeignete Sicherheitsmaßnahmen zu empfehlen, die die Schwachstellen abdecken und die Resilienz von ML-Anwendungen stärken.
Taxonomie der ML-Algorithmen
Ein zentraler Bestandteil des Berichts ist die Erstellung einer Taxonomie von ML-Algorithmen, die es ermöglicht, spezifische Bedrohungen und Sicherheitsmaßnahmen für verschiedene Algorithmentypen zu identifizieren. Die Algorithmen werden nach verschiedenen Dimensionen kategorisiert, wie beispielsweise dem Anwendungsbereich (Computer Vision, Sprachverarbeitung) und den verwendeten Datentypen (Bild, Text, Zeitreihen). Diese Klassifizierung hilft, die Angriffspunkte und Schwachstellen besser zu verstehen.
Die Taxonomie unterscheidet auch zwischen verschiedenen Lernparadigmen, darunter überwachtes Lernen, unüberwachtes Lernen und bestärkendes Lernen. Jedes dieser Paradigmen hat spezifische Sicherheitsanforderungen. Beispielsweise ist das überwachte Lernen, bei dem mit gelabelten Daten gearbeitet wird, besonders anfällig für Datenmanipulationen, während das unüberwachte Lernen eher durch Clustering-Angriffe gefährdet ist.
Bedrohungen und Schwachstellen
Der Bericht identifiziert eine Vielzahl von Bedrohungen, die speziell auf ML-Systeme abzielen. Zu den wichtigsten Bedrohungen zählen:
- Evasion-Angriffe: Hierbei manipulieren Angreifer Eingabedaten so, dass das ML-Modell falsche Ergebnisse liefert, ohne dass die Angriffe sofort erkannt werden. Diese Angriffe nutzen die Tatsache aus, dass Modelle oft empfindlich auf kleine Veränderungen der Eingabedaten reagieren.
- Datenvergiftung (Data Poisoning): In diesem Szenario manipulieren Angreifer die Trainingsdaten, um das Verhalten des Modells zu sabotieren oder eine Hintertür zu schaffen. Dies kann zu Fehlentscheidungen führen, die schwerwiegende Auswirkungen auf sicherheitskritische Systeme haben können.
- Modelloffenlegung: Angreifer können durch gezielte Abfragen auf die internen Parameter eines Modells zugreifen und dadurch Rückschlüsse auf das Training und die verwendeten Daten ziehen.
- Komponentenkompromittierung: Hierbei werden Bibliotheken oder Tools, die zur Entwicklung und zum Betrieb von ML-Modellen verwendet werden, angegriffen. Dies kann zu einer vollständigen Kompromittierung des gesamten Systems führen.
Sicherheitskontrollen
Der Bericht bietet eine Reihe von Sicherheitsmaßnahmen, die auf verschiedene Phasen des ML-Lebenszyklus angewendet werden können, um die identifizierten Bedrohungen zu mindern. Diese Maßnahmen sind in drei Kategorien unterteilt:
- Organisatorische und politische Kontrollen: Diese betreffen unter anderem die Zugangskontrolle, die Dokumentation der verwendeten Modelle und die Sicherstellung der Einhaltung gesetzlicher Vorgaben wie der Datenschutz-Grundverordnung (DSGVO).
- Technische Kontrollen: Hierzu gehören Maßnahmen wie das Testen von Modellen auf Schwachstellen, das Filtern von Eingabedaten, um Anomalien zu erkennen, und das Überwachen der Modellergebnisse auf ungewöhnliches Verhalten.
- Spezifische ML-Kontrollen: Diese Maßnahmen sind speziell auf ML-Systeme zugeschnitten. Beispielsweise wird empfohlen, adversarielle Beispiele in den Trainingsdatensatz aufzunehmen, um die Resilienz gegenüber Evasion-Angriffen zu erhöhen. Weitere spezifische Maßnahmen umfassen das Modifizieren der Eingabedaten, um Manipulationen zu erschweren, und die Erweiterung der Trainingsdatensätze, um die Robustheit gegenüber Datenvergiftung zu verbessern.
Schlussfolgerungen und Empfehlungen
Der Bericht schließt mit der Feststellung, dass es keine einheitliche Strategie gibt, um alle Bedrohungen für ML-Systeme zu bekämpfen. Jede Sicherheitsmaßnahme muss im Kontext des jeweiligen Anwendungsfalls und der eingesetzten Technologie betrachtet werden. Zudem sollten Unternehmen und Regierungen eng zusammenarbeiten, um neue Bedrohungen frühzeitig zu erkennen und innovative Sicherheitslösungen zu entwickeln. Die Integration von Cybersicherheitsmaßnahmen in den Entwicklungsprozess von ML-Systemen, von der Datenakquise bis zur Bereitstellung, ist unerlässlich, um die Sicherheit und Vertrauenswürdigkeit dieser Systeme zu gewährleisten.
Insgesamt bietet der Bericht eine umfassende Analyse der Cybersicherheitsrisiken im Bereich des maschinellen Lernens und stellt konkrete Maßnahmen vor, um diese Risiken zu minimieren und die Resilienz von ML-Systemen zu stärken.
