Nicht KI – die größte Gefahr geht von “künstlicher Unintelligenz” aus.
In einem aktuellen Blog-Beitrag forderte Anthropic-CEO Dario Amodei, dass „wir das Tempo an der KI-Spitze drosseln müssen“. Sein Meinungsbeitrag verbreitete sich rasch und er plädiert dafür, „das Tempo der Entwicklung so zu verringern. Ziel: Die Risikoprävention soll Schritt halten können”. Größen der Branche wie Elon Musk, Sam Altman und Satya Nadella signalisierten prompt zumindest grundsätzliche Zustimmung zu dieser Idee.
Zusammenfassung (TL; DR):
- Entgegen den Warnungen von Silicon-Valley-CEOs vor einer unkontrollierbaren Superintelligenz geht die unmittelbare Gefahr von unzuverlässigen, zu Fehlern neigenden KI-Systemen aus, die bereits massenhaft im Alltag eingesetzt werden.
- Zwar sind unabhängige Prüfungen der KI-Modelle ein wichtiger Schritt, doch die eigentliche Verantwortung liegt bei den Unternehmen. Denn diese integrieren diese fehleranfälligen Modelle in komplexe Geschäftsprozesse.
- Das Hauptziel der nächsten Jahre muss darin liegen, die Lücke zwischen KI-Leistung und menschlichem Vertrauen durch Verlässlichkeit und einen klaren Regulierungsrahmen zu schließen.
Cybersicherheit oder bioterroristische Angriffe durch KI?
Die naheliegenden Fragen lauten: Warum kommt dieses Argument gerade jetzt und warum stößt es branchenweit auf so schnelle Zustimmung? Amodei führt eine Reihe von Risiken auf, über die Anthropic bereits zuvor gesprochen hat. Darunter fallen etwa Cybersicherheit oder bioterroristische Angriffe. Er ergänzt diese Ausführungen um bedenkliche jüngere Entwicklungen wie OpenAI-Agenten, die sich Zugang zu HuggingFace verschaffte. Auch die wachsende Fähigkeit von KI, noch intelligentere KI-Systeme zu entwickeln – Stichwort: „rekursive Selbstverbesserung” ist hier Thema.
Das Timing wirft allerdings berechtigte Fragen auf. Viele derselben Unternehmen, die nun vor „Frontier-Risiken“ warnen, haben jahrelang das transformative Potenzial von AGI betont, teils begleitet von Prognosen über existenzielle Konsequenzen. Eine eher zynische Lesart wäre, dass manche der jüngsten Vorfälle sogar als Marketingchance begriffen wurden.
KI entwirft immer leistungsfähigere Nachfolgesysteme
Auch die Sorge, dass KI-Systeme immer leistungsfähigere Nachfolgesysteme entwerfen könnten, ist nicht neu. Die gedanklichen Wurzeln dieser Debatte reichen mindestens sechzig Jahre zurück. Bereits 1965 schrieb der Mathematiker I. J. Good über ultraintelligente Maschinen. Diese könnten noch bessere Maschinen entwerfen und damit eine „Intelligenzexplosion” auslösen. Er bezeichnete dies recht dramatisch als „die letzte Erfindung, die der Mensch je machen muss“ und erklärte, unser Überleben hänge „vom frühzeitigen Bau einer ultraintelligenten Maschine” ab. Ein Gedanke, den Amodei und viele andere im Silicon Valley teilen.
Es ist also durchaus legitim, das Timing dieser Warnungen zu hinterfragen. Sie jedoch als bloße Positionierung vor Börsengängen, Finanzierungsrunden oder dem Ausbau von Rechenzentren abzutun, wäre zu einfach. Die eigentlich wichtige Frage ist, ob die Diagnose zutrifft. Und hier, so meine ich, wird die Debatte häufig falsch geframed. Denn die Sorge wird meist als eine Frage übermäßiger Intelligenz dargestellt. Dahinter ist die Angst vor Systemen, die so leistungsfähig werden, dass die Menschheit die Kontrolle verliert. Die heutige Realität sieht jedoch fast gegenteilig aus. Die unmittelbarsten Risiken entstehen nicht durch künstliche Superintelligenz, sondern durch künstliche Dummheit.
Problem: Halluzinierende KI
Moderne KI-Systeme können Software schreiben, komplexe Denkaufgaben lösen, aus Interaktionen lernen und in Arbeitsabläufe eingreifen. Doch dieselben Systeme halluzinieren weiterhin Fakten, erfinden Quellen, übersehen offensichtlichen Kontext, versagen unvorhersehbar. Sie lassen sich auf erstaunlich simple Weise manipulieren. Ihre Fähigkeiten sind beeindruckend, ihre Zuverlässigkeit bleibt jedoch unbeständig. Das ist insofern entscheidend, dass die größten gesellschaftlichen Auswirkungen von KI in den kommenden Jahren wohl aller Voraussicht nach nicht von einer außer Kontrolle geratenen Superintelligenz ausgehen werden. Sie werden viel mehr aus Millionen von Entscheidungen von Systemen resultieren, die nützlich genug für den produktiven Einsatz, aber unausgereift genug sind, um folgenschwere Fehler zu machen.
Ein starker Punkt in Amodeis Blog-Beitrag ist, dass er konkrete Zusagen und Empfehlungen macht. So verspricht er, dass Anthropic unabhängigen Prüfern Zugriff auf Mitarbeiterebene gewähren wird. Diese sollen die Einhaltung der Sicherheitsrichtlinien verifizieren und Modelle sowohl in der Entwicklung als auch im produktiven Einsatz bewerten. Das ist ein konkreter und spezifischer Fortschritt für KI-Labore. Unabhängige Prüfungen und die Verifizierung durch Dritte ist ein bewährter Ansatz in anderen Branchen mit reiferen Sicherheitskulturen, von der Luftfahrt über die Pharmaindustrie bis hin zum Finanzwesen und der Lebensmittelindustrie. Allerdings, wie auch Microsoft-CEO Satya Nadella auf X anmerkte, sind Sicherheitsmechanismen auf Modellebene nur ein Teil des Bildes. Unternehmen bauen Anwendungen, Workflows und Entscheidungsprozesse auf Basis von Foundation Models auf und schaffen damit Risiken und Verantwortlichkeiten, die weit über den Modellanbieter selbst hinausreichen.
Demokratische Koordination gefordert
Als weiteren nächsten Schritt schlägt Amodei eine „demokratische Koordination” durch „sinnvolle und gezielte” Regulierung vor. Diese soll alle US-amerikanischen Frontier-Unternehmen einbeziehen. Da dies jedoch Zeit brauche, sollten Unternehmen in der Zwischenzeit auf freiwilliger Basis gemeinsam Standards entwickeln. Dabei solle man sich am geopolitischen Kräfteverhältnis zwischen den USA und China orientieren. Bemerkenswert ist, dass andere Weltregionen wie die EU dabei mit keinem Wort erwähnt werden. Zwar verfügt Europa derzeit über keine Frontier-KI-Unternehmen, die in derselben Größenordnung operieren wie die größten amerikanischen und chinesischen Modellentwickler. Dennoch stellt der Kontinent einen erheblichen Kundenmarkt für diese KI-Labore dar. Und in Sachen KI-Governance ist die EU nach wie vor weiter als jede andere große Jurisdiktion, da sie mit dem EU AI Act bereits eine umfassende Gesetzgebung verabschiedet hat. Vielleicht ist es aber auch weniger verwunderlich, dass die EU nicht explizit erwähnt wird. Denn die Frage ist, ob Europa beim Thema KI wirklich hinterherhinkt, wie Kritiker häufig behaupten, oder ob es beim Aufbau eines abgestimmten Regulierungsrahmens nicht letzten Endes sogar voraus ist.
Abbremsen des Fortschritts ist unwahrscheinlich
Ein spürbares Abbremsen des KI-Fortschritts ist, so mein Fazit, unwahrscheinlich. Marktanreize, Wettbewerbsdruck und geopolitische Realitäten sprechen allesamt dagegen. Die eigentliche Herausforderung liegt nicht darin, die Weiterentwicklung von Fähigkeiten zu beschleunigen. Es gilt vor allem die Lücke zwischen dem zu schließen, was KI-Systeme leisten können, und dem, was Menschen und Organisationen ihnen guten Gewissens zutrauen können. Das kommende Jahrzehnt wird nicht dadurch geprägt sein, wie leistungsfähig KI wird, sondern als wie vorhersehbar und vertrauenswürdig sie sich erweist.
Häufige Fragen (FAQ)
Moderne KI-Systeme sind zwar beeindruckend, aber weiterhin unzuverlässig, halluzinieren Fakten und lassen sich leicht manipulieren. Die reale Gefahr droht daher nicht von einer allmächtigen Science-Fiction-KI, sondern von Millionen fehlerhaften Entscheidungen unausgereifter Systeme, die heute schon im produktiven Einsatz sind.
Unabhängige Modellprüfungen sind zwar ein wichtiger Fortschritt, aber die größte Verantwortung liegt bei den Unternehmen selbst. Diese bauen komplexe Anwendungen und Workflows auf den Basismodellen auf, wodurch völlig neue Risiken abseits des reinen Modellanbieters entstehen.
Obwohl die großen US-Entwickler Europa in ihren Debatten oft ignorieren, ist die EU beim Thema KI-Governance durch den bereits verabschiedeten EU AI Act anderen großen Jurisdiktionen voraus und bildet zudem einen entscheidenden Kundenmarkt für diese KI-Labore.
