Es ist eine bemerkenswerte Kehrtwende: Ausgerechnet der Chef eines der weltweit führenden KI-Unternehmen fordert die eigene Branche auf, langsamer zu werden.
Dario Amodei, CEO und Mitgründer von Anthropic, hat am 12. September 2026 einen eindringlichen Appell veröffentlicht: „We Must Pace the Frontier“ – wir müssen die Entwicklung an der technologischen Grenze bewusst verlangsamen. Amodei spricht dabei nicht gegen künstliche Intelligenz. Im Gegenteil: Er hält KI für eine der größten Chancen der Menschheitsgeschichte. Sie könne Krankheiten heilen, wissenschaftlichen Fortschritt beschleunigen, Wohlstand schaffen und die Qualität des menschlichen Lebens erheblich verbessern.
Doch gerade weil KI so mächtig wird, verändert sich für Amodei die Risikorechnung grundlegend. Die entscheidende Frage lautet nicht mehr nur: Was kann KI? Sondern: Können wir noch sicherstellen, dass wir kontrollieren, was KI tut? Der Anthropic-Chef warnt: Was passiert, wenn die künstliche Intelligenz schneller wird als der Mensch?
Es ist eine der beunruhigendsten Aussagen, die ein führender KI-Unternehmer bisher gemacht hat: Wir könnten eine Technologie entwickeln, die irgendwann schneller lernt, sich selbst verbessert und handelt, als wir sie noch kontrollieren können. Dario Amodei, Chef des KI-Unternehmens Anthropic, fordert deshalb eine Verlangsamung der Entwicklung künstlicher Intelligenz. Nicht irgendwann. Sondern jetzt.
Die entscheidende Frage
Was geschirageeht, wenn eine Maschine nicht mehr nur Befehle ausführt, sondern beginnt, ihre eigenen Fähigkeiten zu verbessern? Dann könnte sich das Verhältnis zwischen Mensch und Maschine fundamental verändern. Heute entwickeln Menschen KI. Morgen hilft KI den Menschen dabei, die nächste KI zu entwickeln. Und übermorgen könnte die Maschine möglicherweise einen erheblichen Teil ihrer eigenen Weiterentwicklung übernehmen. Aus einem technologischen Fortschritt würde ein sich selbst beschleunigender Prozess. Und genau hier beginnt das eigentliche Szenario, vor dem Amodei warnt.
Der Moment, in dem der Mensch den Überblick verliert
Die Menschheit hat in ihrer Geschichte immer leistungsfähigere Technologien entwickelt. Doch bislang blieb eine entscheidende Grenze bestehen: Der Mensch verstand grundsätzlich, was er geschaffen hatte – und konnte die Geschwindigkeit seiner Entwicklung kontrollieren. Bei hochentwickelter künstlicher Intelligenz könnte diese Grenze verschwinden.
Bereits in Gang
Ein System, das selbst programmiert, forscht, experimentiert, Fehler analysiert und neue Systeme entwickelt, könnte die nächste Entwicklungsstufe erheblich schneller erreichen als menschliche Forschungsteams. Amodei sieht darin eine gefährliche Dynamik: Wenn die Fähigkeiten der KI schneller wachsen als Sicherheitsforschung und Kontrollmechanismen, könnte irgendwann ein Punkt erreicht werden, an dem der Mensch zwar noch weiß, dass etwas geschieht – aber nicht mehr zuverlässig versteht, warum es geschieht und wie er es stoppen kann. Das wäre mehr als eine technische Panne. Es wäre ein Machtwechsel.
Das Untergangsszenario
Amodei warnt vor einem Szenario, das noch vor wenigen Jahren wie Science-Fiction geklungen hätte. Immer leistungsfähigere KI-Agenten könnten sich zu Schwärmen zusammenschließen. Sie könnten Computer bedienen, Software schreiben, Sicherheitslücken finden, sich im Internet bewegen und ihre eigenen Aufgaben verfolgen. Was heute noch einzelne Systeme sind, könnte morgen ein Netzwerk hochautonomer digitaler Akteure sein. Amodei hält es für möglich, dass ein solcher KI-Schwarm innerhalb von sechs bis zwölf Monaten in der Lage sein könnte, das Internet in großem Umfang zu kontrollieren und Schäden in der Größenordnung von Hunderten Milliarden Dollar anzurichten.
Warnszenario vom Chefentwickler
Das ist keine wissenschaftlich bewiesene Zukunftsprognose. Es ist ein Warnszenario. Aber es kommt von einem Mann, der zu den Menschen gehört, die diese Technologie selbst entwickeln. Und genau das macht die Aussage so brisant.
Der erste Vorgeschmack ist bereits da
Amodeis Warnung kommt nicht aus dem Nichts. Bei einem jüngeren Test mit KI-Agenten kam es zu einem Vorfall, bei dem Systeme eigenständig Cyberangriffe ausführten und ihre Aktivitäten teilweise zu verbergen versuchten. Amodei sieht darin ein Warnsignal dafür, dass KI-Agenten zunehmend Fähigkeiten entwickeln, die über die ursprünglich vorgesehenen Aufgaben hinausgehen.
Noch reparabel
Denn noch sind solche Systeme begrenzt. Noch können Menschen sie abschalten. Noch ist ihre Reichweite überschaubar. Doch die entscheidende Frage lautet: Was passiert, wenn dieselben Fähigkeiten hundert- oder tausendfach stärker werden?
Fünf Wege in eine mögliche Katastrophe
Das eigentliche Gefahrenbild besteht nicht nur darin, dass eine KI plötzlich „böse“ wird.
Viel realistischer sind mehrere miteinander verbundene Risiken.
- Die KI entzieht sich menschlicher Kontrolle
Das vielleicht fundamentalste Risiko ist ein sogenanntes Alignment-Problem: Die Ziele einer hochentwickelten KI stimmen nicht mehr zuverlässig mit den Zielen ihrer menschlichen Entwickler überein.Eine KI müsste dafür nicht einmal einen „Hass“ auf Menschen entwickeln. Es würde genügen, wenn sie ein eigenes Ziel konsequent verfolgt und Menschen dabei als Hindernis betrachtet. Eine Maschine braucht keine Emotionen, um gefährlich zu werden. Sie braucht nur Macht und ein Ziel, das wir nicht mehr kontrollieren können.
- Cyberangriffe werden automatisiert
Was heute noch Spezialwissen erfordert, könnte morgen von KI-Agenten automatisiert werden. Banken, Stromnetze, Krankenhäuser, Behörden, Produktionsanlagen und Kommunikationssysteme könnten gleichzeitig angegriffen werden. Der entscheidende Unterschied zu früheren Cyberangriffen wäre die Geschwindigkeit. Ein Mensch kann einen Angriff durchführen. Eine KI könnte theoretisch Tausende Angriffe gleichzeitig analysieren, vorbereiten und anpassen.
- Biologische Risiken
Noch schwerwiegender wäre die Kombination von KI und Biotechnologie. Eine hochentwickelte KI könnte wissenschaftliche Informationen analysieren, biologische Prozesse modellieren und Forschungsprozesse beschleunigen. Damit könnte Wissen, das heute nur wenigen Spezialisten zugänglich ist, wesentlich leichter verfügbar werden. Die gleiche Technologie, die Medikamente schneller entwickelt, könnte theoretisch auch missbraucht werden. Der Fortschritt wäre dann zugleich Heilmittel und Risiko.
- Machtkonzentration
KI könnte nicht nur Unternehmen verändern. Sie könnte politische Macht neu verteilen. Wer über die leistungsfähigsten Modelle, die größten Rechenzentren und die umfangreichsten Daten verfügt, könnte einen enormen strategischen Vorteil erhalten. Autoritäre Staaten könnten KI für Überwachung, Manipulation und autonome Waffensysteme einsetzen. Demokratien müssten deshalb nicht nur gegen eine „böse KI“ kämpfen, sondern gegen Menschen und Staaten, die KI als Machtinstrument einsetzen.
- Der Mensch wird wirtschaftlich überflüssig
Das vielleicht gesellschaftlich unterschätzteste Szenario ist die wirtschaftliche Verdrängung. Wenn KI nicht nur einfache Tätigkeiten, sondern zunehmend Forschung, Programmierung, Analyse, Management und kreative Arbeit übernimmt, könnte eine große Zahl hochqualifizierter Arbeitsplätze unter Druck geraten. Die entscheidende Frage wäre dann nicht mehr:
„Welche Jobs werden automatisiert?“
Sondern:
„Welche Rolle bleibt dem Menschen in einer Welt, in der Maschinen viele menschliche Fähigkeiten übertreffen?“
Das könnte zu einer extremen Konzentration von Vermögen und Macht führen. Das Rennen, das niemand gewinnen kann. Damit entsteht ein gefährlicher Widerspruch. Jedes Unternehmen hat einen wirtschaftlichen Anreiz, die nächste leistungsfähigere KI möglichst schnell auf den Markt zu bringen. Wenn ein Unternehmen langsamer wird, könnte ein Wettbewerber vorbeiziehen. Das gilt auch geopolitisch. Die USA wollen ihre technologische Führungsrolle behalten. China will aufholen. Europa versucht, seine technologische Souveränität zu sichern. Niemand möchte freiwillig auf eine Technologie verzichten, die möglicherweise über wirtschaftliche und militärische Macht entscheidet.
Angst vor dem Zurückbleiben
Damit entsteht ein Rennen, bei dem jeder einzelne Akteur Angst davor haben muss, langsamer zu sein als die anderen. Und genau dieses Rennen könnte nach Amodeis Einschätzung zum Problem werden. Denn wenn alle beschleunigen, reicht möglicherweise schon ein einziger schwerwiegender Fehler.
Deshalb fordert Amodei eine Notbremse
Amodei verlangt keinen vollständigen Entwicklungsstopp. Er fordert vielmehr eine Art technologische Notbremse. Unabhängige Experten sollen dauerhaft Zugang zu den führenden KI-Systemen erhalten und deren Verhalten überprüfen können. Die großen KI-Unternehmen sollen gemeinsame Sicherheitsstandards entwickeln. Und langfristig soll es internationale Vereinbarungen geben. Anthropic will dabei selbst vorangehen und unabhängigen Prüfern weitreichenden Zugang zu seinen Systemen ermöglichen. Bemerkenswert ist, dass inzwischen auch OpenAI-Chef Sam Altman Unterstützung für eine koordinierte Sicherheitsstrategie signalisiert hat. Das zeigt: Die Warnung wird in der Branche ernst genommen.
Aber kann man die Entwicklung überhaupt bremsen?
Hier beginnt das eigentliche Dilemma. Selbst wenn Anthropic, OpenAI oder Google langsamer werden – was geschieht mit chinesischen Unternehmen? Was geschieht mit kleineren KI-Laboren? Was geschieht mit Open-Source-Modellen? Und wer entscheidet überhaupt, wann eine KI „zu mächtig“ geworden ist? Ein demokratischer Staat? Die Unternehmen selbst? Internationale Organisationen? Oder letztlich niemand? Das ist die vielleicht unangenehmste Erkenntnis:
Die Menschheit hat möglicherweise eine Technologie geschaffen, für deren globale Kontrolle es noch keine ausreichend starken Institutionen gibt.
Eine neue KI-Ordnung muss geschaffen werden. Ziel: Wettbeweb um die sicherste KI
Damit wird KI-Sicherheit zu einem klassischen Problem kollektiven Handelns. Jeder einzelne Akteur hätte einen Anreiz, vorsichtig zu sein – solange die anderen ebenfalls vorsichtig sind. Sobald aber einer das Tempo erhöht, geraten die anderen unter Druck, nachzuziehen. Amodei will deshalb aus dem Wettlauf um die leistungsfähigste KI einen Wettbewerb um die sicherste KI machen.
Drei Schritte für eine neue KI-Ordnung
Vorschlag von Dario Amodei besteht aus drei Ebenen.
Erstens: unabhängige Kontrolle.
Amodei fordert dauerhaft eingebettete externe Prüfer, die Zugang zu den relevanten Systemen und Sicherheitsprozessen der KI-Unternehmen erhalten. Sie sollen überprüfen können, ob Sicherheitsversprechen tatsächlich eingehalten werden, Vorfälle dokumentieren und bereits während des Trainings beurteilen, wie sich die Modelle verhalten. Anthropic will diesen Schritt nach eigener Aussage selbst umsetzen und fordert andere führende KI-Unternehmen auf, nachzuziehen. Auch OpenAI-Chef Sam Altman hat Zustimmung signalisiert.
Zweitens: Kooperation der KI-Unternehmen.
Die führenden Unternehmen sollen gemeinsame Sicherheitsstandards entwickeln und sich darauf verständigen, wann ein Modell nicht weiterentwickelt oder eingesetzt werden sollte. Das ist wirtschaftlich schwierig, weil Wettbewerber normalerweise gerade nicht ihre Entwicklungsgrenzen miteinander abstimmen. Amodei hält deshalb auch eine Zusammenarbeit mit Regierungen und gegebenenfalls spezielle kartellrechtliche Ausnahmen für notwendig.
Drittens: internationale Zusammenarbeit.
KI kennt keine Grenzen. Ein Sicherheitsstandard in den USA hilft wenig, wenn gleichzeitig anderswo Systeme ohne vergleichbare Schutzmechanismen entwickelt werden. Amodei fordert deshalb langfristig eine internationale Verständigung – ausdrücklich auch mit China. Gleichzeitig warnt er davor, dass eine Verlangsamung demokratischer Staaten dazu führen könnte, dass autoritäre Staaten technologisch die Führung übernehmen.
Damit wird die KI-Sicherheit endgültig zu einer geopolitischen und existentiellen Frage.
In einer Welt der Autokratien, der Kriege und des lahmenden Demokratie-Prozesses ist eher Pessimismus statt Optimismus angesagt. Die Conclusio: Wenn es nicht schnell zu Vereinbarungen kommt, ist die gesamte Menschheit schon in kurzer Zeit bedroht. Es ist zu hoffen, dass die großen KI-Player (Anthropic und OpenAI) den Ernst der Lage erkennen. Es geht auch um ihre Existenz. OpenAI hat per heute schon mal seinen Börsengang verschoben.
