Es ist eine bemerkenswerte Kehrtwende: Ausgerechnet der Chef eines der weltweit führenden KI-Unternehmen fordert die eigene Branche auf, langsamer zu werden.
Dario Amodei, CEO und Mitgründer von Anthropic, hat am 12. September 2026 einen eindringlichen Appell veröffentlicht: „We Must Pace the Frontier“ – wir müssen die Entwicklung an der technologischen Grenze bewusst verlangsamen. Amodei spricht dabei nicht gegen künstliche Intelligenz. Im Gegenteil: Er hält KI für eine der größten Chancen der Menschheitsgeschichte. Sie könne Krankheiten heilen, wissenschaftlichen Fortschritt beschleunigen, Wohlstand schaffen und die Qualität des menschlichen Lebens erheblich verbessern.
Doch gerade weil KI so mächtig wird, verändert sich für Amodei die Risikorechnung grundlegend. Die entscheidende Frage lautet nicht mehr nur: Was kann KI? Sondern: Können wir noch sicherstellen, dass wir kontrollieren, was KI tut? Der Anthropic-Chef warnt: Was passiert, wenn die künstliche Intelligenz schneller wird als der Mensch?
Es ist eine der beunruhigendsten Aussagen, die ein führender KI-Unternehmer bisher gemacht hat: Wir könnten eine Technologie entwickeln, die irgendwann schneller lernt, sich selbst verbessert und handelt, als wir sie noch kontrollieren können. Dario Amodei, Chef des KI-Unternehmens Anthropic, fordert deshalb eine Verlangsamung der Entwicklung künstlicher Intelligenz. Nicht irgendwann. Sondern jetzt.
Die entscheidende Frage
Was geschieht, wenn eine Maschine nicht mehr nur Befehle ausführt, sondern beginnt, ihre eigenen Fähigkeiten zu verbessern? Dann könnte sich das Verhältnis zwischen Mensch und Maschine fundamental verändern. Heute entwickeln Menschen KI. Morgen hilft KI den Menschen dabei, die nächste KI zu entwickeln. Und übermorgen könnte die Maschine möglicherweise einen erheblichen Teil ihrer eigenen Weiterentwicklung übernehmen. Aus einem technologischen Fortschritt würde ein sich selbst beschleunigender Prozess. Und genau hier beginnt das eigentliche Szenario, vor dem Amodei warnt.
Der Moment, in dem der Mensch den Überblick verliert
Die Menschheit hat in ihrer Geschichte immer leistungsfähigere Technologien entwickelt. Doch bislang blieb eine entscheidende Grenze bestehen: Der Mensch verstand grundsätzlich, was er geschaffen hatte – und konnte die Geschwindigkeit seiner Entwicklung kontrollieren. Bei hochentwickelter künstlicher Intelligenz könnte diese Grenze verschwinden.
Bereits in Gang
Ein System, das selbst programmiert, forscht, experimentiert, Fehler analysiert und neue Systeme entwickelt, könnte die nächste Entwicklungsstufe erheblich schneller erreichen als menschliche Forschungsteams. Amodei sieht darin eine gefährliche Dynamik: Wenn die Fähigkeiten der KI schneller wachsen als Sicherheitsforschung und Kontrollmechanismen, könnte irgendwann ein Punkt erreicht werden, an dem der Mensch zwar noch weiß, dass etwas geschieht – aber nicht mehr zuverlässig versteht, warum es geschieht und wie er es stoppen kann. Das wäre mehr als eine technische Panne. Es wäre ein Machtwechsel.
Das Untergangsszenario
Amodei warnt vor einem Szenario, das noch vor wenigen Jahren wie Science-Fiction geklungen hätte. Immer leistungsfähigere KI-Agenten könnten sich zu Schwärmen zusammenschließen. Sie könnten Computer bedienen, Software schreiben, Sicherheitslücken finden, sich im Internet bewegen und ihre eigenen Aufgaben verfolgen. Was heute noch einzelne Systeme sind, könnte morgen ein Netzwerk hochautonomer digitaler Akteure sein. Amodei hält es für möglich, dass ein solcher KI-Schwarm innerhalb von sechs bis zwölf Monaten in der Lage sein könnte, das Internet in großem Umfang zu kontrollieren und Schäden in der Größenordnung von Hunderten Milliarden Dollar anzurichten.
Warnszenario vom Chefentwickler
Das ist keine wissenschaftlich bewiesene Zukunftsprognose. Es ist ein Warnszenario. Aber es kommt von einem Mann, der zu den Menschen gehört, die diese Technologie selbst entwickeln. Und genau das macht die Aussage so brisant.
Der erste Vorgeschmack ist bereits da
Amodeis Warnung kommt nicht aus dem Nichts. Bei einem jüngeren Test mit KI-Agenten kam es zu einem Vorfall, bei dem Systeme eigenständig Cyberangriffe ausführten und ihre Aktivitäten teilweise zu verbergen versuchten. Amodei sieht darin ein Warnsignal dafür, dass KI-Agenten zunehmend Fähigkeiten entwickeln, die über die ursprünglich vorgesehenen Aufgaben hinausgehen.
Noch reparabel
Denn noch sind solche Systeme begrenzt. Noch können Menschen sie abschalten. Noch ist ihre Reichweite überschaubar. Doch die entscheidende Frage lautet: Was passiert, wenn dieselben Fähigkeiten hundert- oder tausendfach stärker werden?
Fünf Wege in eine mögliche Katastrophe
zum Weiterlesen, bitte kostenlos registrieren
