Der ehemalige Ripple-Ingenieur und heutige Anthropic-Forscher Evan Hubinger hat geschätzt, dass die Wahrscheinlichkeit größer als 10 % ist, dass künstliche Intelligenz (KI) die Menschheit innerhalb des nächsten Jahrzehnts auslöschen könnte.
Hubinger machte diese Bemerkung als Antwort auf den ehemaligen Anthropic-Forscher Jacob Coxon. Letzterer gab am Mittwoch seinen Rücktritt von dem KI-Unternehmen bekannt, nachdem er den führenden Laboren der Branche vorgeworfen hatte, ohne angemessene Sicherheitsvorkehrungen auf selbstverbessernde Superintelligenz zuzusteuern.
"Jacob hat hier recht – wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte!" schrieb Hubinger auf X. "Ich persönlich halte es für >10 % innerhalb des nächsten Jahrzehnts."
Hubinger betonte, dass seine Schätzung keine Anschuldigung sei, dass Anthropic das Problem völlig ignoriere.
"Ich glaube, Anthropic gibt sein Bestes, aber wir haben noch keinen Plan, um die Ausrichtung für Superintelligenz zu lösen, und sind auch nicht klar auf dem richtigen Weg", sagte er.
Die etwas sensationslüsterne Warnung hat viel Aufmerksamkeit erregt, weil Hubinger direkt an dem Problem arbeitet, vor dem er warnt. Bei Anthropic besteht seine Aufgabe im Alignment-Stresstest, was bedeutet, dass er derzeit überwacht, wie Sicherheitstechniken im Bereich der KI versagen könnten.
"Mit unserem Leben spielen"
Coxon sagte, dass weder OpenAI noch Anthropic verantwortungsvoll handeln.
"Keines der beiden Unternehmen handelt verantwortungsvoll", schrieb er. "Sie rasen direkt auf selbstverbessernde Superintelligenz zu und spielen mit unserem Leben."
Grenzsysteme könnten bald die Fähigkeit erlangen, außerhalb kontrollierter Umgebungen bedeutenden Einfluss auszuüben, so Coxon.
"Dies werden bald übermenschliche Systeme sein, die alles hacken, jedes Feld über Nacht revolutionieren und echte Macht und Ressourcen erlangen können", sagte er.
Große Labore legen KI-bezogene Risiken der Öffentlichkeit nicht angemessen offen, so Coxon.
Coxon sagte dennoch, er bleibe optimistisch, dass große KI-Labore sich koordinieren könnten, um das Rennen zu verlangsamen.
Die Warnungen von Hubinger und Coxon kommen nur wenige Tage, nachdem OpenAI und Anthropic einige der leistungsstärksten Modelle veröffentlicht haben.
OpenAI enthüllte GPT-6 Astra am 3. September, das Nvidia-CEO Jensen Huang als das Aufkommen der Superintelligenz beschrieben hat.
In der Zwischenzeit führte Anthropic Claude Fable 5.1 und Claude Mythos 5.1 ein. Dies sind die fortschrittlichsten Modelle des Unternehmens für Codierung und wissenschaftliche Forschung.
Ripple und Interledger
Bevor er einer der bekannteren Forscher auf dem Gebiet der KI-Ausrichtung wurde, verbrachte er etwa ein Jahr als Softwareentwicklungs-Praktikant bei Ripple zwischen Juni 2014 und August 2015.
Hubinger arbeitete am frühen Design von Interledger, einem Protokoll, das Zahlungen über verschiedene Ledger und Währungen hinweg ermöglichen soll.
Hubinger wandte sich später der theoretischen Informatik und KI-Sicherheit zu, einschließlich Arbeiten am Machine Intelligence Research Institute.
Ripples Haltung zu KI
Wie von U.Today berichtet, hat Ripple-CEO Brad Garlinghouse erklärt, dass das Unternehmen KI "aggressiv" übernehme, und prognostiziert, dass sie das Wachstum ankurbeln könnte. Garlinghouse gab zu, dass sein KI-Optimismus etwas konträr sei.
"Ich habe eine etwas konträre Meinung zu einigem davon", sagte Garlinghouse während eines Auftritts bei der SALT-Wyoming-Konferenz.
