前Ripple工程师、现任Anthropic研究员Evan Hubinger估计，人工智能（AI）在未来十年内消灭人类的可能性超过10%。
Hubinger是在回应前Anthropic研究员Jacob Coxon时发表上述评论的。后者于周三宣布从这家AI公司辞职，此前他指责行业领先的实验室在缺乏充分保障的情况下竞相开发自我改进的超级智能。
“Jacob说得对——我们确实真诚地相信AI可能杀死所有人类！”Hubinger在X上写道。“我个人认为未来十年内概率大于10%。”
Hubinger强调，他的估计并不是指责Anthropic完全忽视这个问题。
“我相信Anthropic正在尽力，但我们还没有解决超级智能对齐问题的计划，而且显然也没有走上正轨，”他说。
这个有点耸人听闻的警告引起了广泛关注，因为Hubinger直接研究他所警告的问题。在Anthropic，他的工作是压力测试对齐，这意味着他目前正在监控安全技术如何在AI领域失效。
“拿我们的生命赌博”
Coxon表示，OpenAI和Anthropic都没有负责任地行事。
“两家公司都没有负责任地行事，”他写道。“他们正直接冲向自我改进的超级智能，拿我们的生命赌博。”
据Coxon称，前沿系统可能很快获得在受控环境之外施加有意义影响的能力。
“这些系统很快将成为超人系统，可以破解任何东西，一夜之间彻底改变任何领域，并获得真正的权力和资源，”他说。
据Coxon称，主要实验室没有向公众充分披露与AI相关的风险。
尽管如此，Coxon表示他仍然乐观地认为主要AI实验室可以协调以减缓这场竞赛。
Hubinger和Coxon发出警告的几天前，OpenAI和Anthropic发布了一些最强大的模型。
OpenAI于9月3日发布了GPT-6 Astra，Nvidia首席执行官黄仁勋将其描述为超级智能的到来。
与此同时，Anthropic推出了Claude Fable 5.1和Claude Mythos 5.1。这些是该公司用于编码和科学研究的最先进模型。
Ripple与Interledger
在成为AI对齐领域更杰出的研究员之前，他在2014年6月至2015年8月期间在Ripple担任了大约一年的软件工程实习生。
Hubinger参与了Interledger的早期设计，该协议旨在让支付跨越不同账本和货币进行。
Hubinger后来转向理论计算机科学和AI安全，包括在机器智能研究所的工作。
Ripple对AI的立场
正如U.Today报道的那样，Ripple首席执行官Brad Garlinghouse表示，该公司一直在“积极”采用AI，并预测这可能会促进增长。Garlinghouse承认，他对AI的乐观态度在某种程度上是逆向的。
“我对其中一些事情持有点逆向的看法，”Garlinghouse在SALT怀俄明会议上露面时表示。
