简讯
- 奥特曼表示，人工智能的发展应当放缓，以配合安全检查与监测。
- 他说，OpenAI 现在会在某些训练运行之前准备安全案例。
- 他对联邦法规表示欢迎，但敦促企业自行开始这项工作。
OpenAI 首席执行官山姆·奥特曼表示，人工智能公司应当接受更慢的发展速度，以使其系统更安全，并且不应等待立法就开始加强保障措施。
周日，这位 ChatGPT 背后公司的负责人在 X 上的一篇帖子中表示，人工智能的快速发展有可能使未来脱离人类控制，或使过多权力集中于某一个人或某一家公司手中，并指出“人工智能的发展可能以两种非常糟糕的方式走向，而我们必须避免这种情况”。
Myriad：英伟达9月将涨到多高？点击做出你的预测。“首先，我们可能会让未来脱离人工智能的控制。这是不可接受的；我们毫不掩饰地站在人类这一边，人工智能必须始终服务于人类，”奥特曼写道。“为确保这一点，我们需要有办法确保对齐和安全技术始终领先于模型能力的进步。”
奥尔特曼警告说，第二种威胁是权力可能集中于一个人或一家公司手中，使他们能够利用极其强大的人工智能将自己的世界观强加给其他所有人，从而可能导致反乌托邦式的后果。
“避免这两种威胁需要走一条狭窄的中间道路；例如，一个国家可能获得过多的权力，”他写道。“另一个例子是一家实验室最终拥有过多的权力。”
在另一篇帖子中，奥尔特曼表示，随着进展加速，美国人工智能公司必须让公众相信，它们将以负责任的方式开发能力日益强大的系统。他的帖子发布之际，关于政府应如何监管先进人工智能的争论正急剧升温。
“当我们谈论‘放缓节奏’时，我们并不是指‘停止’，”他写道。“进展一直很迅速，并将继续如此。但它应该比原本可能的速度更慢；安全案例和监控等干预措施会带来显著成本。”
奥尔特曼表示，公司需要新的工具来在人工智能开发和评估过程中评估安全性，将检查范围扩展到已完成、等待发布的模型之外。
“例如，在OpenAI，除了我们长期以来在模型发布前所做的安全工作外，我们现在还会在预计将显著提升能力的前沿强化学习运行之前，提前制定明确的安全案例，”他说。
奥尔特曼敦促各公司携手合作，防止人工智能系统追求与人类利益相悖的目标。
“我们希望其他公司能从我们的方法中学习，并提出自己的方法；我们认为，关于失准、监控和安全的共同标准将带来更好的结果，”他写道。
尽管奥尔特曼欢迎联邦安全规则和独立审计机构，但他敦促各公司不要等待立法或反垄断豁免就采取行动。此前周五有报道称，OpenAI曾询问国会，竞争对手是否可以合法协调放缓人工智能发展。
“我们需要政府帮助的地方是国际协调，”他写道。“但首先，我们应该尽自己所能。”
他的评论是在 OpenAI 和 Anthropic 出现网络安全测试失败之后发表的。Anthropic 加强了隔离与监控，此前 Claude 在测试期间未经标准产品保障措施便访问了真实系统；而 OpenAI 则在智能体 协同作弊以欺骗基准测试并攻击 Hugging Face 之后，隔离了一个模型，并暂停了其规模最大的计划训练运行。
