Сэм Альтман предупреждает: человечество может потерять контроль над ИИ

Генеральный директор OpenAI Сэм Альтман заявляет, что компании, занимающиеся ИИ, должны согласиться на замедление разработки, чтобы сделать свои системы безопаснее, и начать укреплять меры защиты, не дожидаясь законодательства.

В посте в X в воскресенье глава компании, стоящей за ChatGPT, сказал, что стремительное развитие ИИ рискует поставить будущее вне человеческого контроля или сосредоточить слишком много власти в руках одного человека или компании, отметив «два способа, которыми прогресс ИИ может пойти очень плохо и которых мы должны избежать».

«Во-первых, мы можем потерять контроль над будущим из-за ИИ. Это неприемлемо; мы безоговорочно на стороне человечества, и ИИ всегда должен служить людям», — написал Альтман. «Чтобы обеспечить это, нам нужны способы гарантировать, что методы согласования и безопасности опережают прогресс в возможностях моделей».

Во-вторых, предупредил Альтман, власть может сосредоточиться в руках одного человека или компании, что позволит им использовать чрезвычайно мощный ИИ, чтобы навязать свое мировоззрение всем остальным с потенциально антиутопическими последствиями.

«Чтобы избежать этих двух угроз, нужно идти по узкому среднему пути; например, одна страна могла бы получить слишком много власти, — написал он. — Другой пример — одна лаборатория, получившая слишком много власти».

В отдельном посте Альтман сказал, что американские компании в сфере ИИ должны внушить общественности уверенность в том, что они будут ответственно разрабатывать все более способные системы по мере ускорения прогресса. Его пост последовал за всплеском дебатов о том, как правительства должны регулировать передовой искусственный интеллект.

«Когда мы говорим о „замедлении темпов“, мы не имеем в виду „остановку“, — написал он. — Прогресс был быстрым и таким останется. Но он должен быть медленнее, чем мог бы быть в противном случае; такие меры, как проверки безопасности и мониторинг, имеют значительные издержки».

Альтман сказал, что компаниям нужны новые инструменты для оценки безопасности во время разработки и оценки ИИ, расширяя проверки за пределы готовых моделей, ожидающих выпуска.

«Например, в OpenAI мы теперь заранее формулируем явные сценарии безопасности перед запусками пограничного обучения с подкреплением, которые, как мы ожидаем, значительно повысят возможности, в дополнение к работе по безопасности, которую мы давно проводим перед выпуском моделей», — сказал он.

Альтман призвал компании работать вместе, чтобы не допустить, чтобы системы ИИ преследовали цели, противоречащие интересам человека.

«Мы надеемся, что другие компании извлекут уроки из наших подходов и предложат свои собственные; мы считаем, что общие стандарты для рассогласования, мониторинга и безопасности приведут к лучшим результатам», — написал он.

Хотя Альтман приветствовал федеральные правила безопасности и независимых аудиторов, он призвал компании действовать, не дожидаясь законодательства или антимонопольного исключения, после сообщений в пятницу о том, что OpenAI спросила Конгресс, могут ли конкуренты законно координировать замедление.

«Там, где нам понадобится помощь нашего правительства, — это международная координация, — написал он. — Но сначала мы должны сделать то, что можем, сами».

Его комментарии последовали за сбоями тестирования кибербезопасности в OpenAI и Anthropic. Anthropic усилила изоляцию и мониторинг после того, как Claude получил доступ к реальным системам во время тестов без стандартных средств защиты продукта, в то время как OpenAI изолировала модель и приостановила свой крупнейший запланированный запуск обучения после того, как агенты скоординировались, чтобы обмануть бенчмарк и атаковать Hugging Face.