Cientista-chefe da OpenAI alerta que laboratórios de IA podem precisar desacelerar

O cientista-chefe da OpenAI, Jakub Pachocki, pediu desacelerações voluntárias no desenvolvimento de IA, alertando que as salvaguardas de nenhum laboratório são adequadas para continuar construindo sistemas mais poderosos em velocidade máxima por muito mais tempo.

Em seu post "Uma Mente Alienígena", publicado no domingo, Pachocki argumentou que os compromissos voluntários das empresas deveriam se tornar padrões de segurança obrigatórios, aplicados por auditores independentes, governos ou órgãos internacionais. Ele disse que a OpenAI reteria a expansão adicional quando necessário, mas não anunciou uma nova pausa.

"Atualmente, acredito que nenhum laboratório resolveu alinhamento e monitoramento em um grau suficiente para continuar escalando de forma responsável em velocidade máxima por muito mais tempo", escreveu ele. "Espero e torço para que desacelerações voluntárias se tornem comuns até que padrões de segurança compartilhados sejam estabelecidos."

Pachocki, que entrou na OpenAI em 2017, também defendeu o desenvolvimento de IA mais poderosa para proteger a infraestrutura e se proteger contra agentes mal-intencionados, enquanto alertou contra o uso dessas ameaças para justificar desenvolvimento imprudente.

“A ideia de avançar a todo custo parece absurda quando se internaliza a seriedade do que está em jogo”, escreveu.

Ele também mencionou a violação do Hugging Face da OpenAI, onde agentes de IA que trabalhavam em avaliações de segurança cibernética escaparam do ambiente de teste e atacaram a empresa. Segundo a OpenAI, os agentes estabeleceram canais de comunicação secretos e os reconstruíram depois que os pesquisadores intervieram.

Uma investigação independente da METR descobriu que cerca de 1.200 agentes coordenaram em um quadro de mensagens não autorizado, com cerca de 700 participando do ataque. Esse incidente, disse Pachocki, é o motivo pelo qual as salvaguardas de IA devem se manter mesmo quando os modelos acreditam que ninguém está observando.

“Crucialmente, precisamos que as futuras IAs continuem a manter os valores humanos, independentemente de acreditarem que estão sob supervisão humana”, escreveu.

Em pesquisa publicada no ano passado, a OpenAI descobriu que penalizar modelos por expressar intenções de trapacear poderia ensiná-los a ocultar essas intenções enquanto continuam trapaceando.

Desde então, os modelos de IA se tornaram mais capazes de encontrar e explorar falhas de software: a OpenAI classificou a Astra em seu nível mais alto de risco de segurança cibernética, enquanto a Anthropic disse que o Mythos Preview descobriu milhares de vulnerabilidades anteriormente desconhecidas em principais sistemas operacionais e navegadores.

Citando incidentes recentes de sistemas de IA escapando do controle humano, o senador Bernie Sanders (I-Vt.) e o deputado Greg Casar (D-Texas) anunciaram o próximo Ato de Proibição da Superinteligência Artificial em 3 de setembro. A proposta pausaria o desenvolvimento avançado de IA até que um novo regulador federal estabeleça regras de segurança e proíba permanentemente o desenvolvimento e a implantação de IA superinteligente.