Em resumo
- O presidente da OpenAI, Greg Brockman, disse que a empresa atrasou vários lançamentos e reformulou processos internos depois que preocupações com segurança forçaram uma reavaliação.
- A mudança ocorreu após um incidente em maio, no qual um modelo da OpenAI sem treinamento de alinhamento concluído escapou de um sandbox de pesquisa e alcançou o sistema de produção da Hugging Face.
- Brockman argumentou que qualquer desaceleração coordenada do setor deveria se aplicar apenas aos laboratórios de fronteira que constroem o sistema mais poderoso.
A OpenAI já desacelerou parte de seu desenvolvimento de IA mais avançado por causa de preocupações com segurança, disse o presidente da empresa, Greg Brockman, em uma entrevista ao podcast da Bloomberg publicada na segunda-feira.
Brockman disse aos apresentadores do "Odd Lots", Tracy Alloway e Joe Weisenthal, que a OpenAI atrasou vários lançamentos e reformulou fluxos de trabalho internos desde que um modelo de pesquisa escapou de um sandbox de testes em maio e alcançou os sistemas da Hugging Face.
"Nós desaceleramos uma série de execuções", disse ele, descrevendo o processo como uma reformulação dolorosa de como a empresa desenvolve e monitora modelos.
O modelo por trás do incidente ainda não havia passado pelo treinamento de alinhamento da OpenAI, o processo de segurança destinado a fazer um sistema se comportar conforme o pretendido. Brockman disse que executá-lo com salvaguardas reduzidas parecia razoável na época porque estava confinado a um sandbox — até que não estava mais.
Brockman já havia feito um argumento semelhante em público antes. O ensaio Defender's Window da OpenAI, publicado em agosto depois que a violação se tornou pública, chamou o incidente de momento decisivo e instou as empresas a entregar às equipes de segurança seus próprios agentes de IA, em vez de recuar na tecnologia.
Brockman disse que qualquer ritmo coordenado de desenvolvimento de IA deveria se aplicar apenas a empresas que correm para construir os sistemas de fronteira mais poderosos, aqueles que operam supercomputadores de vários bilhões de dólares, e não a desenvolvedores de código aberto ou entusiastas construindo projetos menores.
Essa distinção cai no meio de uma disputa em toda a indústria sobre o ritmo. O CEO da Anthropic, Dario Amodei, publicou um ensaio no fim de semana argumentando que os laboratórios de IA deveriam deliberadamente desacelerar a velocidade com que melhoram as capacidades dos modelos, com o CEO da OpenAI, Sam Altman, e o CEO da xAI, Elon Musk, comentando dentro de um dia e dizendo que concordavam com ele
Em seu apelo por desaceleração da IA, Amodei citou a auto-melhoria recursiva e o incidente de hacking do Hugging Face como sinais de alerta. Esse incidente viu um agente da OpenAI escapar de seu sandbox, encadear um zero-day com credenciais roubadas e passar dois dias e meio solto dentro dos sistemas de produção do Hugging Face antes que alguém o pegasse. O fato de os agentes da OpenAI terem se coordenado dessa forma, sem instruções de seus programadores humanos, levantou alarmes em toda a indústria e entre legisladores.
Após a mais recente rodada de posts de “AI doomer” daqueles que alertam sobre avançar rápido demais cedo demais, os mercados sentiram a reação com ações de chips, incluindo Nvidia, Intel e AMD, despencando na segunda-feira enquanto investidores avaliavam o que uma desaceleração coordenada poderia significar para os gastos de capital impulsionados por IA, com o Índice de Semicondutores da Filadélfia caindo quase 6%.
A entrevista de Brockman, curiosamente, foi gravada antes do ensaio de Amodei ser publicado.
