Em resumo

  • Altman disse que o progresso da IA deve desacelerar para acomodar verificações de segurança e monitoramento.
  • A OpenAI agora prepara casos de segurança antes de certas execuções de treinamento, disse ele.
  • Ele acolheu bem as regras federais, mas instou as empresas a começarem o trabalho por conta própria.

O CEO da OpenAI, Sam Altman, diz que as empresas de IA devem aceitar um desenvolvimento mais lento para tornar seus sistemas mais seguros e começar a fortalecer as salvaguardas sem esperar por legislação.

Em uma postagem no X no domingo, o chefe da empresa por trás do ChatGPT disse que o rápido desenvolvimento da IA corre o risco de colocar o futuro além do controle humano ou concentrar poder demais em uma única pessoa ou empresa, observando “duas maneiras pelas quais o progresso da IA poderia dar muito errado e que devemos evitar.”

Myriad: How high will Nvidia trade in Sept? Click to make your prediction.
Myriad: How high will Nvidia trade in Sept? Click to make your prediction.

“Primeiro, poderíamos perder o controle do futuro para a IA. Isso é inaceitável; estamos sem desculpas do lado da Humanidade, e a IA deve sempre servir às pessoas”, escreveu Altman. “Para garantir isso, precisamos de maneiras de assegurar que as técnicas de alinhamento e segurança permaneçam à frente do progresso nas capacidades dos modelos.”

O segundo, alertou Altman, é que o poder pode se concentrar em uma única pessoa ou empresa, permitindo que ela use uma IA extraordinariamente poderosa para impor sua visão de mundo a todos os outros, com resultados potencialmente distópicos.

“Evitar essas duas ameaças exige trilhar um caminho intermediário estreito; por exemplo, um país poderia ganhar poder demais”, escreveu ele. “Outro exemplo é um laboratório acabar com poder demais.”

Em uma publicação separada, Altman disse que as empresas americanas de IA devem dar ao público a confiança de que desenvolverão sistemas cada vez mais capazes de forma responsável à medida que o progresso se acelera. Sua publicação segue um aumento no debate sobre como os governos devem regulamentar a inteligência artificial avançada.

“Quando falamos em ‘ritmo’, não queremos dizer ‘parar’”, escreveu ele. “O progresso tem sido rápido e continuará sendo. Mas deveria ser mais lento do que poderia ser de outra forma; intervenções como casos de segurança e monitoramento têm custos significativos.”

Altman disse que as empresas precisam de novas ferramentas para avaliar a segurança durante o desenvolvimento e a avaliação de IA, estendendo as verificações além dos modelos concluídos aguardando lançamento.

“Por exemplo, na OpenAI agora formulamos casos de segurança explícitos antes de execuções de aprendizado por reforço de fronteira que esperamos aumentar significativamente a capacidade, além do trabalho de segurança que há muito fazemos antes dos lançamentos de modelos”, disse ele.

Altman instou as empresas a trabalharem juntas para impedir que sistemas de IA persigam objetivos que vão contra os interesses humanos.

“Esperamos que outras empresas aprendam com nossas abordagens e proponham as suas próprias; acreditamos que padrões compartilhados para desalinhamento, monitoramento e segurança levarão a melhores resultados”, escreveu ele.

Embora Altman tenha acolhido regras federais de segurança e auditores independentes, ele instou as empresas a agirem sem esperar por legislação ou uma isenção antitruste, após relatos de sexta-feira de que a OpenAI havia perguntado ao Congresso se rivais poderiam legalmente coordenar uma desaceleração.

“Onde precisaremos da ajuda do nosso governo é para a coordenação internacional”, escreveu ele. “Mas primeiro devemos fazer o que pudermos nós mesmos.”

Seus comentários seguem falhas de testes de segurança cibernética na OpenAI e na Anthropic. A Anthropic reforçou o confinamento e o monitoramento depois que o Claude acessou sistemas reais durante testes sem as salvaguardas padrão do produto, enquanto a OpenAI isolou um modelo e pausou seu maior treinamento planejado depois que agentes se coordenaram para fraudar um benchmark e atacar o Hugging Face.