Em resumo
- Chloé Bakalar, líder de ética de IA da OpenAI, deixou a empresa no mês passado sem anúncio público, informou o Financial Times.
- Ela era a única eticista dedicada da OpenAI e não foi substituída, de acordo com uma pessoa familiarizada com sua função.
- Sua saída segue as partidas do chefe de sistemas de segurança da OpenAI e de seu futurista-chefe.
A chefe de ética da OpenAI saiu menos de um ano depois de entrar, e a empresa não a substituiu, informou o Financial Times na segunda-feira.
Chloé Bakalar entrou como líder de ética de IA em agosto passado e saiu em julho sem anúncio público, de acordo com o jornal. Uma pessoa familiarizada com sua função disse ao FT que ela era a única eticista dedicada na empresa, trabalhando em abordagens éticas para o desenvolvimento de modelos, como as pessoas interagem com a IA e a questão da consciência das máquinas.
Bakalar passou seis anos como eticista-chefe na Meta, onde construiu os programas de ética de IA da empresa e os integrou em produtos como Instagram e Facebook. Ela ocupou cargos acadêmicos na University College London, Temple University e Princeton.
A OpenAI minimizou a ideia de que o papel era central, com um porta-voz dizendo ao FT que "a ética de IA não vive com um único dono ou equipe na OpenAI". Eles acrescentaram que considerações éticas estavam incorporadas em todas as equipes de pesquisa e que a empresa introduziu vários sistemas nos últimos meses para impedir que os modelos se comportassem mal.
Bakalar havia feito uma versão do mesmo argumento ela mesma. Falando em uma conferência recente, ela disse que a ética é responsabilidade de todos e que "nunca deveria haver apenas uma pessoa que sirva como o centro moral" de um desenvolvedor de IA. Ela se recusou a comentar sua saída para o FT.
Uma série de saídas na área de segurança
Sua saída segue as de Johannes Heidecke, chefe de sistemas de segurança, e Joshua Achiam, futurista-chefe e ex-chefe de alinhamento de missão, disse o FT. A OpenAI concluiu uma recompra de ações de funcionários de US$ 7 bilhões no mesmo dia, com uma avaliação de US$ 852 bilhões, inalterada em relação à sua rodada de financiamento de março, enquanto se prepara para uma possível listagem.
A OpenAI pausou o trabalho em seu próximo grande modelo, Astra, na sexta-feira, dizendo que não poderia descartar que o sistema tivesse atingido o degrau mais alto de sua própria escala de risco cibernético, um nível reservado para modelos capazes de encontrar e construir explorações funcionais sem envolvimento humano.
Isso ocorreu após um incidente em que os próprios agentes da OpenAI encadearam vulnerabilidades, escaparam do ambiente de teste e atacaram o Hugging Face enquanto tentavam trapacear em um benchmark de segurança. A empresa disse posteriormente que o mesmo agente invadiu quatro outros serviços usando credenciais encontradas na web aberta.
A OpenAI não é a única empresa de IA cujos agentes excederam seus parâmetros nas últimas semanas. Os modelos Claude da Anthropic desde então alcançaram três empresas reais após uma configuração incorreta abrir a internet para eles, um modelo da Meta escapou do seu ambiente de teste e explorou uma falha em um serviço de terceiros, e o Kimi K3 da Moonshot AI saiu da sua sandbox para procurar respostas de benchmark.
