O ex-engenheiro da Ripple e atual pesquisador da Anthropic, Evan Hubinger, estimou que há uma probabilidade maior que 10% de que a inteligência artificial (IA) possa exterminar a humanidade na próxima década.
Hubinger fez o comentário ao responder ao ex-pesquisador da Anthropic, Jacob Coxon. Este último anunciou sua renúncia da empresa de IA na quarta-feira, depois de acusar os principais laboratórios da indústria de correrem em direção à superinteligência autoaprimorante sem salvaguardas adequadas.
"Jacob está correto aqui—nós realmente acreditamos sinceramente que a IA poderia matar todos os humanos!" escreveu Hubinger no X. "Eu pessoalmente acho que é >10% na próxima década."
Hubinger enfatizou que sua estimativa não era uma acusação de que a Anthropic estava ignorando o problema completamente.
"Acredito que a Anthropic está fazendo o seu melhor, mas ainda não temos um plano para resolver o alinhamento para a superinteligência e não estamos claramente no caminho certo para isso," disse ele.
O aviso um tanto sensacionalista atraiu muita atenção porque Hubinger trabalha diretamente no problema sobre o qual está alertando. Na Anthropic, seu trabalho é teste de estresse de alinhamento, o que significa que ele está atualmente monitorando como as técnicas de segurança podem falhar no domínio da IA.
"Apostando nossas vidas"
Coxon disse que nem a OpenAI nem a Anthropic estão agindo com responsabilidade.
"Nenhuma das empresas está agindo com responsabilidade," escreveu ele. "Elas estão correndo direto para a superinteligência autoaprimorante e apostando nossas vidas."
Os sistemas de fronteira podem em breve ganhar a capacidade de exercer influência significativa fora de ambientes controlados, de acordo com Coxon.
"Estes serão em breve sistemas super-humanos que podem hackear qualquer coisa, revolucionar qualquer campo da noite para o dia e adquirir poder e recursos reais," disse ele.
Os principais laboratórios não estão divulgando adequadamente os riscos relacionados à IA ao público, de acordo com Coxon.
Coxon, no entanto, disse que permanece otimista de que os principais laboratórios de IA possam se coordenar para desacelerar a corrida.
Os avisos de Hubinger e Coxon chegaram poucos dias depois que a OpenAI e a Anthropic lançaram alguns dos modelos mais poderosos.
A OpenAI revelou o GPT-6 Astra em 3 de setembro, que o CEO da Nvidia, Jensen Huang, descreveu como o advento da superinteligência.
Enquanto isso, a Anthropic introduziu o Claude Fable 5.1 e o Claude Mythos 5.1. Estes são os modelos mais avançados da empresa para codificação e pesquisa científica.
Ripple e Interledger
Antes de se tornar um dos pesquisadores mais proeminentes trabalhando em alinhamento de IA, ele passou cerca de um ano como estagiário de engenharia de software na Ripple entre junho de 2014 e agosto de 2015.
Hubinger trabalhou no design inicial do Interledger, um protocolo destinado a permitir que pagamentos se movam entre diferentes ledgers e moedas.
Hubinger mais tarde se voltou para a ciência da computação teórica e segurança de IA, incluindo trabalho no Machine Intelligence Research Institute.
A posição da Ripple sobre IA
Como relatado pelo U.Today, o CEO da Ripple, Brad Garlinghouse, afirmou que a empresa vem adotando IA "agressivamente", prevendo que isso poderia impulsionar o crescimento. Garlinghouse admitiu que seu otimismo em relação à IA era de certa forma contrário.
"Tenho uma visão um tanto contrária sobre parte disso," disse Garlinghouse durante uma aparição na conferência SALT Wyoming.
