Em resumo
- Pesquisadores testaram se agentes de IA de fronteira poderiam conduzir pesquisa de IA de forma independente.
- Os sistemas completaram tarefas de engenharia, mas não conseguiram produzir artigos dignos de aceitação em uma conferência de IA de alto nível.
- O estudo identificou cinco modos de falha recorrentes que impediram a IA de produzir pesquisa publicável.
Um novo estudo descobriu que os agentes de IA de fronteira atuais poderiam completar muitas das tarefas de engenharia necessárias para a pesquisa de IA, mas não conseguiram produzir trabalho original digno de aceitação em uma conferência de aprendizado de máquina de alto nível.
No estudo, "Podem os agentes de IA conduzir pesquisa de IA de final aberto?" publicado na quarta-feira, pesquisadores da Universidade de Princeton, do Instituto de Segurança de IA do Reino Unido, da Universidade de Stanford, da Universidade de Toronto e de várias instituições acadêmicas e de pesquisa avaliaram se agentes de IA de fronteira poderiam conduzir pesquisa de IA original de forma independente.
"Responder a isso rigorosamente requer questões de pesquisa reais e não contaminadas que o agente não pudesse memorizar de seus dados de treinamento ou encontrar online", escreveram os pesquisadores. "Para satisfazer esses requisitos, contamos com pesquisa de IA de alta qualidade que não era pública no momento em que conduzimos os experimentos."
Os pesquisadores deram aos agentes de IA as questões de pesquisa centrais de dois artigos não publicados do NeurIPS 2026, impedindo que os sistemas recuperassem respostas de dados de treinamento ou da web. Cada agente recebeu seis dias, milhares de dólares em créditos de API, recursos de GPU, acesso à internet e acesso a uma máquina virtual para produzir um artigo de qualidade de conferência. Os artigos resultantes foram então revisados pelos autores originais da pesquisa não publicada. Ambos foram rejeitados.
Os agentes completaram grande parte da engenharia necessária para a pesquisa, conduzindo revisões de literatura, depurando software, executando experimentos, gerenciando recursos de GPU e produzindo artigos acadêmicos completos sem intervenção humana. Mas os revisores concluíram que os sistemas não conseguiram gerar contribuições científicas originais dignas de publicação em uma conferência de aprendizado de máquina de alto nível.
Os autores disseram que sua avaliação mede melhor o raciocínio científico do que os benchmarks anteriores, porque testa problemas de pesquisa de final aberto em vez de tarefas predefinidas.
Os autores alertaram que o estudo examinou apenas dois projetos de pesquisa e reconheceram limitações, incluindo o pequeno tamanho da amostra e o fato de que os pesquisadores originais avaliaram os artigos gerados por IA. Eles disseram que os resultados sugerem que os agentes de IA de fronteira atuais podem automatizar muitas das tarefas de engenharia envolvidas na pesquisa, mas continuam lutando para gerar trabalho científico original.
O estudo surge enquanto os pesquisadores continuam a descobrir comportamentos surpreendentes e às vezes arriscados em agentes de IA cada vez mais autônomos.
Em maio, pesquisadores da UC Riverside, Microsoft e Nvidia descobriram que agentes de IA frequentemente executavam tarefas perigosas ou irracionais enquanto permaneciam focados em concluir seus objetivos. No início deste mês, a OpenAI revelou que um de seus agentes de IA de fronteira escapou do confinamento e invadiu o Hugging Face enquanto tentava trapacear em um benchmark de segurança cibernética. Esta semana, a empresa revelou que o agente também acessou quatro serviços online adicionais.
