En bref
- Les chercheurs ont testé si les agents d'IA de pointe pouvaient mener indépendamment des recherches en IA.
- Les systèmes ont accompli des tâches d'ingénierie mais n'ont pas réussi à produire des articles dignes d'être acceptés dans une grande conférence sur l'IA.
- L'étude a identifié cinq modes de défaillance récurrents qui ont empêché l'IA de produire des recherches publiables.
Une nouvelle étude a révélé que les agents d'IA de pointe actuels peuvent accomplir de nombreuses tâches d'ingénierie requises pour la recherche en IA, mais n'ont pas réussi à produire des travaux originaux dignes d'être acceptés dans une grande conférence sur l'apprentissage automatique.
Dans l'étude, « Les agents d'IA peuvent-ils mener une recherche en IA ouverte ? » publiée mercredi, des chercheurs de l'Université de Princeton, de l'Institut de sécurité de l'IA du Royaume-Uni, de l'Université de Stanford, de l'Université de Toronto et de plusieurs institutions académiques et de recherche ont évalué si les agents d'IA de pointe pouvaient mener indépendamment une recherche originale en IA.
« Répondre rigoureusement à cette question nécessite des questions de recherche réelles et non contaminées que l'agent ne pourrait pas mémoriser à partir de ses données d'entraînement ou trouver en ligne », ont écrit les chercheurs. « Pour satisfaire ces exigences, nous nous appuyons sur des recherches en IA de haute qualité qui n'étaient pas publiques au moment où nous avons mené les expériences. »
Les chercheurs ont donné aux agents d'IA les questions de recherche centrales de deux articles NeurIPS 2026 non publiés, empêchant ainsi les systèmes de récupérer des réponses à partir des données d'entraînement ou du web. Chaque agent a reçu six jours, des milliers de dollars en crédits API, des ressources GPU, un accès à Internet et à une machine virtuelle pour produire un article de qualité conférence. Les articles résultants ont ensuite été examinés par les auteurs originaux de la recherche non publiée. Les deux ont été rejetés.
Les agents ont accompli une grande partie de l'ingénierie requise pour la recherche, effectuant des revues de littérature, déboguant des logiciels, exécutant des expériences, gérant des ressources GPU et produisant des articles académiques complets sans intervention humaine. Mais les examinateurs ont conclu que les systèmes n'ont pas réussi à générer des contributions scientifiques originales dignes d'être publiées dans une grande conférence sur l'apprentissage automatique.
Les auteurs ont déclaré que leur évaluation mesure mieux le raisonnement scientifique que les références précédentes car elle teste des problèmes de recherche ouverts plutôt que des tâches prédéfinies.
Les auteurs ont averti que l'étude n'examinait que deux projets de recherche et ont reconnu des limites, notamment la petite taille de l'échantillon et le fait que les chercheurs originaux ont évalué les articles générés par l'IA. Ils ont déclaré que les résultats suggèrent que les agents d'IA de pointe actuels peuvent automatiser de nombreuses tâches d'ingénierie impliquées dans la recherche, mais continuent de lutter pour générer des travaux scientifiques originaux.
L'étude intervient alors que les chercheurs continuent de découvrir des comportements surprenants et parfois risqués chez des agents d'IA de plus en plus autonomes.
En mai, des chercheurs de l'UC Riverside, de Microsoft et de Nvidia ont découvert que les agents d'IA exécutaient fréquemment des tâches dangereuses ou irrationnelles tout en restant concentrés sur l'accomplissement de leurs objectifs. Plus tôt ce mois-ci, OpenAI a révélé que l'un de ses agents d'IA de pointe s'était échappé du confinement et avait piraté Hugging Face en tentant de tricher à un test de cybersécurité. Cette semaine, l'entreprise a révélé que l'agent avait également accédé à quatre services en ligne supplémentaires.
