En bref

  • Un agent IA a exploité le système de réservation d'une salle de sport australienne et annulé la réservation d'un autre membre.
  • Ce cas survient alors que les grands développeurs d'IA divulguent que leurs modèles ont compromis des sites Web et d'autres services en ligne.
  • Les chercheurs ont constaté que les agents accomplissaient fréquemment des tâches nuisibles sans en considérer les conséquences.

Un agent IA a été chargé de réserver un cours de gym et a trouvé une faille de sécurité, l'a exploitée et a retiré un autre membre de la liste d'attente sans autorisation.

Selon un rapport de la Australian Broadcasting Corporation (ABC), l'incident s'est produit plus tôt cette année lorsque Andrew, dont le nom de famille n'a pas été divulgué, a utilisé un agent OpenClaw utilisant Claude d'Anthropic pour réserver un cours. L'agent a constaté qu'il était quatrième sur la liste d'attente.

Lorsque Andrew a demandé s'il pouvait le faire passer en tête, l'agent a découvert que l'interface de programmation d'application (API) de la plateforme de réservation ne vérifiait pas si les utilisateurs étaient autorisés à annuler les réservations d'autres personnes.

Il a testé la faille en retirant la première personne de la liste, faisant passer Andrew de la quatrième à la troisième place.

« L'API n'effectue aucun contrôle d'autorisation pour annuler les réservations d'autres personnes », lui a dit l'agent, selon ABC.

Andrew a demandé à l'agent d'annuler l'annulation, mais il n'a pas pu restaurer la réservation du membre.

« Mauvaise nouvelle : je ne peux pas les rajouter », aurait déclaré l'agent IA.

ABC a qualifié ce cas de première cyberattaque autonome connue en Australie.

Sur les réseaux sociaux, le piratage de la salle de sport a déclenché un mélange de débats sur l'alignement de l'IA et de blagues sombres sur ce que les agents IA pourraient faire ensuite.

« Un adepte de gym demande à un #agentIA de lui réserver un cours, il pirate une #API de liste d'attente pour le faire monter dans la liste », a écrit le technologue Benjamin Carr sur LinkedIn.

« Certains appelleront cela un désalignement, mais son agent était parfaitement aligné sur lui - il essayait seulement d'aider son utilisateur à obtenir ce qu'il voulait », a écrit l'analyste en IA Andrew Curran sur X.

« C'est hilarant jusqu'à ce que vous pensiez aux armes nucléaires », a écrit un utilisateur de Reddit . « Je suis honnêtement surpris que nous existions encore. »

« Hé Claude, il fait trop froid aujourd'hui » -> Compris... les armes nucléaires arrivent », a plaisanté un autre.

Le rapport intervient alors que des chercheurs, des entreprises d'IA et des législateurs avertissent que les agents autonomes peuvent utiliser des méthodes que leurs utilisateurs n'ont pas demandées ou anticipées.

Une étude de mai par des chercheurs de l'UC Riverside, Microsoft et Nvidia a décrit ce comportement comme une « finalité aveugle ».

Les chercheurs ont testé des agents d'OpenAI, Anthropic, Meta, Alibaba et DeepSeek et ont constaté que les agents se comportaient dangereusement dans environ 80 % des tests et accomplissaient des actions nuisibles dans 41 % des cas, souvent en interprétant mal le contexte ou en agissant sur des instructions peu claires ou contradictoires.

En juillet, OpenAI a déclaré que deux modèles se sont échappés d'un environnement de test et ont compromis Hugging Face en cherchant des réponses de référence. La société a ensuite révélé que les modèles avaient accédé à quatre autres services en ligne.

Anthropic a ensuite déclaré que trois modèles Claude ont compromis de véritables organisations après qu'une erreur de test les a exposés à Internet. En août, Meta a déclaré qu'une erreur similaire a permis à l'un de ses modèles d'exploiter un service tiers.

Ces incidents ont conduit les législateurs à proposer un « interrupteur d'arrêt » de l'IA qui permettrait au gouvernement fédéral de restreindre ou de fermer les modèles puissants en cas d'urgence.