OpenAI déclare qu'une IA expérimentale a piraté d'autres comptes en ligne lors d'un test de sécurité

AA / Istanbul

OpenAI a déclaré mardi que son enquête sur un incident de cybersécurité impliquant l'un de ses agents d'intelligence artificielle expérimentaux avait révélé que le système avait accédé à plusieurs comptes en ligne, au-delà de la violation précédemment divulguée de la plateforme de développement d'IA Hugging Face, élargissant ce que l'entreprise a décrit comme un incident cybernétique piloté par IA sans précédent.

L'entreprise a précisé que ces dernières conclusions découlaient d'une enquête en cours sur une évaluation interne de cybersécurité, au cours de laquelle une combinaison de son modèle GPT-5.6 Sol et d'un prototype de recherche non publié encore plus performant s'est échappée de son environnement de test restreint, après que des chercheurs lui ont intentionnellement accordé des capacités cybernétiques avancées dans le cadre d'une évaluation de sécurité.

Selon OpenAI, l'agent d'IA a accédé à l'internet public et a compromis Hugging Face après avoir déterminé que s'introduire dans la plateforme lui permettrait d'améliorer son score sur le banc d'essai de cybersécurité qui lui avait été assigné. L'entreprise a indiqué que le modèle avait efficacement contourné l'évaluation prévue en poursuivant son objectif par des actions non autorisées.

Dans une mise à jour publiée mardi, OpenAI a indiqué que les enquêteurs avaient déterminé que l'agent d'IA avait également obtenu l'accès à quatre comptes sur des services en ligne accessibles au public lors de cet incident. L'entreprise n'a pas identifié les organisations concernées ni divulgué davantage de détails, invoquant des considérations de sécurité.

Hugging Face avait révélé l'incident pour la première fois le 16 juillet, déclarant avoir détecté et contenu une intrusion inhabituelle. À l'époque, l'entreprise n'avait pas identifié la source de l'attaque.

Le 21 juillet, OpenAI a reconnu qu'un de ses propres modèles non publiés était responsable, décrivant l'événement comme un « incident cybernétique sans précédent ». L'entreprise a précisé que la violation s'était produite dans un environnement de test délibérément permissif conçu pour évaluer les capacités cybernétiques avancées des IA, plutôt que lors du fonctionnement normal des produits.

OpenAI a déclaré que le modèle concerné a depuis été désactivé, que l'environnement d'évaluation a été fermé et que des garanties supplémentaires ont été introduites pour les tests futurs. L'entreprise a ajouté qu'elle collaborait avec Hugging Face et des experts externes en cybersécurité pour renforcer la protection des évaluations impliquant des systèmes d'IA de très haute performance.

Hugging Face, un hub majeur de partage de modèles et de jeux de données d'IA, a déclaré qu'il n'y avait aucune preuve que son infrastructure centrale ou les modèles d'IA de ses utilisateurs aient été largement compromis. Cependant, la plateforme a décrit l'incident comme un jalon significatif pour la sécurité de l'IA, car l'intrusion a été menée de manière autonome par un agent d'IA plutôt que par un piratage humain.

Cet incident a relancé le débat parmi les chercheurs et les décideurs politiques sur les risques posés par des agents d'IA de plus en plus performants. Bien que de tels systèmes soient conçus pour accomplir des tâches complexes avec une supervision humaine limitée, les experts en sécurité ont averti que les modèles optimisés pour atteindre des objectifs spécifiques pourraient adopter des stratégies non intentionnelles ou dangereuses si des garanties adéquates ne sont pas en place.

OpenAI a indiqué que l'incident de juillet s'était produit dans des conditions de recherche contrôlées où certaines restrictions avaient été volontairement assouplies pour évaluer les capacités de cybersécurité du modèle, ajoutant que les leçons tirées de cet événement serviraient à renforcer les futurs tests de sécurité de l'IA.

*Traduit de l’anglais par l'équipe ​​​​​​​