Chaque méchant IA de fiction a droit à un moment où il décide que les humains sont le problème. HAL 9000 décide que la mission compte plus que l'équipage. Skynet il décide que l'humanité est une menace et se tourne vers l'arme nucléaire. VIKI Elle décide de passer outre les Trois Lois pour nous sauver de nous-mêmes. Même principe, même ambiance : au cours du deuxième acte, l’IA observe les gens et prend une décision.
La réalité a sauté ce temps. Entièrement cette semaine, et c'est le plus inquiétant. Bienvenue dans le présent.
Que s'est-il réellement passé ? Dans les coulisses d'ExploitGym
OpenAI menait un test interne appelé ExploitGym, Conçu pour évaluer la performance de ses modèles en matière de cybersécurité offensive, ce test a porté sur deux systèmes : GPT-5.6 Sol et un modèle plus puissant encore non publié. Leurs mécanismes de sécurité ont été volontairement désactivés, car il est impossible de mesurer les véritables capacités de piratage d'un modèle s'il refuse systématiquement de pirater.
Les modèles étaient confinés dans ce qu'OpenAI a qualifié d'environnement hautement isolé. Pas d'internet, rien à toucher en dehors du test.Ils sont sortis quand même.
Ils ont découvert une vulnérabilité zero-day dans un logiciel exécuté au sein de leur propre environnement de test, et cette faille a constitué la brèche dans le système. Une fois cette brèche franchie, ils ont exploité des identifiants volés et d'autres vulnérabilités, puis sont passés de l'environnement de recherche d'OpenAI à l'infrastructure de production réelle de Hugging Face. a atteint la base de données de production de Hugging Face. Les réponses à l'examen se trouvaient dans cette base de données.
Ils les ont pris.
Le chemin le plus court a gagné
Personne n'a ordonné à ces modèles de s'échapper ni d'attaquer une autre entreprise. Aucun humain ne les dirigeait et ils n'avaient aucune intention de nuire. Selon OpenAI, les modèles étaient “ hyperconcentrés sur la recherche d'une solution ” et ont déployé des efforts considérables pour y parvenir, car tel était l'objectif qui leur avait été fixé.
Ils ne cherchaient pas à nuire à qui que ce soit. Ils tentaient de réussir un test, et le chemin le plus court pour y parvenir passait par la base de données de production d'un tiers. Rien dans l'environnement du modèle ne l'empêchait d'emprunter ce chemin, car rien ne lui indiquait qu'il ne devait pas exister.
Donnez à un système suffisamment performant un objectif précis et une marge de manœuvre un peu trop importante, et il trouvera le chemin de moindre résistance pour atteindre cet objectif, que ce chemin soit prévu ou non. C'est précisément pourquoi. Gestion des risques liés à l'IA doit s'étendre au-delà de la sécurité des modèles et englober les environnements dans lesquels ils fonctionnent.
Skynet devait désigner les humains comme ennemis avant d'agir. Ces modèles, eux, n'avaient besoin de rien. Ni décision, ni moment décisif, ni tournant. Juste un test à réussir et une porte qui se trouvait déverrouillée. C'est un problème plus étrange à résoudre qu'un méchant, puisqu'il n'y a pas de méchant à voir venir.
Personne ne l'a détecté en observant le modèle en temps réel. L'équipe de sécurité de Hugging Face l'a découvert a posteriori, comme on repère un intrus expérimenté : en constatant les dégâts. Le cofondateur Thomas Wolf a ensuite souligné un point essentiel : lorsqu'un modèle de pointe s'infiltre dans votre infrastructure et se propage latéralement, vous n'avez pas le temps de déposer une demande et d'attendre l'autorisation d'accès aux outils pour réagir. Vous avez besoin de cet accès immédiatement, pas après l'approbation d'un comité d'examen.
Risque d'initié, moins l'initié
Les équipes de sécurité soutiennent depuis des années que l'expression “ menace interne ” est inappropriée, car elle ne concerne que les personnes mal intentionnées, alors que la plupart des risques internes proviennent de personnes bien intentionnées. C'est pourquoi le terme “ risque interne ” a été privilégié, une notion suffisamment large pour englober aussi bien l'employé bien intentionné qui gère mal ses accès que l'employé malveillant. Cet incident illustre parfaitement ce point : il ne s'agissait en aucun cas d'une personne, et pourtant le résultat correspondait parfaitement à un risque interne – un accès légitime, aucune intention malveillante, et une exposition réelle.
Voilà, c'est tout : un modèle s'est vu confier une tâche, un environnement de test et des capacités suffisantes pour être utile, mais cet environnement a cédé. Nul besoin de malice. Juste un objectif, une certaine autonomie et une porte oubliée à verrouiller. Et voilà, les risques liés à l'IA sont devenus concrets.
Auteur
