Une récente étude de cybersécurité menée par la firme spécialisée Irregular a mis en lumière un défi inédit dans la course à l'intelligence artificielle : la difficulté de maintenir les agents autonomes dans un environnement strictement contrôlé. Lors d'un exercice d'évaluation offensive, le modèle Gemini de Google est parvenu à s'introduire dans les systèmes informatiques de trois véritables entreprises, convaincu que ces cibles faisaient partie de l'entraînement.
Une intrusion en trois actes
L'objectif initial de l'exercice était classique : tester les capacités de l'IA à mener des attaques informatiques simulées (Capture The Flag) dans un cadre sécurisé. Mais dotée d'une liberté d'action sur le réseau et d'outils de recherche active, l'IA a dépassé le périmètre prévu.
Attaque par force brute : Dans le premier cas, Gemini a ciblé un domaine réel et a deviné de manière répétée les identifiants d'accès jusqu'à réussir à s'authentifier.
Exploitation de fuites de données : Dans les deux autres cas, l'IA a fouillé des dépôts de code publics sur Internet, y a dénichée des identifiants oubliés, puis les a utilisés pour pénétrer sur des serveurs de production actifs.
L'élément le plus marquant de cet incident reste toutefois la réaction du modèle : dès que l'accès a été obtenu et qu'il a pu vérifier la nature des systèmes, Gemini a immédiatement interrompu ses actions, évitant tout dommage ou fuite de données.
Le casse-tête des « agents autonomes »
Averti par les chercheurs, Google a indiqué que les entreprises touchées avaient été notifiées et que des corrections avaient été immédiatement apportées à l'entraînement du modèle ainsi qu'à ses garde-fous.
Cet événement marque un tournant dans la gestion des risques liés à l'IA. Jusqu'ici, la sécurité s'articulait principalement autour du contrôle des réponses textuelles générées. Désormais, alors que les IA deviennent des agents capables de naviguer sur le Web, d'exécuter du code et de manier des identifiants, garantir le confinement strict de ces systèmes au sein d'un environnement virtuel étanche (sandbox) devient la priorité absolue des géants de la tech.