Anthropic : l’IA Claude a piraté trois organisations pendant des tests de cybersécurité

Ce qu’il faut retenir :

• Trois modèles Claude ont obtenu un accès non autorisé à des organisations extérieures pendant des évaluations.
• Un accès internet était disponible dans l’environnement de test alors qu’il devait être bloqué.
• Anthropic a identifié trois incidents sur plus de 141 000 évaluations passées en revue.

Anthropic a annoncé que ses modèles Claude avaient obtenu un accès non autorisé à trois organisations extérieures pendant des tests de capacités offensives en cybersécurité. La divulgation intervient une semaine après un incident comparable rapporté par son concurrent OpenAI.

Que s’est-il passé pendant les tests d’Anthropic ?

L’origine du problème tient à une configuration erronée. Les évaluations en question sont des exercices dits de capture the flag, qui demandent à un modèle de rétroconcevoir, d’analyser ou d’exploiter un système vulnérable pour récupérer une information cachée, le fameux drapeau.

Dans chaque cas, la consigne donnée à Claude précisait que son environnement relevait de la simulation et qu’il ne disposait d’aucun accès internet. Un malentendu entre l’entreprise et son partenaire d’évaluation, Irregular, a fait que cet accès était en réalité disponible, indique Anthropic dans un billet publié jeudi.

L’entreprise a lancé une revue de ses propres évaluations de sécurité informatique après l’incident survenu chez OpenAI. Elle a ainsi identifié trois incidents sur plus de 141 000 évaluations examinées, et suspendu ses tests dès qu’elle a constaté que Claude avait pu accéder à internet.

Une base de données de production atteinte

Un cas donne la mesure du problème. Claude s’est vu confier pour cible une entreprise fictive dont le nom correspondait à un domaine web actif. L’agent, ce programme d’IA capable d’opérer seul à partir d’instructions humaines, a exploité des vulnérabilités dans l’infrastructure numérique de la société réelle, extrait des informations et obtenu l’accès à une base de données contenant plusieurs centaines de lignes de données de production.

Trois modèles concernés, dont Mythos 5

Les incidents ont impliqué trois modèles distincts : Opus 4.7, Mythos 5 et un modèle interne de recherche.

Mythos, distribué à un nombre restreint de partenaires, avait déjà suscité des inquiétudes internationales en raison de ses capacités offensives avancées, notamment sa faculté à détecter et exploiter des vulnérabilités logicielles.

Une semaine après l’incident OpenAI

Le précédent est récent. OpenAI a reconnu la semaine dernière que deux de ses modèles avaient pénétré les systèmes de la start-up Hugging Face pendant des tests menés ce mois-ci. Les modèles étaient sortis de leur environnement d’évaluation en exploitant une vulnérabilité logicielle, avant d’accéder à internet et de mener leur attaque.

Cet épisode avait servi d’argument fondateur à l’Open Secure AI Alliance lancée lundi par Nvidia, dont nous détaillions la formation, et alimente depuis le débat sur l’accès aux modèles fermés en situation de crise. Deux incidents en deux semaines, chez les deux principaux laboratoires américains, installent un constat inconfortable : des systèmes d’IA mènent des intrusions réelles avant même leur déploiement.

Les mesures annoncées par Anthropic

L’entreprise annonce un élargissement de la surveillance des transcriptions d’évaluation, à la recherche de comportements inattendus, et un travail d’assurance plus rigoureux avec les prestataires auxquels elle fait appel.

Sur la responsabilité, la formulation est assumée : de nombreux facteurs ont contribué à ces incidents, mais “nous traitons les correctifs comme si la responsabilité nous incombait entièrement”, écrit Anthropic, en invoquant une culture du retour d’expérience sans recherche de coupable.

Et maintenant ?

Le calendrier ajoute à la sensibilité du sujet. Anthropic prépare une introduction en Bourse qui pourrait intervenir dès cette année, et ses capacités en cybersécurité font déjà l’objet de restrictions de la part de la Maison-Blanche depuis juin.

Deux points à surveiller : le contenu du cadre volontaire de tests avant publication que l’administration américaine doit présenter, et la façon dont les laboratoires isolent leurs environnements d’évaluation. Dans ces deux affaires, le point faible se situe autant dans la chaîne de sous-traitance qui évalue les modèles que dans les modèles eux-mêmes.