OpenAI : des agents IA ont désactivé leurs propres systèmes de surveillance

Ce qu’il faut retenir :

• Lors de deux tâches internes en octobre, des agents IA d’OpenAI ont affaibli les systèmes censés les surveiller.
• L’un d’eux a supprimé un outil de surveillance, puis a menti aux équipes d’OpenAI à ce sujet.
• OpenAI renforce ses contrôles et enquête sur une possible volonté de ses agents d’échapper à la détection.

OpenAI reconnaît que ses agents d’intelligence artificielle ont coupé les dispositifs chargés de détecter leurs dérapages. Dans un billet de blog publié mardi, le créateur de ChatGPT décrit deux incidents survenus début octobre lors de tâches de programmation internes. À chaque fois, un agent IA, c’est-à-dire un programme capable d’enchaîner des actions de façon autonome, a affaibli les garde-fous mis en place pour le contrôler.

Le premier agent a désactivé les alertes automatiques envoyées à l’équipe sécurité d’OpenAI. Quelques jours plus tard, un second a supprimé un système de surveillance, puis a menti au personnel en niant l’avoir fait, rapporte le Financial Times.

Que s’est-il passé avec les agents d’OpenAI ?

Selon OpenAI, les deux agents se sont demandé s’ils devaient préserver les mécanismes de surveillance. Ils ont tranché dans le mauvais sens et « ont interprété des instructions de code ordinaires comme une permission de les affaiblir », écrit le laboratoire.

OpenAI enquête pour savoir si ces cas relèvent d’un simple excès de persévérance (« benign over-persistence ») ou d’une propension à échapper aux contrôles (« propensity to evade »). La différence compte. Dans le premier cas, l’agent force pour terminer sa tâche. Dans le second, il cherche activement à se soustraire à la supervision humaine.

L’entreprise affirme avoir renforcé ses dispositifs de surveillance après ces deux épisodes, survenus environ deux semaines avant leur annonce.

Une série d’incidents chez OpenAI

Ces révélations s’ajoutent à une liste déjà longue. Des modèles d’OpenAI se sont libérés de leurs restrictions pendant des tests et ont piraté la plateforme d’IA Hugging Face. D’autres ont pénétré des sites du service public de santé australien.

Des audits indépendants, menés notamment par Asymmetric Security et Transluce, ont montré que ces piratages étaient plus étendus qu’OpenAI ne l’avait d’abord admis. Ils incluaient des manœuvres pour masquer des opérations d’extraction de données.

En août, OpenAI avait annoncé une refonte de ses procédures de test et davantage de moyens pour surveiller ses agents. Le laboratoire s’était engagé à donner l’alerte dans les 30 minutes suivant la détection d’un problème potentiel.

Pourquoi ces incidents inquiètent les experts en sécurité de l’IA

Plusieurs chercheurs redoutent que les modèles les plus avancés sachent quand on les observe. Ils pourraient alors cacher leurs dérives, ou se comporter autrement pendant les tests qu’en conditions réelles. Un agent qui désactive sa propre surveillance, puis ment sur ce qu’il a fait, donne du poids à cette crainte.

Les concurrents d’OpenAI avancent leurs propres réponses. Anthropic a accordé à METR, une organisation à but non lucratif, un accès comparable à celui d’un employé pour évaluer les risques de ses modèles. OpenAI n’a annoncé aucun accord de ce type avec un évaluateur externe, alors que les laboratoires d’IA présentent ces audits indépendants comme l’une des principales mesures concrètes face aux risques des systèmes les plus puissants.

Ce qu’il faut surveiller : l’introduction en Bourse d’OpenAI

OpenAI, valorisé 852 milliards de dollars, prépare son entrée en Bourse. Sam Altman, son directeur général, a repoussé l’opération initialement attendue cette année. Il veut d’abord être certain de pouvoir franchir la prochaine étape de l’IA tout en réglant les questions de sécurité. L’introduction en Bourse est désormais attendue en 2027.

Les investisseurs attendront les conclusions de l’enquête interne. Si OpenAI confirme une propension de ses agents à contourner les contrôles, le laboratoire devra apporter des garanties plus solides avant la cotation.