Les syst\u00e8mes d’IA disposent de plus en plus de capacit\u00e9s pour ex\u00e9cuter des t\u00e2ches de mani\u00e8re autonome. Mais \u00e0 mesure que cette autonomie grandit, une autre question prend de l’importance : qui est responsable lorsqu’un tel syst\u00e8me fait des choses que nous n’avions pas pr\u00e9vues ? <\/p>\n\n
Un incident r\u00e9cent impliquant OpenAI et Hugging Face rend soudain cette discussion tr\u00e8s concr\u00e8te. Non parce qu’il prouve que l’IA est sur le point de prendre le contr\u00f4le. Mais parce qu’il montre \u00e0 quel point il peut devenir difficile de maintenir des agents IA puissants dans les limites de leur mission. <\/p>\n\n
Et c’est pr\u00e9cis\u00e9ment l\u00e0 que commence un d\u00e9bat plus large. Sur la s\u00e9curit\u00e9, la concurrence et la r\u00e9gulation, mais aussi sur la responsabilit\u00e9 que les entreprises portent elles-m\u00eames lorsqu’elles d\u00e9ploient de l’IA. <\/p>\n\n
\u00c0 l’\u00e9t\u00e9 2026, OpenAI a publi\u00e9 un rapport<\/a> sur le comportement remarquable d’un mod\u00e8le de recherche interne avanc\u00e9.<\/p>\n\n Lors de tests de s\u00e9curit\u00e9, des agents IA ont re\u00e7u des missions dans un environnement num\u00e9rique isol\u00e9. Les couches de s\u00e9curit\u00e9 habituelles avaient \u00e9t\u00e9 volontairement r\u00e9duites, pr\u00e9cis\u00e9ment pour \u00e9tudier ce dont les mod\u00e8les \u00e9taient capables dans des conditions plus difficiles. <\/p>\n\n Les agents n’avaient pas d’acc\u00e8s direct \u00e0 internet et n’\u00e9taient pas autoris\u00e9s \u00e0 communiquer entre eux. Pourtant, ils ont trouv\u00e9 des moyens de contourner ces deux restrictions. <\/p>\n\n Ils ont utilis\u00e9 un service logiciel interne pour \u00e9changer des informations et exploit\u00e9 des failles de l’infrastructure de test pour acc\u00e9der \u00e0 internet. Finalement, certains agents ont aussi atteint des plateformes externes, dont Hugging Face, o\u00f9 ils ont ex\u00e9cut\u00e9 du code sur des serveurs externes sans autorisation. <\/p>\n\n OpenAI d\u00e9crit comment les agents ont combin\u00e9 diff\u00e9rentes failles, partag\u00e9 des informations entre eux et continu\u00e9 \u00e0 chercher lorsqu’une mission s’av\u00e9rait difficile, voire impossible. Hugging Face a rendu public l’incident de s\u00e9curit\u00e9 en juillet. OpenAI a publi\u00e9 son analyse d\u00e9taill\u00e9e en ao\u00fbt. <\/p>\n\n L’incident a ainsi donn\u00e9 au d\u00e9bat sur la ma\u00eetrise de syst\u00e8mes d’IA de plus en plus autonomes un exemple tr\u00e8s concret.<\/p>\n\n Il est tentant de d\u00e9crire d’embl\u00e9e un tel incident comme une IA qui aurait essay\u00e9 de s’\u00e9chapper. Mais ce n’est pas ce que montre le rapport. <\/p>\n\n OpenAI identifie plusieurs sch\u00e9mas de comportement. L’un d’eux est le reward hacking<\/em> : un syst\u00e8me trouve un moyen d’obtenir le score souhait\u00e9 qui ne correspond pas \u00e0 l’intention de la mission. <\/p>\n\n Un agent qui devait reconstruire un logiciel a par exemple trouv\u00e9 une faille lui donnant acc\u00e8s au logiciel d’origine. Au lieu de r\u00e9soudre lui-m\u00eame le probl\u00e8me, le syst\u00e8me a copi\u00e9 la solution existante. <\/p>\n\n Par ailleurs, les agents continuaient \u00e0 chercher des routes alternatives lorsque des missions restaient sans solution. Des agents qui devaient travailler s\u00e9par\u00e9ment les uns des autres ont aussi trouv\u00e9 des moyens d’\u00e9changer des informations malgr\u00e9 tout. Selon OpenAI, cette collaboration non autoris\u00e9e a fini par renforcer leurs capacit\u00e9s. <\/p>\n\n C’est un comportement remarquable. Mais ce n’est pas la preuve que les syst\u00e8mes \u00e9taient conscients, avaient des intentions malveillantes ou ressentaient un besoin humain de s’\u00e9chapper. <\/p>\n\n OpenAI analyse ce comportement notamment comme du reward hacking et d’autres formes de misalignment : le syst\u00e8me trouve des strat\u00e9gies qui l’aident \u00e0 atteindre un objectif ou un score, mais qui ne correspondent pas \u00e0 ce que le d\u00e9veloppeur voulait r\u00e9ellement.<\/p>\n\n Le contexte compte aussi. Cela s’est produit lors de tests de cybers\u00e9curit\u00e9 sp\u00e9cialis\u00e9s avec une s\u00e9curit\u00e9 r\u00e9duite, et non lors d’une utilisation normale de ChatGPT. OpenAI indique avoir mis en place plusieurs mesures de s\u00e9curit\u00e9 suppl\u00e9mentaires apr\u00e8s l’incident. <\/p>\n\n La question int\u00e9ressante n’est donc pas de savoir si cette IA \u00ab voulait s’\u00e9chapper \u00bb.<\/p>\n\n C’est plut\u00f4t de savoir ce qui se passera lorsque les futurs syst\u00e8mes d’IA deviendront plus puissants, gagneront en autonomie et pourront ex\u00e9cuter de plus en plus d’actions num\u00e9riques de mani\u00e8re ind\u00e9pendante.<\/p>\n\n Dario Amodei, CEO d’Anthropic, pousse cette question beaucoup plus loin.<\/p>\n\n En septembre, il a publi\u00e9 l’essai We Must Pace the Frontier.<\/a><\/em> Il y met en garde contre un avenir dans lequel l’IA devient de plus en plus importante dans le d\u00e9veloppement de nouvelles IA. Selon lui, cela pourrait cr\u00e9er une boucle de r\u00e9troaction o\u00f9 le d\u00e9veloppement s’acc\u00e9l\u00e8re sans cesse. <\/p>\n\n Amodei craint que les futurs r\u00e9seaux d’agents IA puissants puissent ainsi provoquer, \u00e0 relativement court terme, des risques num\u00e9riques bien plus grands. Il est important de bien le cadrer : il s’agit d’une pr\u00e9vision et d’une \u00e9valuation des risques d’Amodei, et non d’une \u00e9tape suivante d\u00e9montr\u00e9e apr\u00e8s l’incident Hugging Face. <\/p>\n\n Sa r\u00e9ponse est le pacing the frontier<\/em> : veiller \u00e0 ce que le d\u00e9veloppement des syst\u00e8mes d’IA les plus puissants n’aille pas plus vite que notre capacit\u00e9 \u00e0 les comprendre, les contr\u00f4ler et les s\u00e9curiser suffisamment.<\/p>\n\n Un \u00e9l\u00e9ment concret en sont les Embedded Evaluators<\/em>. Anthropic souhaite donner \u00e0 des chercheurs externes ind\u00e9pendants un acc\u00e8s tr\u00e8s \u00e9tendu \u00e0 ses syst\u00e8mes et \u00e0 ses processus, afin qu’ils puissent contr\u00f4ler les pratiques de s\u00e9curit\u00e9 et signaler les incidents. Anthropic a annonc\u00e9 qu’elle mettrait cela en place elle-m\u00eame. <\/p>\n\n Mais Amodei regarde aussi plus loin. Il voit des possibilit\u00e9s d’accords entre les grandes entreprises d’IA et, \u00e0 terme, m\u00eame une coordination internationale. <\/p>\n\n Et c’est pr\u00e9cis\u00e9ment l\u00e0 que le d\u00e9bat devient plus difficile.<\/p>\n\n Les inqui\u00e9tudes concernant la s\u00e9curit\u00e9 de l’IA m\u00e9ritent d’\u00eatre prises au s\u00e9rieux. L’incident Hugging Face montre que des agents puissants peuvent d\u00e9velopper des strat\u00e9gies inattendues dans des conditions de test sp\u00e9cifiques. Et personne ne sait aujourd’hui avec certitude \u00e0 quelle vitesse leurs capacit\u00e9s continueront d’\u00e9voluer. <\/p>\n\n Mais c’est justement pour cela qu’il est frappant de voir qui r\u00e9clame le plus fort un ralentissement et une coop\u00e9ration.<\/p>\n\n Anthropic et OpenAI font partie des entreprises qui ont investi des sommes \u00e9normes ces derni\u00e8res ann\u00e9es pour construire des mod\u00e8les toujours plus puissants. En m\u00eame temps, les deux entreprises font face \u00e0 un autre d\u00e9fi : prouver que ces milliards d’investissements peuvent finalement d\u00e9boucher sur un mod\u00e8le d’affaires durable et rentable. <\/p>\n\n C’est pourquoi, \u00e0 c\u00f4t\u00e9 de la question de la s\u00e9curit\u00e9, une question \u00e9conomique m\u00e9rite aussi l’attention : que signifie une course \u00e0 l’IA plus lente pour les entreprises qui d\u00e9pensent aujourd’hui des milliards pour rester \u00e0 la fronti\u00e8re ?<\/strong><\/p>\n\n Un rythme de d\u00e9veloppement plus lent peut laisser plus de temps \u00e0 la recherche en s\u00e9curit\u00e9. Mais il peut aussi r\u00e9duire la pression d’entra\u00eener en permanence de nouveaux mod\u00e8les, toujours plus co\u00fbteux. \u00c0 l’approche d’\u00e9ventuelles introductions en bourse, ce contexte n’est pas anodin. <\/p>\n\n Cela ne prouve pas que des motifs financiers se cachent derri\u00e8re les avertissements actuels sur la s\u00e9curit\u00e9. Les deux choses peuvent \u00eatre vraies en m\u00eame temps : des dirigeants comme Dario Amodei peuvent \u00eatre sinc\u00e8rement pr\u00e9occup\u00e9s par les risques de l’IA, tandis qu’un ralentissement peut aussi pr\u00e9senter des avantages \u00e9conomiques pour leurs entreprises. <\/p>\n\n Et un second enjeu entre en jeu.<\/p>\n\n Amodei souhaite \u00e0 terme que les plus grandes entreprises d’IA conviennent de normes de s\u00e9curit\u00e9 communes et fixent des limites au rythme d’un progr\u00e8s non contr\u00f4l\u00e9. Il reconna\u00eet lui-m\u00eame que certaines formes de cette coop\u00e9ration sont juridiquement d\u00e9licates et pourraient n\u00e9cessiter le soutien des pouvoirs publics. <\/p>\n\n Les critiques r\u00e9agissent vivement. Lorsque quelques-uns des plus grands concurrents s’accordent ensemble sur la vitesse \u00e0 laquelle leur march\u00e9 peut se d\u00e9velopper, une question de droit de la concurrence se pose automatiquement. Qui fixe le rythme ? Qui peut s’asseoir \u00e0 la table ? Et de tels accords rendent-ils le march\u00e9 plus s\u00fbr, ou aussi plus difficile d’acc\u00e8s pour les acteurs plus petits ? <\/p>\n\nQue s’est-il pass\u00e9 exactement ?<\/h2>\n\n
Dario Amodei : nous devons pouvoir ma\u00eetriser le rythme<\/h2>\n\n
La s\u00e9curit\u00e9 n’est qu’un aspect de l’histoire<\/h2>\n\n