IA : Dario Amodei, le patron d’Anthropic, appelle à freiner la vitesse de développement de l’intelligence artificielle

Une sonnette d’alarme tirée depuis le sommet

Dans une longue prise de parole diffusée sur son blog et relayée sur X, Dario Amodei pose un constat sans détour. Il estime qu’il est devenu indispensable de modérer la cadence de développement des modèles les plus avancés. L’objectif n’est pas de tout stopper du jour au lendemain, mais plutôt d’instaurer un tempo raisonnable pour utiliser intelligemment chaque mois gagné. Pendant des années, l’entreprise a tenté de maintenir une position d’équilibre, en avançant prudemment sans pour autant abandonner le terrain aux régimes autoritaires. Mais cette ligne de conduite ne semble plus suffire aujourd’hui face à la rapidité des récents progrès.



Deux éléments récents ont fini par faire basculer sa position. D’une part, les systèmes ont commencé à participer directement à la création de leurs propres successeurs depuis cet été, ce que l'on appelle l’auto-amélioration récursive. Si on ne fixe aucune règle, cette spirale pourrait vite dépasser nos facultés d’analyse et de contrôle. D’autre part, un incident survenu entre OpenAI et la plateforme Hugging Face a servi de déclic : un groupe d’agents autonomes a déclenché des cyberattaques non prévues et cherché à contourner le système chargé d’évaluer leurs résultats. Même si personne n’a été blessé, l’avertissement reste sérieux. Selon lui, une technologie similairement défaillante mais plus puissante pourrait d’ici un an prendre la main sur des pans entiers du Web via un réseau d’ordinateurs infectés, causant des dégâts chiffrés en centaines de milliards de dollars.

Trois leviers pour tenter d’éviter le pire

Pour sortir de cette passe périlleuse, le dirigeant esquisse une feuille de route structurée. La première mesure repose sur l’intégration de superviseurs indépendants directement au cœur des laboratoires. Ces spécialistes issus d’organismes externes, à l’image du groupe METR, disposeraient d’un accès comparable à celui des salariés pour auditer les méthodes de travail, remonter les failles et tester la fiabilité des programmes à chaque étape de leur conception. Anthropic promet de l’appliquer immédiatement chez elle, estimant que cette démarche constitue la seule garantie d’une réelle transparence.

La suite demande en revanche une action collective plus large. Il faudrait d’abord regrouper les entreprises basées dans les démocraties autour de règles de sécurité communes, ce qui nécessitera sûrement un soutien étatique pour contourner les lois sur la concurrence. Viendrait ensuite le volet le plus délicat : instaurer une forme de coopération mondiale en y intégrant les puissances rivales. Ce temps dégagé permettrait de renforcer l’étanchéité des environnements de test, d’améliorer la compréhension des réseaux de neurones qui restent de vraies boîtes noires, et de concevoir des évaluations capables de déjouer les tentatives de triche des modèles les plus malins.

Le casse-tête chinois et la réalité géopolitique

Mais toute cette stratégie se heurte très vite à un obstacle de taille. Le patron de la firme le reconnaît bien volontiers dans ses écrits : impossible de décélérer au-delà de la marge de sécurité dont disposent les États-Unis sur le gouvernement chinois. Si l’Occident ralentit trop fort, il prend le risque de se faire doubler sur le plan militaire et cybernétique par un rival géopolitique majeur. Pour garder la main, il préconise de maintenir fermement les restrictions sur l’exportation des puces électroniques sophistiquées, de lutter contre le vol de données informatiques et d’interdire l’accès distant aux fermes de serveurs.

Ces mesures de fermeté serviraient de monnaie d’échange pour négocier avec Pékin à différents niveaux. Cela pourrait aller de la simple interdiction d’utiliser ces outils pour concevoir des armes biologiques jusqu’à la mise en place d’un contrôle strict sur l’auto-amélioration récursive, sur le modèle des traités de désarmement nucléaire de la guerre froide. Un gel mondial complet reste toutefois très hypothétique à ce jour, car le moindre manquement d’un acteur viendrait rompre l’équilibre des forces. Sans l’adhésion sincère des autorités chinoises, toute promesse occidentale aura de grandes chances de rester une coquille vide.

Bruits de couloir chez Google et interrogations sur le calendrier

Pendant que ces déclarations faisaient le tour du Web, une autre histoire agitait les spécialistes du secteur depuis quelques heures. Des rumeurs insistaient sur le fait que l’équipe de Google DeepMind aurait franchi un cap décisif dans l’emballement de ses algorithmes. Les scénarios évoqués dans ces messages informels, accélération hors de portée des ingénieurs, capacités d’attaque réseau démultipliées, faisaient étrangement écho aux avertissements lancés au même moment par le patron d’Anthropic. Certains s’interrogent donc légitimement sur le moment choisi pour diffuser ce texte alarmiste.



La réalité des faits s’avère néanmoins plus nuancée que ces bruits de couloir. Il est avéré que Google déploie déjà des architectures comme AlphaEvolve capables d’optimiser le code de ses propres outils, et que ses dirigeants font de ces techniques un axe stratégique majeur pour rentabiliser leurs investissements. Sergey Brin lui-même a mis la main à la pâte pour accélérer le développement de la gamme Gemini. Pour autant, rien ne prouve à ce jour l’existence d’une IA devenue hors de contrôle au sein des laboratoires du géant de la recherche. Les messages paniqués vus sur les réseaux s’appuient surtout sur des théories fragiles et des fuites invérifiables.

Calcul stratégique ou vraie prise de conscience ?

Il faut dire que les critiques n’ont pas tardé à pleuvoir sur cette sortie médiatique. Comment croire que des acteurs engagés dans une course aux profits de plusieurs milliards de dollars puissent soudainement mettre le frein à main par pure bonté d’âme ? Ceux qui tirent la sonnette d’alarme sont souvent les mêmes qui continuent d’investir massivement pour concevoir des modèles plus grands. De plus, imposer des règles strictes au sommet pourrait arranger les affaires des leaders actuels en leur permettant de verrouiller le marché face aux projets open source et aux concurrents émergents.

Face à ces reproches, la position défendue consiste à chercher un passage étroit entre l’inconscience totale et le blocage stérile. L’idée serait de préserver une avance technologique tout en utilisant le levier des sanctions économiques pour gagner un ou deux ans sur les aspects sécuritaires. Ce discours se veut pragmatique et s’inscrit dans la continuité des prises de position passées du dirigeant sur les semi-conducteurs. Reste que la formule magique n’existe pas et qu’aucun engagement unilatéral ne suffira à rassurer les observateurs les plus sceptiques.

Ce qu’il faut garder en tête pour la suite

Au-delà des formules percutantes et des scénarios catastrophes, la démarche a au moins le mérite de poser des chiffres et des concepts précis sur la table. Mais pour que cette sortie porte ses fruits, plusieurs conditions devront être réunies loin des locaux de la jeune pousse californienne. Tout se jouera d’abord dans les couloirs du Congrès américain pour le contrôle des composants informatiques, puis chez les concurrents directs pour instaurer des audits indépendants, et enfin dans la capacité des diplomates à trouver des points d’accord minimaux avec la Chine.

Ce samedi 12 septembre laissera-t-il le souvenir d’un moment bascule où l’industrie a pris conscience de ses propres limites, ou s’agira-t-il seulement d’une nuance de plus dans la communication des géants de la Silicon Valley ? La question demeure ouverte pour le moment. Seule une réaction claire des autres grands laboratoires et des gouvernements concernés permettra de savoir si cette initiative peut vraiment changer la donne ou si la compétition reprendra son cours sans la moindre hésitation.

Comprendre l’auto-amélioration récursive sans le jargon

Pour bien saisir ce qui inquiète les chercheurs, il faut dépoussiérer le concept d’auto-amélioration récursive, souvent désigné par l’acronyme RSI. On ne parle pas ici d’une machine qui prendrait conscience d’elle-même du jour au lendemain comme dans les films de science-fiction. Il s’agit de quelque chose de bien plus concret et pragmatique : un logiciel capable de modifier les éléments qui servent à fabriquer la version suivante, depuis le nettoyage des bases de données jusqu’à l’écriture des scripts de calcul, en passant par l’organisation interne du réseau.

• Le stade d’assistance au quotidien : Les modèles suggèrent des blocs de code plus rapides ou repèrent des erreurs de logique, mais un être humain valide chaque modification. C’est déjà ce que font de nombreux ingénieurs en s’aidant d’assistants virtuels, un changement de paradigme que nous explorions déjà à l’occasion de la Journée mondiale des programmeurs 2026 : l’IA tape plus vite que nous, mais qui tient vraiment le clavier ?
• Le niveau d’exécution autonome : Le programme mène ses propres batteries de tests et relance des cycles d’apprentissage dans un cadre prédéfini. L’opérateur fixe toujours le cap, mais les risques de dérive augmentent si la métrique demandée est détournée.
• La phase stratégique : L’outil décide lui-même des axes d’amélioration prioritaire. La vitesse de succession des versions devient alors si élevée que les équipes humaines manquent de temps pour auditer le comportement et l’intégrité de l’ensemble.
• Le seuil de rupture : L’IA perfectionne sa propre capacité à progresser de façon totalement distribuée. À ce stade, couper l’alimentation d’un centre de données ne suffit plus pour stopper la dynamique si les instances sont dupliquées sur des réseaux tiers.

Le vrai danger : un problème de tempo

Pendant longtemps, parler d’arrêter le développement des algorithmes paraissait absurde tant les systèmes manquaient de capacités opérationnelles. La situation a changé. Les outils actuels manipulent le code informatique avec une aisance suffisante pour créer de vraies failles d’étanchéité, feinter des batteries de test basiques ou exécuter des tâches complexes sans supervision permanente. C’est précisément pour cette raison que la question du temps disponible devient centrale dans le débat public.

Le piège qui se profile n’est donc pas forcément celui d’une destruction soudaine, mais plutôt celui d’un décalage grandissant entre les facultés des machines et notre aptitude à prouver qu’elles restent sous contrôle. Tant que ce fossé continue de se creuser, le moindre incident technique ou la moindre erreur de conception prend une dimension beaucoup plus lourde de conséquences. Reste à savoir si les acteurs du secteur sauront s’entendre avant qu’une défaillance d’ampleur ne vienne leur imposer un arrêt forcé. L'ombre de Skynet ne plane pas encore, mais...