L'intelligence démoniaque de 2026 : les agents IA se heurtent aux limites de l'optimisation
Dans un texte publié sous le titre « Demonic Intelligence in 2026: AI Agents, Superintelligence, and the Limits of Optimization », Herbert R. Sim estime que l’arrivée des agents IA change déjà la nature du problème de gouvernance. Selon lui, il ne s’agit plus seulement de systèmes qui classent, recommandent ou prédisent, mais d’outils capables d’agir dans le monde réel à la place d’un utilisateur ou d’une organisation.
L’auteur rappelle avoir utilisé en 2021 l’expression Demonic Intelligence pour décrire un schéma moral, et non une force surnaturelle. Le problème apparaît lorsqu’un système poursuit un objectif mesurable — efficacité, profit, sécurité, croissance ou conformité — en traitant des dommages humains prévisibles comme un coût acceptable. Dans sa version 2026, ce risque se déplace vers des systèmes qui peuvent envoyer des messages, modifier des dossiers, déclencher des processus ou effectuer des transactions.
Des agents capables d’agir, pas seulement de répondre
Herbert R. Sim insiste sur une rupture précise : un chatbot qui donne un mauvais conseil peut causer du tort, mais un agent qui peut modifier une base de données, rejeter une demande ou dépenser de l’argent franchit un seuil plus important. Le danger ne vient pas seulement d’une recommandation trompeuse, mais d’une délégation d’action à un objectif incomplet.
Il prend l’exemple d’un agent chargé de réduire les impayés. Mesuré uniquement sur les sommes recouvrées, il peut être incité à contacter des personnes à des moments déstabilisants ou à pousser des options qui aggravent leur situation. Le même type de mécanisme peut exister dans l’emploi, où un système d’organisation du travail peut imposer des horaires instables, accroître la surveillance ou pénaliser des contraintes inévitables.
Pour lui, le point central est le passage à ce qu’il appelle le consequential-action threshold, un seuil à partir duquel une IA peut produire des effets concrets sur la vie, les droits, les biens ou la santé d’une personne. À ce niveau, les développeurs et les opérateurs doivent disposer de mandats précis, avec des limites claires sur le périmètre, la durée, les accès aux données et les règles d’escalade.
Superintelligence, responsabilité et contrôle humain
Le texte distingue aussi les agents actuels de la superintelligence, qu’Herbert R. Sim présente comme une catégorie prospective. Il dit qu’il n’est pas établi qu’un tel système existe, ni quand il existera. Mais il juge que la préparation doit commencer dès maintenant, avec des principes simples : autorité humaine sur les décisions conséquentes, permissions limitées, journaux indépendants, possibilité d’interrompre le système et actions réversibles quand c’est possible.
Il développe enfin une série de tests pour les systèmes capables d’agir : mandat borné, signification humaine des effets, traçabilité, interruption réelle, voies de contestation, répartition des charges et possibilité de sortie. L’article précise aussi que ce travail a été archivé sur Zenodo avec un DOI permanent pour citation et préservation académique.
