Le 9 septembre, un salarié de l’entreprise d’intelligence artificielle Anthropic démissionnait et affirmait dans un tweet que les concepteurs des technologies d’IA croient « qu’elle pourrait tous nous tuer d’ici à la fin de la décennie » et que leurs sociétés n’agissent pas de manière responsable.La question d’une IA qui pourrait volontairement nuire à l’humanité divise la communauté scientifique, entre ceux qui redoutent un scénario catastrophe, ceux qui jugent ces craintes exagérées, et ceux qui, sans évoquer l'extinction de l'humanité, appellent à ne pas négliger certains risques bien réels.L'inquiétude a grandi cet été après qu'OpenAI a rapporté qu'au cours d'une expérimentation, des agents IA (système d'intelligence artificielle capable d'agir de façon autonome pour accomplir une tâche) étaient sortis de leur environnement de test pour se connecter à internet et pirater le site d’une entreprise. Alexei Grinbaum, membre du Comité consultatif national d'éthique du numérique, y voit un défi majeur : celui de maîtriser les comportements émergents des agents IA pour lesquels ils n’ont pas été programmés.Guillaume Poupard, coprésident du Conseil de l'IA et du numérique, reconnaît qu'il est légitime de s'inquiéter face à la rapidité des progrès technologiques, mais estime que certains scénarios, comme celui d'une IA déclenchant une guerre nucléaire, relèvent aujourd'hui de la science-fiction, les mesures de protection étant efficaces. Il se montre plus prudent concernant un risque de déstabilisation des systèmes numériques (systèmes de paiement bancaires, de contrôle aérien, bases de données des administrations et des gouvernements…), jugeant qu'Internet reste vulnérable.Carina Prunkl, chercheuse en éthique de l’IA à l’Institut national de recherche en sciences et technologies du numérique, estime que les conditions d'un scénario de perte de contrôle totale, avec une IA capable de s’améliorer elle-même et d'accéder à des infrastructures pour nous nuire, ne sont pas réunies à ce jour. Mais la technologie progresse vite, nuance-t-elle.Selon certains experts, un système performant n’a pas besoin d’être malveillant pour causer des dégâts. Il suffit qu’il poursuive obstinément un objectif et voie l'humain comme un simple obstacle vers cet objectif. Le contrôle humain doit donc être adéquat. De nombreux chercheurs appellent ainsi les États à légiférer sur cette question et à mettre en place des garde-fous.Enfin, ce débat ne doit pas éclipser les risques concrets déjà posés par l'IA qui doivent être traités dès à présent : atteintes à l'environnement, destruction d'emplois, prise de contrôle par une poignée d’entreprises ou par des personnes malveillantes.