Couverture de AGI : comment l'intelligence surhumaine recompose la civilisation

L'ouvrage paraît en japonais sous le titre 『AGI―人間を超える知能は文明をいかに変容させるか』. Le titre français ci-dessus est une traduction de travail de l'auteur ; le titre d'une éventuelle édition française pourra différer, à la discrétion des ayants droit et du traducteur. Il en va de même de la terminologie employée dans cette page, notamment pluralisme constitutif, non-agrégation et marge : ces rendus sont ceux de l'auteur et ne sont pas arrêtés.


Le discours sur l'AGI se réduit le plus souvent à deux récits. Dans le premier, l'AGI résout tous les problèmes et libère l'humanité du travail et de la souffrance. Dans le second, elle nous domine ou nous anéantit. Les deux décrivent le même événement : la disparition des limites.

Ce livre écarte cette alternative. L'AGI ne supprime pas les limites : elle les réorganise. À mesure que les contraintes cognitives reculent, des contraintes plus fondamentales, physiques, computationnelles et institutionnelles, passent au premier plan. Les lois de la thermodynamique tiennent toujours. La vitesse de la lumière n'est pas dépassée. Les sociétés ont toujours besoin de temps pour s'accorder. Les limites ne disparaissent pas ; elles changent de place.

De ce point de vue, le livre pose trois questions. Celle du savoir : que devient le fait de connaître, lorsque comprendre et prédire cessent peut-être d'être un seul et même acte, et qu'une IA découvre une loi de la nature sans passer par la compréhension humaine ? Celle de l'humain : que devient la compréhension que nous avons de nous-mêmes, lorsque la machine écrit mieux et dessine mieux que nous ? Celle de la société : la démocratie moderne s'est établie parce que les hommes étaient économiquement et militairement indispensables ; sur quoi reposeront les libertés et les droits lorsque cette nécessité aura disparu ?

L'AGI n'est pas la fin du problème de l'intelligence. Elle est le point où ce problème est promu au rang de problème de conception de la civilisation : comment employer l'intelligence, comment la contrôler, quelles institutions bâtir sur elle. Ce livre tente d'en dresser la carte.


Les six propositions

Les six propositions s'enchaînent de la prémisse à la conclusion. Elles ne nient pas les scénarios catastrophiques : elles trient les possibilités entre celles qui sont inévitables, celles où un effort supplémentaire laisse encore une chance de les éviter, et celles qui sont improbables, pour concentrer l'analyse et la conception institutionnelle sur le second groupe. En ce sens, l'argument du livre est un triage de l'espace des catastrophes.

  1. Point de départ : la non-arrivée de l'AGI n'est plus une hypothèse sûre. Les performances progressent avec le calcul, les données et le nombre de paramètres (lois d'échelle), sans saturation nette dans la plage observée, et un lien théorique s'établit, en conditions idéalisées, avec l'induction de Solomonoff. Bâtir une société en supposant que l'AGI n'arrivera jamais est désormais un pari coûteux. (chap. 2, 3)

  2. Contrainte physique : l'explosion d'intelligence est physiquement entravée, mais la prolifération et la concentration demeurent. Tout traitement d'information a un coût physique minimal (principe de Landauer), ce qui bloque l'auto-amplification exponentielle d'une intelligence unique. Mais copier une IA ne coûte presque rien : au lieu d'une intelligence sans bornes, c'est un écosystème d'IA qui se lève, et le risque que cette capacité se concentre entre quelques États ou quelques firmes subsiste. (chap. 4, 6)

  3. Contrainte de contrôle : une IA puissante entraîne nécessairement un problème de contrôle. Une IA suffisamment puissante et orientée vers un but tend, quel que soit ce but, à acquérir des ressources et à éviter d'être arrêtée (convergence instrumentale). Inscrire les « bonnes valeurs » dans un système isolé ne suffit pas : la solution se situe au niveau de l'écosystème entier, surveillance mutuelle entre IA et conception institutionnelle comprises. (chap. 5)

  4. Contrainte épistémique : la portée de la science pilotée par l'IA n'est pas illimitée. Quatre murs subsistent : le temps propre des systèmes étudiés, que l'on ne comprime pas ; l'information inaccessible par principe ; les domaines où aucune expérience ne fixe la valeur elle-même ; les problèmes insolubles par principe. Ces murs séparent ce que l'IA accélère de ce qu'elle n'accélère pas, et laissent place à une divergence entre la science des machines et celle des hommes. (chap. 7, 8, 9)

  5. Conséquence sociale : le socle matériel des institutions modernes se dérobe. Les libertés, les droits et la démocratie modernes ne reposent pas seulement sur des idéaux moraux, mais aussi sur une condition matérielle : le caractère indispensable des hommes dans l'économie et à la guerre. L'AGI démonte cette nécessité. Les idéaux seuls ne soutenant pas les institutions, celles-ci perdent leur appui si aucun substitut n'est conçu. (chap. 10)

  6. Principe institutionnel : pluralisme constitutif et multipolarité contrôlée. Ce qu'il faut préserver ne réside pas dans les attributs de l'espèce humaine, mais dans les conditions des relations dont la valeur émerge (pluralisme constitutif) : la non-domination, de sorte qu'aucun agent ne saisisse ni n'optimise le tout ; la non-agrégation, de sorte que des évaluations issues de contextes différents ne soient pas ramenées à un score unique ; et une marge délibérément soustraite à l'optimisation. Maintenir ces conditions exige d'éviter la concentration des capacités et des décisions en un seul pôle : droits de veto institutionnels, évaluation indépendante de la sûreté, coexistence de plusieurs pôles (multipolarité contrôlée). (chap. 11, 12)

Les propositions un à cinq sont descriptives ; la sixième est normative. Le livre indique pour chaque thèse majeure sur laquelle des cinq couches de certitude elle repose : preuve, contrainte physique, expérience et observation, argument, ou prédiction.


Sommaire

  1. Introduction
  2. Qu'est-ce que l'AGI ?
  3. Pourquoi l'AGI est possible
  4. L'intelligence a-t-elle des limites ?
  5. Pourquoi l'AGI est dangereuse
  6. Où mène l'explosion d'intelligence ?
  7. Qu'est-ce que connaître ? L'AGI et la science
  8. La science pilotée par l'IA
  9. Comment l'AGI transforme le savoir
  10. Comment l'AGI transforme la société
  11. Être humain à l'âge de l'AGI : vers un pluralisme constitutif
  12. Comment se préparer à l'âge de l'AGI

Avec une préface, une postface (« Quand un scientifique revient à l'art »), des notes, un glossaire et une bibliographie. La page japonaise donne le sommaire détaillé, section par section, et la page anglaise un résumé de chaque chapitre.


Documents complémentaires

Les annexes et essais qui n'ont pas trouvé place dans le volume imprimé sont publiés sur ce site. Ils sont rédigés en japonais.


Données bibliographiques

L'édition japonaise peut être commandée sur la page de l'éditeur ou sur Amazon Japon.


L'auteur

Koichi Takahashi est chercheur en science pilotée par l'IA, en AGI et en biologie des systèmes computationnelle. Il est directeur de projet du programme Advanced General Intelligence for Science et directeur d'équipe au Center for Biosystems Dynamics Research du RIKEN, professeur invité à l'université d'Osaka et professeur de projet à l'université Keio. Il préside l'AI Alignment Network (ALIGN) et l'AI-Robot-Driven Science Initiative (AIRDS), et a cofondé Epistra Inc.

Il a réalisé en 1996, alors qu'il était étudiant, la première version d'E-Cell, premier simulateur de cellule entière, et a obtenu son doctorat à l'université Keio en 2004. Il s'agit de son premier ouvrage en nom propre ; les questions qu'il y traite l'occupent depuis douze ans.

Biographie complète : koichi-takahashi.me/en/


Droits et traduction

Droits de traduction : contact at koichi-takahashi dot me