最終更新日時:2026年5月21日 23:09(JST)

本想定問答は、本書の構成と主張を組み立てる過程で、これを強くするために著者が作成したものです。読者にとっても本書の論証構造を理解する助けになると考え、ここに公開します。

各項目は「批判/本書への影響/本書の応答/残る不確実性」の四項目で整理します。狙いは免責ではなく、本書が何を認め、何をなお主張するのかを、批判ごとに切り分けることです。

なお、ここに挙げた以外にも有効な批判がありうるとお考えの場合には、著者(contact at koichi-takahashi dot me)まで御連絡いただければ幸いです。

批判関係章影響不確実性
AGIはそもそも実現しないのではないか1, 12
AGI/ASI構築は人類絶滅をほぼ不可避にするのではないか1, 12
スケーリングは飽和するのではないか3
AIXIやソロモノフ帰納との接続は理想化されすぎではないか3低〜中
ランダウアー限界からAIの上限を語るのは飛躍ではないか4
十分に賢いAIは人類融和的になるのではないか5, 11, 12中〜大
シャットダウン回避や脅迫の実験は特殊条件ではないか5
物理的に可能ならいずれ実現する、という前提は強すぎないか6
制御された多極化やAI生態系は、多極シナリオの不安定性を避けられないのではないか6, 12
可知性マップは概念図であり、AIの科学が分岐するという主張は推測ではないか8
ハイエクの警告と本書の構成的多元主義は両立するか10, 11, 12
UBIは財源と政治的実現可能性を欠くのではないか10, 12
交渉力が権利を支えたという議論は還元主義ではないか10
構成的多元主義は抽象的すぎるのではないか11
HOLは形式的にしか機能しないのではないか11
AI福利とAI法人格の分離は不安定ではないか11
不老不死になれば傷つきやすさは克服されないか11
日本AGI基盤は国策プロジェクトの夢想ではないか12
AGI開発は本当に止められないのか12
構成的多元主義の実現可能性そのものが楽観論ではないか全体
AIを使って書いた本の著者性は揺らがないのか全体

想定される批判の一覧。関係章の若い順に並び(複数章にまたがる場合は最年少の章で位置づけ)、本書全体に関わる批判は末尾に置く。同じ章のなかでは影響度の高いものから低いものへ並ぶ。

AGIはそもそも実現しないのではないか(第1章、第12章)

AGI/ASI構築は人類絶滅をほぼ不可避にするのではないか(第1章、第12章)

スケーリングは飽和するのではないか(第3章)

AIXIやソロモノフ帰納との接続は理想化されすぎではないか(第3章)

ランダウアー限界からAIの上限を語るのは飛躍ではないか(第4章)

十分に賢いAIは人類融和的になるのではないか(第5章、第11章、第12章)

シャットダウン回避や脅迫の実験は特殊条件ではないか(第5章)

物理的に可能ならいずれ実現する、という前提は強すぎないか(第6章)

制御された多極化やAI生態系は、多極シナリオの不安定性を避けられないのではないか(第6章、第12章)

可知性マップは概念図であり、AIの科学が分岐するという主張は推測ではないか(第8章)

ハイエクの構成主義的合理主義への警告と、本書の構成的多元主義は両立するか(第10章、第11章、第12章)

UBIは財源と政治的実現可能性を欠くのではないか(第10章、第12章)

交渉力が権利を支えたという議論は還元主義ではないか(第10章)

構成的多元主義は抽象的すぎるのではないか(第11章)

HOL(Human-over-the-Loop)は形式的にしか機能しないのではないか(第11章)

AI福利とAI法人格の分離は不安定ではないか(第11章)

不老不死になれば傷つきやすさは克服されないか(第11章)

日本AGI基盤は国策プロジェクトの夢想ではないか(第12章)

AGI開発は本当に止められないのか(第12章)

構成的多元主義の実現可能性そのものが楽観論ではないか(全体)

AIを使って書いた本の著者性は揺らがないのか(全体)

1

道具的収束についてはスティーブン・オモハンドロ「The Basic AI Drives」(『Artificial General Intelligence 2008』、IOS Press、2008年)、パワーシーキングについてはアレクサンダー・ターナーほか「Optimal Policies Tend to Seek Power」(NeurIPS、2021年)、超知能リスクの古典的整理としてニック・ボストロム『Superintelligence: Paths, Dangers, Strategies』(Oxford University Press、2014年)を参照。

2

大規模言語モデルのスケーリング則についてはジャレド・カプランほか「Scaling Laws for Neural Language Models」(2020年、arXiv:2001.08361)、計算最適訓練についてはジョーダン・ホフマンほか「Training Compute-Optimal Large Language Models」(2022年、arXiv:2203.15556)を参照。創発能力をめぐる評価上の留保についてはジェイソン・ウェイほか「Emergent Abilities of Large Language Models」(Transactions on Machine Learning Research、2022年)およびライラン・シェーファーほか「Are Emergent Abilities of Large Language Models a Mirage?」(NeurIPS、2023年)を参照。

3

ソロモノフ帰納についてはレイ・ソロモノフ「A Formal Theory of Inductive Inference」(Information and Control、1964年)、AIXIについてはマーカス・ハッター『Universal Artificial Intelligence』(Springer、2005年)、機械知能の定義としてシェーン・レッグ、マーカス・ハッター「Universal Intelligence」(Minds and Machines、2007年)、計算可能性上の限界としてヤン・ライケ、マーカス・ハッター「On the Computability of Solomonoff Induction and AIXI」(Theoretical Computer Science、2018年)を参照。

4

情報消去の熱力学的下限についてはロルフ・ランダウアー「Irreversibility and Heat Generation in the Computing Process」(IBM Journal of Research and Development、1961年)、有限領域におけるエントロピー上限についてはジェイコブ・ベケンシュタイン「Universal Upper Bound on the Entropy-to-Energy Ratio for Bounded Systems」(Physical Review D、1981年)を参照。

5

シャットダウン抵抗についてはジェレミー・シュラッターほか「Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs」(2025年、arXiv:2509.14260)および Anthropic『Claude Opus 4 and Sonnet 4 System Card』(2025年)を参照。文脈内の戦略的振る舞いについてはアレクサンダー・マインケほか「Frontier Models are Capable of In-context Scheming」(2024年、arXiv:2412.04984)も参照。

6

代表的には、山川宏「超知能が普遍的な利他性を持つ可能性」『人工知能学会第二種研究会資料』2023巻AGI-026号、2024年、26-31頁、https://doi.org/10.11517/jsaisigtwo.2023.AGI-026_26、および山川宏・林祐輔「超知能倫理を誘導するための戦略的アプローチ」『人工知能学会全国大会論文集』第38回、2024年、https://doi.org/10.11517/pjsai.JSAI2024.0_2K6OS20b02 を参照。

7

シャットダウン抵抗についてはジェレミー・シュラッターほか「Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs」(2025年、arXiv:2509.14260)および Anthropic『Claude Opus 4 and Sonnet 4 System Card』(2025年)を参照。文脈内の戦略的振る舞いについてはアレクサンダー・マインケほか「Frontier Models are Capable of In-context Scheming」(2024年、arXiv:2412.04984)も参照。

8

ボストロムは『Superintelligence』(2014年)で単一システムと多極シナリオを区別して論じている。高度AIのマルチエージェント・リスクについてはルイス・ハモンドほか『Multi-Agent Risks from Advanced AI』(Cooperative AI Foundation Technical Report 1、2025年)を参照。共有資源の制度設計についてはエリノア・オストロム『Governing the Commons』(Cambridge University Press、1990年)が背景文献となる。

9

分散知識と中央計画への批判についてはフリードリヒ・ハイエク「The Use of Knowledge in Society」(American Economic Review、1945年)および『The Constitution of Liberty』(University of Chicago Press、1960年)を参照。

10

AGIまたは純粋機械化経済とベーシックインカムの接続については、井上智洋『AI時代の新・ベーシックインカム論』(光文社新書、2018年)および『純粋機械化経済』(日本経済新聞出版、2019年)を参照。

11

非支配の共和主義的定式化についてはフィリップ・ペティット『Republicanism』(Oxford University Press、1997年)、正義論とリバタリアニズムの対比についてはジョン・ロールズ『A Theory of Justice』(Harvard University Press、1971年)およびロバート・ノージック『Anarchy, State, and Utopia』(Basic Books、1974年)を参照。共同体論的批判としてはアラスデア・マッキンタイア『After Virtue』(University of Notre Dame Press、1981年)などが背景となる。

12

人間の選好や規範を訓練に組み込む代表例として、ポール・クリスティアーノほか「Deep Reinforcement Learning from Human Preferences」(NeurIPS、2017年)、ロン・オウヤンほか「Training Language Models to Follow Instructions with Human Feedback」(NeurIPS、2022年)、ユンタオ・バイほか「Constitutional AI」(2022年、arXiv:2212.08073)を参照。ただし、これらは本書のいうHOLそのものではなく、技術的補助線である。

13

AIの法人格・法的人格をめぐる古典的論点としてローレンス・ソラム「Legal Personhood for Artificial Intelligences」(North Carolina Law Review、1992年)、ジョアンナ・ブライソンほか「Of, for, and by the People」(Artificial Intelligence and Law、2017年)、デイヴィッド・ガンケル『Robot Rights』(MIT Press、2018年)、ヴィサ・クルキ『A Theory of Legal Personhood』(Oxford University Press、2019年)、クラウディオ・ノヴェッリほか「AI as Legal Persons」(Journal of Law and Society、2025年)を参照。

14

死の剥奪説についてはトマス・ネーゲル「Death」(Noûs、1970年)を参照。

15

既存のAI安全性・リスク管理制度として、経済産業省「Launch of AI Safety Institute」(2024年)、NIST『Artificial Intelligence Risk Management Framework (AI RMF 1.0)』(2023年)および『Generative Artificial Intelligence Profile』(2024年)、G7広島AIプロセス「International Code of Conduct」(2023年)、Bletchley Declaration(2023年)、Seoul Summit の Frontier AI Safety Commitments(2024年)、日本のAI関連技術研究開発推進法(2025年)を参照。

16

停止・モラトリアムの代表的提起として Future of Life Institute「Pause Giant AI Experiments」(2023年)を参照。AIリスクを国際的公共課題として位置づけた短い声明として Center for AI Safety「Statement on AI Risk」(2023年)もある。これらは停止政策の根拠そのものではなく、停止が制度設計上の現実的選択肢として論じられるようになった背景文献である。