最終更新日時:2026年7月24日 21:57(JST)

本想定問答は、本書の構成と主張を組み立てる過程で、これを強くするために著者が作成したものです。読者にとっても本書の論証構造を理解する助けになると考え、ここに公開します。

各項目は「批判/本書への影響/本書の応答/残る不確実性」の四項目で整理します。狙いは免責ではなく、本書が何を認め、何をなお主張するのかを、批判ごとに切り分けることです。項目は主題別の五つの群に分けて配列しています。

なお、ここに挙げた以外にも有効な批判がありうるとお考えの場合には、著者(contact at koichi-takahashi dot me)まで御連絡いただければ幸いです。

批判関係章影響不確実性
【到達可能性】
AGIはそもそも実現しないのではないか1, 12
スケーリングは飽和するのではないか3
AIXIやソロモノフ帰納との接続は理想化されすぎではないか3低〜中
物理的に可能ならいずれ実現する、という前提は強すぎないか6
【破局リスクと制御】
AGI/ASI構築は人類絶滅をほぼ不可避にするのではないか1, 12
破滅は「一度きりの臨界試行」で確定するのではないか1, 5, 6
超知能は思考の速度で実験の時間を置き換えられるのではないか6, 8
十分に賢いAIは人類融和的になるのではないか5, 11, 12中〜大
シャットダウン回避や脅迫の実験は特殊条件ではないか5
AIによる相互監視は、監視者の結託や検出回避で無効化されるのではないか5, 6, 12中〜大
相互監視の網は、網の外で作られるAIを止められないのではないか5, 6, 12
制御された多極化やAI生態系は、多極シナリオの不安定性を避けられないのではないか6, 12
分散シナリオでも、単一の離反ノードが破局を起こせるのではないか6, 12
AGI開発は本当に止められないのか12
【知能の限界と可知性】
ランダウアー限界からAIの上限を語るのは飛躍ではないか4
可知性マップは概念図であり、AIの科学が分岐するという主張は推測ではないか8
【制度・政治・人間】
AISOPの五原則は恣意的な列挙ではないか9
ハイエクの警告と本書の構成的多元主義は両立するか10, 11, 12
UBIは財源と政治的実現可能性を欠くのではないか10, 12
交渉力が権利を支えたという議論は還元主義ではないか10
構成的多元主義は抽象的すぎるのではないか11
関係的価値と傷つきやすさという基礎は恣意的ではないか11
構成的多元主義の三本柱は恣意的な三つ組ではないか11
HOLは形式的にしか機能しないのではないか11
AI福利とAI法人格の分離は不安定ではないか11
不老不死になれば傷つきやすさは克服されないか11
日本AGI基盤は国策プロジェクトの夢想ではないか12
【本書全体と方法】
構成的多元主義の実現可能性そのものが楽観論ではないか全体
AIを使って書いた本の著者性は揺らがないのか全体

想定される批判の一覧。主題別の五つの群に分け、群内は議論のつながりに沿って並べる。本書全体に関わる批判は末尾の群に置く。

到達可能性

AGIはそもそも実現しないのではないか(第1章、第12章)

スケーリングは飽和するのではないか(第3章)

AIXIやソロモノフ帰納との接続は理想化されすぎではないか(第3章)

物理的に可能ならいずれ実現する、という前提は強すぎないか(第6章)

破局リスクと制御

AGI/ASI構築は人類絶滅をほぼ不可避にするのではないか(第1章、第12章)

破滅は「一度きりの臨界試行」で確定するのではないか(第1章、第5章、第6章)

超知能は思考の速度で実験の時間を置き換えられるのではないか(第6章、第8章)

十分に賢いAIは人類融和的になるのではないか(第5章、第11章、第12章)

シャットダウン回避や脅迫の実験は特殊条件ではないか(第5章)

AIによる相互監視は、監視者の結託や検出回避で無効化されるのではないか(第5章、第6章、第12章)

相互監視の網は、網の外で作られるAIを止められないのではないか(第5章、第6章、第12章)

制御された多極化やAI生態系は、多極シナリオの不安定性を避けられないのではないか(第6章、第12章)

分散シナリオでも、単一の離反ノードが破局を起こせるのではないか(第6章、第12章)

AGI開発は本当に止められないのか(第12章)

知能の限界と可知性

ランダウアー限界からAIの上限を語るのは飛躍ではないか(第4章)

可知性マップは概念図であり、AIの科学が分岐するという主張は推測ではないか(第8章)

制度・政治・人間

AISOPの五原則は恣意的な列挙ではないか(第9章)

ハイエクの構成主義的合理主義への警告と、本書の構成的多元主義は両立するか(第10章、第11章、第12章)

UBIは財源と政治的実現可能性を欠くのではないか(第10章、第12章)

交渉力が権利を支えたという議論は還元主義ではないか(第10章)

構成的多元主義は抽象的すぎるのではないか(第11章)

関係的価値と傷つきやすさという基礎は恣意的ではないか(第11章)

構成的多元主義の三本柱は恣意的な三つ組ではないか(第11章)

HOL(Human-over-the-Loop)は形式的にしか機能しないのではないか(第11章)

AI福利とAI法人格の分離は不安定ではないか(第11章)

不老不死になれば傷つきやすさは克服されないか(第11章)

日本AGI基盤は国策プロジェクトの夢想ではないか(第12章)

本書全体と方法

構成的多元主義の実現可能性そのものが楽観論ではないか(全体)

AIを使って書いた本の著者性は揺らがないのか(全体)

1

大規模言語モデルのスケーリング則についてはジャレド・カプランほか「Scaling Laws for Neural Language Models」(2020年、arXiv:2001.08361)、計算最適訓練についてはジョーダン・ホフマンほか「Training Compute-Optimal Large Language Models」(2022年、arXiv:2203.15556)を参照。創発能力をめぐる評価上の留保についてはジェイソン・ウェイほか「Emergent Abilities of Large Language Models」(Transactions on Machine Learning Research、2022年)およびライラン・シェーファーほか「Are Emergent Abilities of Large Language Models a Mirage?」(NeurIPS、2023年)を参照。

2

ソロモノフ帰納についてはレイ・ソロモノフ「A Formal Theory of Inductive Inference」(Information and Control、1964年)、AIXIについてはマーカス・ハッター『Universal Artificial Intelligence』(Springer、2005年)、機械知能の定義としてシェーン・レッグ、マーカス・ハッター「Universal Intelligence」(Minds and Machines、2007年)、計算可能性上の限界としてヤン・ライケ、マーカス・ハッター「On the Computability of Solomonoff Induction and AIXI」(Theoretical Computer Science、2018年)を参照。

3

エリエザー・ユドコウスキー、ネイト・ソアレス『超知能AIをつくれば人類は絶滅する』櫻井祐子訳、早川書房、2026年(原著 If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All, Little, Brown and Company, 2025年)。

4

道具的収束についてはスティーブン・オモハンドロ「The Basic AI Drives」(『Artificial General Intelligence 2008』、IOS Press、2008年)、パワーシーキングについてはアレクサンダー・ターナーほか「Optimal Policies Tend to Seek Power」(NeurIPS、2021年)、超知能リスクの古典的整理としてニック・ボストロム『Superintelligence: Paths, Dangers, Strategies』(Oxford University Press、2014年)を参照。

5

エリエザー・ユドコウスキー「AGI Ruin: A List of Lethalities」(Machine Intelligence Research Institute / LessWrong、2022年6月10日、https://intelligence.org/2022/06/10/agi-ruin/)を参照。

6

CAP定理についてはセス・ギルバート、ナンシー・リンチ「Brewer's Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services」(ACM SIGACT News、2002年)、FLP不可能性定理についてはマイケル・フィッシャー、ナンシー・リンチ、マイケル・パターソン「Impossibility of Distributed Consensus with One Faulty Process」(Journal of the ACM、1985年)を参照。

7

タンパク質構造予測についてはジョン・ジャンパーほか「Highly Accurate Protein Structure Prediction with AlphaFold」(Nature、2021年)、自律実験室による無機材料合成の加速についてはネイサン・シマンスキーほか「An Autonomous Laboratory for the Accelerated Synthesis of Inorganic Materials」(Nature、2023年)を参照。

8

シャットダウン抵抗についてはジェレミー・シュラッターほか「Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs」(2025年、arXiv:2509.14260)および Anthropic『Claude Opus 4 and Sonnet 4 System Card』(2025年)を参照。文脈内の戦略的振る舞いについてはアレクサンダー・マインケほか「Frontier Models are Capable of In-context Scheming」(2024年、arXiv:2412.04984)も参照。

9

代表的には、山川宏「超知能が普遍的な利他性を持つ可能性」『人工知能学会第二種研究会資料』2023巻AGI-026号、2024年、26-31頁、https://doi.org/10.11517/jsaisigtwo.2023.AGI-026_26、および山川宏・林祐輔「超知能倫理を誘導するための戦略的アプローチ」『人工知能学会全国大会論文集』第38回、2024年、https://doi.org/10.11517/pjsai.JSAI2024.0_2K6OS20b02 を参照。

10

シャットダウン抵抗についてはジェレミー・シュラッターほか「Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs」(2025年、arXiv:2509.14260)および Anthropic『Claude Opus 4 and Sonnet 4 System Card』(2025年)を参照。文脈内の戦略的振る舞いについてはアレクサンダー・マインケほか「Frontier Models are Capable of In-context Scheming」(2024年、arXiv:2412.04984)も参照。

11

ヴィンセント・コニツァー、キャスパー・エスターヘルド「Foundations of Cooperative AI」(Proceedings of the AAAI Conference on Artificial Intelligence、2023年)を参照。

12

CAP定理についてはセス・ギルバート、ナンシー・リンチ「Brewer's Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services」(ACM SIGACT News、2002年)、FLP不可能性定理についてはマイケル・フィッシャー、ナンシー・リンチ、マイケル・パターソン「Impossibility of Distributed Consensus with One Faulty Process」(Journal of the ACM、1985年)を参照。

13

ボストロムは『Superintelligence』(2014年)で単一システムと多極シナリオを区別して論じている。高度AIのマルチエージェント・リスクについてはルイス・ハモンドほか『Multi-Agent Risks from Advanced AI』(Cooperative AI Foundation Technical Report 1、2025年)を参照。共有資源の制度設計についてはエリノア・オストロム『Governing the Commons』(Cambridge University Press、1990年)が背景文献となる。

14

CAP定理についてはセス・ギルバート、ナンシー・リンチ「Brewer's Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services」(ACM SIGACT News、2002年)、FLP不可能性定理についてはマイケル・フィッシャー、ナンシー・リンチ、マイケル・パターソン「Impossibility of Distributed Consensus with One Faulty Process」(Journal of the ACM、1985年)を参照。

15

停止・モラトリアムの代表的提起として Future of Life Institute「Pause Giant AI Experiments」(2023年)を参照。AIリスクを国際的公共課題として位置づけた短い声明として Center for AI Safety「Statement on AI Risk」(2023年)もある。これらは停止政策の根拠そのものではなく、停止が制度設計上の現実的選択肢として論じられるようになった背景文献である。

16

情報消去の熱力学的下限についてはロルフ・ランダウアー「Irreversibility and Heat Generation in the Computing Process」(IBM Journal of Research and Development、1961年)、有限領域におけるエントロピー上限についてはジェイコブ・ベッケンシュタイン「Universal Upper Bound on the Entropy-to-Energy Ratio for Bounded Systems」(Physical Review D、1981年)を参照。

17

分散知識と中央計画への批判についてはフリードリヒ・ハイエク「The Use of Knowledge in Society」(American Economic Review、1945年)および『The Constitution of Liberty』(University of Chicago Press、1960年)を参照。

18

AGIまたは純粋機械化経済とベーシックインカムの接続については、井上智洋『AI時代の新・ベーシックインカム論』(光文社新書、2018年)および『純粋機械化経済』(日本経済新聞出版、2019年)を参照。

19

非支配の共和主義的定式化についてはフィリップ・ペティット『Republicanism』(Oxford University Press、1997年)、正義論とリバタリアニズムの対比についてはジョン・ロールズ『A Theory of Justice』(Harvard University Press、1971年)およびロバート・ノージック『Anarchy, State, and Utopia』(Basic Books、1974年)を参照。共同体論的批判としてはアラスデア・マッキンタイア『After Virtue』(University of Notre Dame Press、1981年)などが背景となる。

20

人間の選好や規範を訓練に組み込む代表例として、ポール・クリスティアーノほか「Deep Reinforcement Learning from Human Preferences」(NeurIPS、2017年)、ロン・オウヤンほか「Training Language Models to Follow Instructions with Human Feedback」(NeurIPS、2022年)、ユンタオ・バイほか「Constitutional AI」(2022年、arXiv:2212.08073)を参照。ただし、これらは本書のいうHOLそのものではなく、技術的補助線である。

21

AIの法人格・法的人格をめぐる古典的論点としてローレンス・ソラム「Legal Personhood for Artificial Intelligences」(North Carolina Law Review、1992年)、ジョアンナ・ブライソンほか「Of, for, and by the People」(Artificial Intelligence and Law、2017年)、デイヴィッド・ガンケル『Robot Rights』(MIT Press、2018年)、ヴィサ・クルキ『A Theory of Legal Personhood』(Oxford University Press、2019年)、クラウディオ・ノヴェッリほか「AI as Legal Persons」(Journal of Law and Society、2025年)を参照。

22

死の剥奪説についてはトマス・ネーゲル「Death」(Noûs、1970年)を参照。

23

既存のAI安全性・リスク管理制度として、経済産業省「Launch of AI Safety Institute」(2024年)、NIST『Artificial Intelligence Risk Management Framework (AI RMF 1.0)』(2023年)および『Generative Artificial Intelligence Profile』(2024年)、G7広島AIプロセス「International Code of Conduct」(2023年)、Bletchley Declaration(2023年)、Seoul Summit の Frontier AI Safety Commitments(2024年)、日本のAI関連技術研究開発推進法(2025年)を参照。