Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

まえがき

本ガイドが存在する理由

2026年においてインテリジェントなAIシステムを構築するには、途方もなく幅広い知識を習得する必要があります。これには、Transformerが内部でどのように言語を処理するのかという仕組みから、学習を可能にするハードウェアやシステム、効率化をもたらす最適化技術、モデルに推論を教えて人間の意図にアラインさせる強化学習アルゴリズム、さらには自律型システムを大規模に調整するマルチエージェントアーキテクチャに至るまでが含まれます。

これらの知識は、何百もの論文、ブログ記事、GitHubリポジトリ、そして一握りの研究所内の「暗黙知」として散逸しています。本ガイドが存在するのは、 実践者がスタック全体をカバーする単一の統合されたリファレンスを必要としている からです。そこには理論だけでなく、実際にシステムを動かすための実装の詳細も含まれています。

エージェントAIへの個人的な旅路

私がインテリジェントエージェントに魅了され始めたのは20年前、まだ情報システム工学の学士課程で学んでいた頃でした。私はエージェント指向ソフトウェア工学（AOSE）の講義を受け（Wooldridge et al. 2000）、JADE（Bellifemine et al. 2007）（Java Agent DEvelopment Framework）を使ってマルチエージェントシステムを構築する方法を学びました。これはFIPA準拠の（Intelligent Physical Agents 2002）プラットフォームであり、エージェントは構造化されたプロトコルを介して通信し、共有リソースを巡って交渉し、自律的に連携していました。ほぼ同時期に、Berners-Lee、Hendler、Lassilaによる記念碑的な論文「The Semantic Web」（Berners-Lee et al. 2001）は、エージェントが推論できる機械可読な知識のビジョンを描き出しました。これら2つの系譜――自律型エージェントアーキテクチャとセマンティック知識表現――は、それ以来私のキャリアを導く種となりました。このビジョンを具体化した初期のプロジェクトの1つが、将来の恩師となるアビグドール・ガル（Avigdor Gal）教授の指導の下、OntoBuilder（Gal et al. 2005）を用いて開発した「ショッピングエージェント」の構築でした。これは、オントロジーのマッチングとマッピングを通じて、さまざまな異種Webサイトにまたがるスキーマを理解し、製品の検索クエリや注文を自動的に入力できるシステムでした。セマンティックWebは、こうしたエージェントが構造化された機械可読データの世界で繁栄することを約束していました。しかし実際には、手作りのオントロジーの脆弱性、現実世界の製品データの雑多さ、そして堅牢な自然言語理解の欠如により、このビジョンは永久に「5年先」のものにとどまっていました。

その後の数年間、私は到来するAIの進歩の波を一つひとつ追いかけました。組合せ最適化のためのニューラルネットワークとヒューリスティック探索、ディープラーニングと表現学習、大規模な情報検索とパーソナライズ、そして最近では、大規模言語モデルの革命です。それぞれの波は強力な新しいツールをもたらしましたが、夢は同じままでした。それは、複雑な環境において自律的に「理解」し、「推論」し、「行動」するシステムです。

2024年から2026年にかけてが極めて特筆すべき時代である理由は、これらの系譜がようやく融合した点にあります。LLMが言語の理解と生成を提供し、強化学習がモデルに推論と人間の意図へのアライメントを教え、ツール利用プロトコル（MCP）が世界で行動するための「手」を与え、エージェントオーケストレーションフレームワークが20年前にJADEが構想した協調レイヤーを提供します。しかも、それは手書きのオントロジーではなく、基盤モデルによって駆動されているのです。本ガイドは、多くの意味で、その旅路の各ステップで私自身が欲しかったリファレンスそのものです。

2026年におけるAIの状況

今日のエージェントAIシステムに至る道のりは、アーキテクチャ、学習、デプロイにわたる30年間の画期的な進歩の積み重ねに基づいています。

  1. アーキテクチャの基礎 (2017–2020): Transformer（Vaswani et al. 2017）は、汎用的なシーケンス処理のプリミティブとして自己注意機構を導入しました。スケーリング則により、より多くのデータで学習されたより大きなモデルが確実に向上することが明らかになりました。GPT-2とGPT-3は、デコーダーのみのTransformerを十分にスケールさせることで、有能なfew-shot学習器になることを実証しました。

  2. システムと効率化 (2020–2023): Flash Attention（Dao et al. 2022）は、メモリのボトルネックを解消することで、学習を2〜4\(\times\)高速化しました。LoRA（Hu et al. 2022a）は、単一ノードで70B以上のモデルのファインチューニングを可能にしました。Mixture-of-Experts（MoE）は、モデルの容量と計算コストを切り離しました。vLLMなどの推論エンジンは、リアルタイムアプリケーションで実用可能なスループットを実現しました。

  3. 強化学習によるアライメント (2022–2024): RLHF（Ouyang et al. 2022）は、有能だが役に立たないベースモデルを、有用なアシスタントへと変貌させました。これがChatGPTの背景にあるレシピです。DPO（Rafailov et al. 2023）は、報酬モデルと強化学習ループを単一の教師あり損失に縮小し、アライメントの民主化をもたらしました。その後、多様なバリアントが登場しました：KTO（Ethayarajh et al. 2024）、IPO（Azar et al. 2024）、ORPO（J. Hong et al. 2024）、GRPO（Shao et al. 2024）。

  4. 推論と自律性 (2024–2026): DeepSeek-R1（DeepSeek-AI et al. 2025）やOpenAIのo1/o3は、強化学習が「推論そのもの」をモデルに教えられることを実証しました。モデルは自発的に思考の連鎖、バックトラッキング、自己検証を発見します。これと並行して、Model Context Protocol（MCP）がツールのアクセスを標準化し、Agent-to-Agent（A2A）がエージェント間の通信を可能にし、本番環境レベルのオーケストレーションフレームワークが成熟しました。

本ガイドの対象読者

本書は 実際にモノを作る実践者 に向けて書かれています：

  • 機械学習（ML）エンジニア — Transformerの内部構造、学習インフラ、最適化手法、および学習が発散する理由を理解したい人。
  • 特定のドメインに向けて、アーキテクチャ、ファインチューニング戦略、強化学習手法を評価している 応用研究者 。
  • オーケストレーションパターン、メモリ構造、ツール統合（MCP）、およびマルチエージェント調整（A2A）を必要とする、プロダクションシステムを構築する エージェントデベロッパー 。
  • 学習インフラ、GPUクラスター、分散学習、および推論デプロイを担当する システムエンジニア 。
  • スタック全体にわたるアーキテクチャやリソースの決定を下す 技術リーダー 。

ニューラルネットワークと基本的な確率に関する知識があることを前提としています。 LLM、強化学習、あるいはシステムに関する事前の知識は必要ありません 。本ガイドは第一原理から順を追って構築されています。

本ガイドから得られること

本ガイドを読み終えると、以下のことができるようになります：

  • LLMの内部構造の理解: 注意機構、位置エンコーディング、MoEルーティング、Flash Attention、およびアーキテクチャの選択が下流の能力にどのように影響するのか。
  • システムについての考察: GPUメモリ容量の計算、分散学習戦略（FSDP、テンソル/パイプライン並列化）、推論の最適化、およびvLLMによるプロダクションデプロイ。
  • 効率的な学習とファインチューニング: LoRA/QLoRA、量子化、知識蒸留（knowledge distillation）、最適化アルゴリズムの選択、および学習率のスケジューリング。
  • 人間の好みへのモデルのアライメント: RLHF/DPO/GRPO/KTOパイプラインの実装、報酬ハッキング（reward hacking）やモード崩壊（mode collapse）のデバッグ、20以上の手法からの適切なアルゴリズムの選択。
  • 推論モデルの構築: DeepSeek-R1、o1/o3、QwQが明示的なデモンストレーションなしに、強化学習を通じてどのように思考の連鎖（Chain-of-Thought）を発見するかの理解。
  • エージェントシステムの設計: オーケストレーションパターンの選択、メモリの設計、MCPを介したツールの統合、A2Aによるエージェント間の調整、本番ベンチマークによる評価。
  • 厳密な評価: モデルの品質とエージェントの能力の両方に対して、適切なメトリクス、ベンチマーク、およびLLM-as-Judgeパターンの適用。

本ガイドの構成

本ガイドは、6つの部に分かれた29の章で構成されています：

  1. 第I部 — 基礎 (第1章〜第3章): LLMアーキテクチャと最適化（Transformer、注意、位置エンコーディング、Flash Attention、LoRA、MoE）、システムの基礎（GPU階層、分散トレーニング、vLLM）、および古典的な強化学習理論（MDP、方策勾配、アクター・クリティック）。
  2. 第II部 — LLMのための強化学習手法 (第4章〜第12章): LLM向け強化学習の完全なツールキット。言語モデル向け強化学習の基礎から、PPO、DPO、GRPO、および選好最適化（preference optimization）のバリアント（Online DPO、KTO、IPO、ORPO、SimPO）の数学的解釈、報酬モデルの学習、SFTのベストプラクティス、大規模システムアーキテクチャ、軌跡レベルの強化学習を用いたエージェントの学習まで。
  3. 第III部 — 推論 (第13章): 大規模推論モデル（DeepSeek-R1、OpenAI o1/o3/o4-mini、QwQ）における、強化学習による思考の連鎖の自己発見、MCTS、プロセス報酬モデル（PRM）、およびテスト時計算量（test-time compute）のスケーリング。
  4. 第IV部 — 評価 (第14章): 包括的なLLM評価手法（パープレキシティ、pass@k、ELOなどのメトリクス）、LLM-as-Judgeパターン、データ汚染検出、ベンチマークスイート、およびエージェント能力の評価手法。
  5. 第V部 — エージェントAI (第15章〜第26章): 完全なエージェントスタック（エージェントAIの概要、RAGと情報検索、メモリシステム、オーケストレーションと文脈管理、デザインパターン、エージェント環境とベンチマーク、Model Context Protocol（MCP）、エージェントスキル、Agent-to-Agent通信（A2A）、マルチエージェントシステム、開発フレームワーク、およびエージェントUI）。
  6. 第VI部 — 評価とリファレンス (第27章〜第29章): すべてのトピックにわたる詳細な解説付きの108問の確認問題、主要な数式・APIリファレンス・失敗モードの診断をまとめたクイックリファレンス、および結論と今後の方向性。

本ガイドには、すべてのトピックを網羅する包括的な回答付きの100以上の詳細な確認問題が含まれており、さらに主要な数式、API参照、および失敗モードの診断を統合したクイックリファレンスの章が用意されています。

設計思想

本書を導く3つの原則は、以下のとおりです：

  1. 直感が先、数式は後: すべての数式の前に、それが何を意味し、なぜ重要であるかを平易な言葉で説明しています。
  2. 実装を意識する: 動かし方を知らなければ理論は役に立ちません。本書のいたるところに、コード、ハイパーパラメータの表、メモリ使用量の見積もり、アーキテクチャ図、およびデバッグ戦略を掲載しています。
  3. 何が機能するかに誠実であること: どの手法が本番環境で実証済みであり、どれがまだ研究段階の模索であるかを明確に述べています。

対象範囲と意図的な除外事項

本ガイドは、 テキスト入力・テキスト出力の言語モデル と、その周囲に構築される強化学習、システム、およびエージェントインフラストラクチャに焦点を当てています。以下の重要な領域は意図的に除外されています：

  • マルチモーダルモデル (画像と言語、音声、動画): マルチモーダルアーキテクチャは、それぞれに特有の学習パイプライン（対照学習を用いた事前学習、モダリティ間のアライメント、モダリティ固有のエンコーダー）、データのキュレーションの課題、および評価プロトコルを必要とし、それぞれ単冊の書籍に値するテーマです。これらを含めると、本書の核である強化学習とエージェントの核心部分を深めることなく、本の範囲が2倍になってしまいます。
  • ドメイン固有の展開 (医療、法務、金融、科学的発見): ドメイン適応には、規制の制約、特殊な評価、データアクセスの問題が伴い、これらは本書で提示する一般的な手法とは独立しています。本書で説明するアルゴリズムとアーキテクチャは、実践者がこれらのドメインに適応させるための構成要素ですが、適応の詳細は専用のリファレンスに委ねるのが適切です。
  • パーソナライズと推薦システム: パーソナライズは、ユーザーモデリング、協調フィルタリング、およびインタラクション履歴のアーキテクチャに依存しており、これらは並行する別の研究分野を形成しています。推薦システム内でLLMが使用されるケースは増えていますが、その核となる技術（シーケンシャルモデル、バンディットに基づく探索、コールドスタート処理）は十分に異なっており、別途扱うべき領域です。

この境界線を維持することで、モダリティや業界別領域にわたって記述を断片化させることなく、「アーキテクチャの基礎とシステムインフラから、アラインメントと推論能力を備えたモデルを生み出す学習アルゴリズム、および自律型エージェントのオーケストレーションとデプロイに至るまで」という、単一の一貫したストーリーを維持しています。

— ハガイ・ロイトマン, 2026年