はじめに

全体像

本ガイドは、 第一原理からプロダクションシステムまで を案内します。本書は、実践者――研究者、エンジニア、および応用科学者――に向けて書かれており、Transformerアーキテクチャやそれを実行するハードウェアから、モデルを人間の意図にアラインさせ、推論を教える学習アルゴリズム、さらには自律システムとしてデプロイするためのエージェントアーキテクチャに至るまで、現代のAIのフルスタックを理解し、構築したい方を対象としています。

コアとなる主張はシンプルです。優れたAIシステムを構築するには、単一のレイヤーだけでなく、パイプライン全体を理解する必要があるということです。学習の実行をデバッグするエンジニアは、GPUのメモリ階層とオプティマイザのダイナミクスを理解する必要があります。ファインチューニングの実践者は、どのような場合にLoRAで十分であり、どのような場合に全パラメータ学習がコストに見合う価値があるかを知る必要があります。エージェントデベロッパーは、基盤となるモデルがどのように学習されたかを理解する必要があります。フレームワークを評価する技術リーダーは、それぞれがどのようなトレードオフを抱えているかを理解する必要があります。本ガイドは、その全体像を提供します。

エージェントAIへの道：簡単な歴史

今日のエージェントAIシステムは、何もないところから突如として現れたわけではありません。何十年にもわたる画期的なシステムの上に成り立っています。それらはそれぞれ狭い範囲の課題を解決してきましたが、共同で自律型エージェントを実現するための技術、ハードウェア、および大いなる野心を築き上げてきました。

1. Deep Blue (1997) (Campbell et al. 2002) — IBMのチェスエンジンは、手作りの評価関数を用いた総当たり探索（毎秒2億局面）により、世界チャンピオンのガルリ・カスパロフを破りました。これは、明確に定義された対戦ドメインにおいて機械が人間のパフォーマンスを上回り得ることを証明しましたが、他のドメインには一切汎用化できませんでした。

2. IBM Watson — Jeopardy! (2011) (Ferrucci et al. 2010) — Watsonは、情報検索、自然言語処理（NLP）、および大規模並列処理を組み合わせることで、オープンドメインのクイズ番組（Jeopardy!）で人間のチャンピオンたちを破りました。AIが大規模な非構造化テキストを処理できることを証明しましたが、ドメイン固有の開発に何年も要し、人間の多大な努力なしには新しいドメインを学習できませんでした。

3. AlexNetとディープラーニング革命 (2012) (Krizhevsky et al. 2012) — KrizhevskyらによるCNNは、圧倒的な差でImageNetコンテストを制し、GPUで学習された深層ニューラルネットワークが生データから表現を直接学習できることを証明しました。この1つの成果が現代のディープラーニング時代の到来を告げ、最終的にLLMを可能にするハードウェアへの投資を呼び込みました。

4. AlphaGo (2016) (Silver et al. 2016) — DeepMindのシステムは、深層強化学習（方策ネットワーク＋価値ネットワーク＋モンテカルロ木探索）を用いて囲碁の世界チャンピオンであるイ・セドルを破りました。Deep Blueの総当たり探索とは異なり、AlphaGoは囲碁の打ち方を「学習」しました。これは、探索だけでは扱えない領域（\(10^{170}\)通りの局面）を、強化学習で制覇できることを示しました。その後のAlphaGo Zero（2017）（Silver et al. 2017）は、人間の対局データに全く頼らず、完全な自己対戦のみから学習を行いました。

5. GPT-2/GPT-3 (2019–2020) (Brown et al. 2020) — OpenAIは、デコーダーのみのTransformerを数十億パラメータにスケールさせることで、創発的なfew-shot学習能力が生まれることを示しました。GPT-3（1750億パラメータ）は、文脈内のいくつかの例を与えるだけで、翻訳、算術、コード生成など、明示的に学習されたことのないタスクを実行できました。ここに基盤モデル（Foundation Models）の時代が幕を開けました。

6. AlphaFold (2020) (Jumper et al. 2021) — DeepMindは、50年にわたる課題であったタンパク質折り畳み問題を解決し、3Dタンパク質構造を原子レベルの精度で予測しました。AlphaFoldは、以前は数十年先と考えられていた根本的な科学的課題をディープラーニングが攻略できることを証明しました。また、画期的なアーキテクチャ（残基ペアに対する注意）と大規模計算の融合の威力も示しました。

7. ChatGPTとRLHF (2022) (Ouyang et al. 2022) — InstructGPTおよびChatGPTは、有能なベースモデルをRLHF（人間のフィードバックによる強化学習）でアラインさせることで、真に有用なアシスタントになり得ることを証明しました。これが変曲点となりました。AIは研究ツールから、数億人に利用されるコンシューマー向け製品へと進化しました。このアライメント手法（報酬モデル、PPO）は、その後のすべてのLLM事後学習の標準テンプレートとなりました。

8. GPT-4とマルチモーダルモデル (2023) (OpenAI 2023) — マルチモーダル能力（画像＋言語）、より長いコンテキストウィンドウ、および推論能力の向上により、LLMは汎用的な認知機能に近づきました。ツール利用（コードインタープリター、Webブラウジング）は、エージェントとしての能力を示唆し始めました。

9. 推論モデル (2024) (DeepSeek-AI et al. 2025) — OpenAIのo1およびDeepSeek-R1は、強化学習によってモデルに「推論」を教えられることを示しました。思考の連鎖、バックトラッキング、自己検証が報酬シグナルのみから自発的に創発しました。モデルは、競技レベルの数学や複雑なプログラミングタスクを解決し始めました。

10. エージェントAI (2025年〜現在) — 融合点：標準化されたツールアクセス（MCP）、エージェント間通信（A2A）、長期記憶、および洗練されたオーケストレーションフレームワークを備えた、推論能力を持つLLM。現在、エージェントは自律的にコードを書き、調査を行い、ワークフローを管理し、他のエージェントと連携します。これこそが本ガイドのメインテーマです。

Tip

各マイルストーンには共通する流れがあります： アーキテクチャの革新 \(+\) スケール \(+\) 学習シグナル \(=\) 突破口（ブレイクスルー） 。Deep Blueは手作りの探索を利用しました。AlphaGoは自己対戦から学びました。GPT-3はインターネットのテキストから学びました。今日のエージェントシステムは、人間のフィードバック、検証可能な報酬、および環境とのインタラクションから学習します。学習シグナルはゲームの勝敗から、オープンエンドな人間の選好へと拡大し、アーキテクチャもそれに合わせて拡張されてきました。

本ガイドは、基盤モデルの時代からストーリーを引き継ぎ、アライメント、推論、および自律的なエージェント機能へと進めていきます。

本書に期待できること

第I部：基礎 (第1章〜第3章) は、本ガイドの残りの部分が依存する基礎知識を構築します。LLMが内部でどのように機能するのかという能力を決定するアーキテクチャの決定から始め、次に学習と推論を可能にするハードウェアとシステムをカバーし、最後に強化学習を第一原理から導入します。

• 第1章 — LLMアーキテクチャと最適化: Transformerの内部構造（自己注意、マルチヘッドアテンション、RoPE、GQA）、Flash Attention、最適化手法（AdamW、学習率のスケジュール、勾配クリッピング）、混合精度、LoRA/QLoRA、量子化、知識蒸留、およびMixture of Experts。

• 第2章 — システムの基礎: GPUアーキテクチャ（A100/H100/B200）、メモリ階層、NVLink/NVSwitch、分散学習（FSDP、DeepSpeed ZeRO、テンソル/パイプライン並列化）、および高スループット推論のためのvLLM。

• 第3章 — 強化学習への導入: MDP、ベルマン方程式、TD学習、Q学習、方策勾配（REINFORCE）、アクター・クリティック手法、GAEなど、第II部を支えるアルゴリズムツールキット。

第II部：LLMのための強化学習手法 (第4章〜第12章) は、学習とアライメントの核心です。ここでは、詳細な数学的導出から動くコードまで、言語モデルのアライメント、改善、およびファインチューニングを行う方法を学びます。

• 第4章〜第8章: 数学、直感、およびTRLコードを用いた主要なすべての強化学習/選好アルゴリズム — PPO、DPO、GRPO、および選好最適化のバリアント（Online DPO、KTO、IPO、ORPO、SimPO、Best-of-N）。

• 第9章〜第10章: 報酬モデルの学習（Bradley–Terryモデル、スケーリング則、報酬ハッキング）およびSFTのベストプラクティス（データの品質、カリキュラム、フォーマット）。

• 第11章〜第12章: 大規模システムアーキテクチャ（分離された学習、耐障害性、GPU割り当て）およびLLMエージェント学習 — 軌跡レベルの強化学習を用いたエンドツーエンドのエージェント学習方法。

第III部：推論 (第13章) は、複数ステップの問題を通じてLLMに推論を教えるという、モデル能力のフロンティアをカバーします。

• 第13章 — 大規模推論モデル向け強化学習: DeepSeek-R1、OpenAI o1/o3/o4-mini、QwQ — 強化学習が思考の連鎖を発見する仕組み、MCTS、プロセス報酬モデル、およびテスト時計算量（test-time compute）のスケーリング。

第IV部：評価 (第14章) は、これらが実際に機能するかどうかを測定するための方法論を提供します。

• 第14章 — LLM評価: メトリクス（パープレキシティ、pass@k、ELO）、LLM-as-Judgeパターン、データ汚染検出、ベンチマークスイート、およびエージェントの評価手法。

第V部：エージェントAI (第15章〜第26章) は、学習済みモデルからデプロイされた自律システムへと進みます。これが最大のセクションであり、エージェントが現実世界で動作するために必要なすべてをカバーしています。

• 第15章 — エージェントAIへの導入: システムをエージェントたらしめるもの、チャットボットから自律型エージェントまでのスペクトル、および第V部の残りの部分の基礎概念。

• 第16章 — RAG: 検索手法、チャンキング、埋め込みモデル、ハイブリッド検索、リランキング、およびプロダクションアーキテクチャ。

• 第17章 — メモリシステム: 持続的なエージェント知識のためのワーキングメモリ、エピソードメモリ、セマンティックメモリ、およびプロシージャルメモリ。

• 第18章 — オーケストレーション: ReAct、Plan-and-Execute、LLM Compiler、リフレクションパターン、文脈管理、およびハーネス設計。

• 第19章 — デザインパターン: プロンプトの連鎖、ルーティング、並列化、評価主導のオーケストレーション、およびシンプルさの原則。

• 第20章 — 環境とベンチマーク: WebArena、SWE-bench、OSWorld、GAIA — エージェント能力の評価用環境。

• 第21章 — Model Context Protocol (MCP): アーキテクチャ、トランスポート層、ツール/リソース/プロンプトのプリミティブ、セキュリティ、およびデプロイ。

• 第22章 — エージェントスキル: スキルライブラリ、ツールの構成、および能力の抽象化。

• 第23章 — A2A（エージェント間）通信: GoogleのAgent-to-Agentプロトコル — エージェントカード（Agent Card）、タスクライフサイクル、ストリーミング、エンタープライズパターン。

• 第24章 — マルチエージェントシステム: 階層型、ディベート型、マーケットプレイス型、スウォーム（群れ）型アーキテクチャ — 大規模な連携。

• 第25章 — 開発フレームワーク: LangGraph、CrewAI、AutoGen、OpenAI Agents SDK、Google ADK — コード付き比較分析。

• 第26章 — エージェントUI: ストリーミングインターフェース、生成UI、キャンバスパラダイム、ツールの可視化、Human-in-the-Loopパターン。

現代のAIパイプライン

ベースモデルからデプロイされたエージェントまでの完全なパイプライン：