言語モデルのためのRLの基礎

教師ありファインチューニング（SFT）は、モデルにデモンストレーションを模倣するよう教えます。しかし、模倣には上限があります。モデルは学習データの品質を超えられないからです。強化学習はこの壁を打ち破ります。新しいテキストを生成し、報酬フィードバックを受け取り、より高い報酬へ向けて更新することで、RLで学習したモデルは、人間のデモンストレーターが書いたことのない戦略を発見できます。その結果、より有用で、より正確で、人間の選好によりよく整合した出力を生成します (Ouyang et al. 2022)。

これは、すべてのフロンティアモデルを支える仕組みです。GPT-4 (OpenAI 2023)、Claude、Llama-3 (Grattafiori et al. 2024)、DeepSeek-R1 (DeepSeek-AI et al. 2025) はいずれもSFT後にRLを適用します。これは、有能だが方向づけられていないモデルを、アラインされたアシスタントへと変える決定的な段階です。

LLMにおけるRLの2つのパラダイム

言語モデルのRL手法は、目的に応じて使い分けられる、2つの大きなパラダイムに分けられます。

パラダイム1：人間の選好によるアラインメント（RLHF/DPO）

LLMにRLを適用する当初の目的は、 アラインメント 、つまりモデルを有用で、無害で、正直にすることでした。 人間のフィードバックからの強化学習（RLHF） (Ouyang et al. 2022; Ziegler et al. 2019; Christiano et al. 2017) は、人間によるペア単位の判断（「どちらの応答が優れているか？」）から報酬モデルを学習し、その学習した報酬を最大化するように方策を最適化します。 DPO (Rafailov et al. 2023) は、報酬モデルを完全に取り除き、選好を直接教師あり損失へ変換することで、この手法を簡略化します。どちらの手法も、指示に従い、安全性の制約を尊重するアラインメント済みアシスタントを生成します。

パラダイム2：検証可能な報酬による能力向上（RLVR）

近年、RLはアラインメントだけでなく、特に推論、数学、コード生成といった 新しい能力の学習 にも使われています。ここで報酬を与えるのは人間の選好ではなく、 検証可能な結果 です。モデルは正しい答えを生成したでしょうか。コードはすべてのテストに合格したでしょうか。DeepSeek-R1 (DeepSeek-AI et al. 2025) は、ルールベースの報酬（形式の正しさ＋解答の正確さ）を用いるGRPOによって、人間の選好データなしで高度なChain-of-thought推論を身につけるようモデルを学習できることを示しました。このパラダイム、すなわち検証可能な報酬からの強化学習（RLVR）は、現在、推論モデルやエージェントシステムを構築するための主流のアプローチです。

Important

共通の基盤

目的は異なりますが、どちらのパラダイムも同じ中核的な仕組みを共有しています。

• LLMが自己回帰的にテキストを生成する 方策 \(\pi_\theta\)

• 報酬シグナル \(r(x, y)\)（選好から学習するか、検証から計算する）

• 退化した解を防ぐための参照方策に対する KL制約

• モデルをより高い報酬へ向けて更新する 方策勾配最適化 （PPOまたはGRPO）

このパートの各章では、それぞれの構成要素を詳しく説明します。

テキスト生成をMDPとして捉える

RLを言語モデルに適用できるようにする重要な洞察は、自己回帰的な生成をマルコフ決定過程として捉え直すことです。

Tip

LLMをエージェントとみなす類推

LLMを、1トークンずつ応答を書く エージェント だと考えてみましょう。各ステップで、これまでに書かれたすべての内容（ 状態 ）を確認し、次の単語（ 行動 ）を選び、ページが1トークンずつ増えていきます（ 遷移 ）。応答が完成すると、判定者がそれを採点します（ 報酬 ）。目標は、一貫して高い点数を得られる書き方の戦略（ 方策 ）を学ぶことです。

形式的には、テキスト生成のMDPは次のようになります。

• 状態 \(s_t = (x, y_1, \ldots, y_{t-1})\)：プロンプトと、これまでに生成されたすべてのトークンを連結したもの。

• 行動 \(a_t \in \{1, \ldots, \vert \mathcal{V}\vert \}\)：語彙から次のトークンを選ぶこと（32K〜128K個の選択肢）。

• 遷移 \(P(s_{t+1}\vert s_t, a_t)\)：決定論的です。選択したトークンを追加するだけであり、環境の確率性はありません。

• 報酬 \(r\)：通常は生成の最後にだけ与えられます（疎な報酬）。RLHFでは報酬モデルのスコア、RLVRでは最終回答の正しさです。

• 方策 \(\pi_\theta(a_t\vert s_t)\)：LLMの次トークン確率分布であり、ソフトマックス出力がすでに計算しているものです。

• 割引率 \(\gamma = 1.0\)：エピソードは有限（1つの応答）なので、割引は必要ありません。

この対応付けが強力なのは、LLMがすでに方策だからです。LLMのソフトマックス出力は、あらゆる状態における \(\pi_\theta(a_t\vert s_t)\) を定義します。別の方策ネットワークを構築する必要はありません。報酬の高いトークン列に対してモデルがより高い確率を割り当てるよう、重み \(\theta\) を調整すればよいのです。

RLHFパイプライン

古典的なRLHFパイプライン (Ouyang et al. 2022) は、4つの段階からなります。

1. 教師ありファインチューニング（SFT） ：高品質なデモンストレーションでベースモデルを学習し、指示に従える方策 \(\pi_{\text{SFT}}\) を作ります。

2. 報酬モデルの学習 ：同じプロンプトに対する人間の選好比較（\(y_w \succ y_l\)）を集め、Bradley-Terry目的関数を使って報酬モデル \(R_\phi(x, y)\) を学習します。

3. RL最適化 ：報酬モデルをシグナルとして、\(\pi_{\text{SFT}}\) に対するKL制約のもとで、PPOまたはGRPOによって方策を最適化します。

4. 評価と反復 ：アラインメント済みモデルを評価し、新たな失敗事例を集め、反復します。

RLVR（推論／エージェント学習）では、1〜2段階が置き換えられます。SFTモデルは推論トレースで学習し、報酬モデルは検証器（たとえば数学的な正しさを確認するもの）に置き換えられます。第3段階は変わらず、報酬シグナルに対してPPOまたはGRPOで最適化します。

Tip

LLMにおけるRLと古典的RLの違い

LLMの設定は、重要な点で古典的RLと異なります。

• 決定論的な遷移 ：「次の状態」は、単に過去のトークンを連結したものです。確率的な環境はありません。

• 疎な報酬 ：フィードバックは通常、生成の最後に1回（結果報酬）、または重要なステップで与えられます（プロセス報酬）。

• 巨大な行動空間 ：各ステップで32K〜128K個のトークンが候補になります。ただし、探索は温度サンプリングによって暗黙的に行われます。

• KLアンカー ：LLMのRLはSFT方策の近くにとどまるよう制約されます。これにより報酬ハッキングを防ぐ一方、探索は縮小します。

• 価値関数は不要 ：GRPOはクリティックネットワークを完全に取り除き、代わりに報酬のグループ相対正規化を使います。

これらの違いが、LLMではPPOとGRPOがDQN系のアプローチより主流となっている理由です。

このパートのロードマップ

これからの章では、LLMのRLに必要なツールキット全体を構築します。

1. PPO （第5章）— クリップ付き代理目的関数、アドバンテージ推定のためのGAE、クリティックネットワーク、そして完全なRLHF学習ループを扱います。GPT-4やClaudeを支える実用的な主力手法です。

2. DPO （第6章）— 選好を対照的な教師あり損失に変換することで、RLを完全に迂回します。オンラインRLより単純ですが、柔軟性は低くなります。

3. GRPO （第7章）— グループレベルの報酬正規化を使う、DeepSeekのクリティック不要アルゴリズムです。DeepSeek-R1を支え、推論モデルの学習で主流となっている手法です。

4. 選好最適化のバリアント （第8章）— Online DPO、KTO、Best-of-N、および手法選択の指針を扱います。

5. 報酬モデリング （第9章）— Bradley-Terryモデル、プロセス報酬と結果報酬、RLVRのルールベース報酬、複数目的の組み合わせを扱います。

6. SFTのベストプラクティス （第10章）— シーケンスパッキング、チャットテンプレート、データ混合、そしてSFTの品質がRLの上限をどのように決めるかを扱います。

7. システムエンジニアリング （第11章）— 大規模な分散学習、並列化戦略、生成と学習の分離、数百GPU向けのインフラを扱います。