クイックリファレンス

この章では、開発やデバッグ中にすぐ参照できるよう、主要な式、アーキテクチャ仕様、APIリファレンス、失敗モードの診断をまとめます。

RLとアラインメントの主要式

\[ \begin{aligned} \text{PPO Clip:}&\quad L = \mathbb{E}[\min(r_t\hat{A}_t, \text{clip}(r_t,1{\pm}\epsilon)\hat{A}_t)], \quad r_t = \pi_\theta(a_t|s_t)/\pi_{\text{old}}(a_t|s_t) \\ \text{DPO:}&\quad L = -\mathbb{E}[\log\sigma(\beta\log\tfrac{\pi_\theta(y_w|x)}{\pi_\text{ref}(y_w|x)} - \beta\log\tfrac{\pi_\theta(y_l|x)}{\pi_\text{ref}(y_l|x)})] \\ \text{GRPO:}&\quad \hat{A}_i = (r_i - \mu_G)/\sigma_G, \quad \text{then PPO clip update (no critic)} \\ \text{KTO:}&\quad L = \lambda_w(1 - v(y_w)) + \lambda_l \cdot v(y_l), \quad v = \sigma(\beta\log(\pi_\theta/\pi_\text{ref}) - z) \\ \text{IPO:}&\quad L = \mathbb{E}[(\log(\pi_\theta(y_w)/\pi_\text{ref}(y_w)) - \log(\pi_\theta(y_l)/\pi_\text{ref}(y_l)) - 1/(2\beta))^2] \\ \text{ORPO:}&\quad L = L_\text{SFT}(y_w) - \lambda\log\sigma(\log(\text{odds}(y_w)/\text{odds}(y_l))) \\ \text{GAE:}&\quad \hat{A}_t = \textstyle\sum_{l=0}^{T-t}(\gamma\lambda)^l\delta_{t+l}, \quad \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t) \\ \text{KL Penalty:}&\quad R_\text{total} = r_\phi(x,y) - \beta D_\text{KL}[\pi_\theta(y|x)|\pi_\text{ref}(y|x)] \\ \text{RM (Bradley-Terry):}&\quad L = -\mathbb{E}[\log\sigma(r_\phi(x,y_w)-r_\phi(x,y_l))] \\ \text{Best-of-N:}&\quad y^* = \arg\max_{y_i \sim \pi_\theta(\cdot|x),, i=1..N} r_\phi(x, y_i) \end{aligned} \]

Transformerとアーキテクチャの式

\[ \begin{aligned} \text{Self-Attention:}&\quad \text{Attn}(Q,K,V) = \text{softmax}(QK^\top / \sqrt{d_k}) \cdot V \\ \text{Multi-Head:}&\quad \text{MHA}(X) = \text{Concat}(\text{head}_1, \ldots, \text{head}_h)W^O,\quad \text{head}_i = \text{Attn}(XW_i^Q, XW_i^K, XW_i^V) \\ \text{RoPE:}&\quad f(x_m, m) = x_m e^{im\theta_j}, \quad \theta_j = 10000^{-2j/d} \\ \text{LoRA:}&\quad W' = W_0 + (\alpha/r) \cdot BA, \quad B \in \mathbb{R}^{d \times r},; A \in \mathbb{R}^{r \times k} \\ \text{KD (soft targets):}&\quad L_\text{KD} = (1{-}\alpha)L_\text{CE}(y, \hat{y}) + \alpha, T^2 \cdot \text{KL}(p_T^\text{teacher} | p_T^\text{student}) \\ \text{FFN (SwiGLU):}&\quad \text{FFN}(x) = (\text{Swish}(xW_1) \odot xW_3) W_2 \end{aligned} \]

デコーディング手法

システムと並列化

GPUハードウェア仕様

ハイパーパラメータの範囲

TRL APIクイックリファレンス

RAGパイプラインの式

\[ \begin{aligned} \text{Cosine similarity:}&\quad \text{sim}(q, d) = \frac{q \cdot d}{|q| \cdot |d|} \\ \text{Retrieval:}&\quad \mathcal{D}_k = \text{top-}k_{d \in \mathcal{C}} ; \text{sim}(\text{embed}(q),; \text{embed}(d)) \\ \text{RAG generation:}&\quad P(y|q) = P_\text{LLM}(y ;|; q, \mathcal{D}_k) \\ \text{Chunking overlap:}&\quad \text{stride} = \text{chunk_size} - \text{overlap} \\ \text{Reranker (cross-enc):}&\quad \text{score}(q, d) = \text{MLP}(\text{BERT}([q; d])) \end{aligned} \]

エージェント設計パターン

エージェント通信プロトコル

コンテキストウィンドウ予算

\[ C \geq \underbrace{S}_{\text{system}} + \underbrace{M}_{\text{memory/RAG}} + \underbrace{T}_{\text{tool defs}} + \underbrace{H}_{\text{history}} + \underbrace{R}_{\text{reserved output}} \]

128Kコンテキストの 目安:

• システムプロンプト: 1–4Kトークン（固定）

• ツール定義: 2–8K（ツール数に応じて増加）

• RAGコンテキスト: 4–16K（上位 \(k\) チャンク）

• 履歴: 無制限に増加 \(\rightarrow\) 要約／切り詰め

• 予約出力: 2–8K

よくある失敗モードと修正

手法選択の決定木

1. 選好ペア（chosen＋rejected）があるか？

   • ラベルにノイズがある \(\rightarrow\) IPO

   • メモリ制約があり、まだSFTをしていない \(\rightarrow\) ORPO

   • クリーンなデータで計算資源が限られる \(\rightarrow\) DPO

   • DPOが頭打ちで探索したい \(\rightarrow\) Online DPO

2. 二値フィードバック（賛成／反対）しかないか？ \(\rightarrow\) KTO

3. 検証可能な報酬（数学／コード）があるか？ \(\rightarrow\) GRPO

4. コストを問わず最高品質が必要か？ \(\rightarrow\) PPO

5. 学習なしで改善したいか？ \(\rightarrow\) Best-of-N

評価指標

推論とテスト時計算量のスケーリング

メモリシステムの種類

MCPクイックリファレンス

トランスポート: stdio（ローカルサブプロセス）またはHTTP+SSE（リモート、ストリーミング可能）。
発見: 接続初期化時にクライアントがtools/list、resources/list、prompts/listを呼び出す。
ツールアノテーション: readOnlyHint、destructiveHint、idempotentHint、openWorldHint。

A2Aプロトコルクイックリファレンス

主要エンドポイント: tasks/send（作成／更新）、tasks/get（ステータスのポーリング）、tasks/sendSubscribe（SSEストリーム）。

エージェントフレームワークの比較

エージェント型RLの式

\[ \begin{aligned} \text{Trajectory GRPO:}&\quad \hat{A}_i = (R(\tau_i) - \mu_G)/\sigma_G, \quad R(\tau_i) = \sum_{t} r_t^{(\tau_i)} \\ \text{Agent reward:}&\quad R = w_1 R_\text{task} + w_2 R_\text{efficiency} + w_3 R_\text{safety}, \quad R_\text{eff} = \max(0, 1 - \text{steps}/N_\text{max}) \\ \text{Masking:}&\quad \mathcal{L} = \sum_{t \in \text{agent tokens}} \min(r_t \hat{A}_t,; \text{clip}(r_t) \hat{A}_t) \quad \text{(mask env outputs)} \\ \text{Pass@}k:&\quad 1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}, \quad n = \text{total samples},; c = \text{correct} \end{aligned} \]

エージェントセキュリティチェックリスト

エージェント評価指標

主要なエージェントベンチマーク