数週間おきに、新しい論文が「小さなモデルでも、大きなモデルの出力そのものではなく、その理由まで蒸留すれば大規模モデルのように推論させられる」と主張してくる。この一連の研究をまとめる言葉が Focused Distillation from Explanations (FDE) だ。教師モデルの最終的な答えを真似させるのではなく、答えに至った 説明トレース も合わせて学習させる、というアプローチである。

Claude を使ってプロダクトを作っている人——特に「高価な Claude 呼び出しを、安価なローカルモデルで置き換えられないか」と考えたことがある人——にとって、これは追いかける価値のある研究の流れだ。同時に、「小さいモデルが追いついてきた」と誤読されがちな領域でもある。実際のところはもっと有用で、もっと地に足がついている。

中核のアイデアを一段落で

標準的な知識蒸留は、大きな「教師」モデルの出力を、小さな「生徒」モデルに模倣させる。FDE 系の手法はここに 2 つめの学習信号を加える——教師の 推論の根拠、つまり思考の連鎖 (CoT) や手順的な導出、あるいは自然言語での説明だ。生徒は (入力, 答え) のペアではなく、(入力, 推論の根拠, 答え) の三つ組で学習する。狙いは、生徒に「なぜそうなるのか」を内在化させれば、単なるパターンマッチよりも一般性のある帰納バイアスが転移するのではないか、という賭けだ。

多くの人にとってこのアイデアを具体化したのが Hsieh らの Distilling Step-by-Step だった。770M パラメータの T5 が、1% 未満の学習データで、特定のベンチマークにおいて 540B の PaLM を上回るという結果を、推論の根拠から学ばせることで示した。この結果は本物で再現もできる。ただし、SEO 最適化された「AI ニュース」の要約が省略しがちな注意書きが付いてくる。

研究が本当に言っていること（と言っていないこと）

主張を整理して切り分けよう。

FDE 系の手法が確かにやること：

やらないこと（見出しがどう言っていようと）：

最後の点は商業的に重要だ。FDE は「Claude Opus を 7B モデルで置き換えられる」ではない。「Claude Opus のワークロードの 一部を 小さなモデルにオフロードできる、ただし学習時に Claude Opus に推論の根拠を生成させるコストは支払う必要がある」という話だ。安定した高頻度・狭いタスクなら経済が回る。タスク分布が動き続ける状況では成立しない。

順番に読む価値のある 4 本

この文献に 3 時間かけられるなら、私ならこの順番で読む。それぞれ「何を主張しているか」ではなく「どこを見るべきか」で紹介する。

  1. Distilling Step-by-Step (Hsieh et al., 2023) — とっつきやすい入り口。学習レシピを読むための一本：推論の根拠を補助ターゲットとして別の損失重みで扱う。推論の根拠の品質に関するアブレーションは、この論文で最も重要な発見なのに強調されていない。しっかり見ておきたい。

  2. Symbolic Chain-of-Thought Distillation (Li et al., 2023) — 同じアイデアを、記号推論タスク（文章題、論理推論）でより小さいモデルに適用したもの。なぜ転移しやすいドメインとしにくいドメインがあるのかを理解するために読む。示唆：蒸留は推論の根拠が「プログラム」を露わにする場所で最も効き、「雰囲気」を露わにする場所では効きにくい。

  3. Distilling Reasoning Capabilities into Smaller Language Models (Shridhar et al., 2023) — 推論をサブ質問に分解してから蒸留する別のアプローチ。モノリシックな CoT への批判として読む：転移すべき単位は連鎖全体ではなくサブルーチンかもしれない、という視点。

  4. On the Faithfulness of Distilled Rationales (2024–2025 年の一連の論文) — 生徒が生成する推論の根拠は「聞こえは正しい」が実際には答えを決めていないことを示す、一連の批判的研究。是正剤として最後に読むのがいい。小さなモデルの説明を独立検証なしに信じてはいけない、という最強の論拠になる。

数値結果はあえて要約しなかった。この分野のベンチマークは動きが速く、特定の数字を引用してもすぐに古くなる。古びないのは 議論の形 の方だ。その形とは：FDE はサンプル効率と可読性を改善し、オープンエンドなタスクでの能力差は埋めず、忠実性の留保が付きまとう、というものだ。

Claude で本番運用しているときの意味

ここが研究と現場の接点だ。実務的な要点を 3 つ。

1. 推論の根拠は「デバッグ出力」ではなく一級の成果物

Claude を安定した構造を持つタスク——チケット分類、書類からのフィールド抽出、ユーザー意図のルーティング——に使っているなら、推論の根拠を保存しておく。監査目的（これも有用）だけではない。推論の根拠は、いつか安価なモデルを蒸留したくなったときの学習データになり、失敗を捕まえたいときの検証信号にもなる。

具体的なパターン：高頻度ワークフローの Claude 呼び出しごとに (input, rationale, output, downstream_outcome) を記録する。半年後、FDE 研究が「もう手元にあるでしょう」と前提にしているデータセットがまさに手元にある状態になる。

2. 推論の根拠が「プログラム」に見えるところだけ蒸留する

Symbolic CoT 論文の暗黙の教訓：蒸留は、推論の根拠が実行可能な手続きに見えるときに最もよく転移する。抽出？いける。明確な特徴量に基づく分類？いける。「この苦情に対して思慮深い返信を書いて」？無理——推論の根拠の空間が広すぎて、生徒はトーンでパターンマッチすることを学ぶだけで、判断力までは受け継がない。

ヒューリスティック：推論の根拠を疑似コード関数として書けそうなら、蒸留はたぶん動く。「トーンと文脈とブランドボイスを考慮して決めて」だとしたら、たぶん動かない。

3. 推論の根拠は条件付きで信頼する、絶対視はしない

忠実性に関する文献はなかなか身が引き締まる読み物だ。生徒モデルは、最終的な答えと因果関係のない、完璧にもっともらしい思考の連鎖を生成しうる。仮定の話ではない——推論の根拠のトークンを削っても出力が変わらないことが実験的に示されている。

実務的な対応：本番で蒸留モデルを使うとき、その推論の根拠をエンドユーザーに「答えの正当化」として提示しないこと。推論の根拠は内部の フィルタ として使う——入力と整合しない推論の根拠を持つ出力は棄却する——が、推論の根拠そのものは信頼できない証拠であって証明ではない、という位置付けにする。

来週の月曜日から始められるワークフロー

この文献に説得力を感じて、実際に何かをやってみたい人向けに。

  1. 狭いタスクを 1 つ選ぶ。今、Claude Opus（か Sonnet）に量産させて課金しているタスク。
  2. Claude 呼び出しを instrument する。構造化された推論の根拠も一緒に要求する。すべて記録する。
  3. 1 か月待つ。推論の根拠付きの例を 5,000〜20,000 件集める。これがシードデータセットになる。
  4. 小規模ファインチューンを試す。Claude Haiku、GPT-4o mini、あるいは Qwen 2.5 7B のようなオープンウェイトモデルで。フレームワークが対応していれば推論の根拠を補助ターゲットに使い、そうでなければターゲット系列に連結する。
  5. 保留データで、独立した検証を用いて評価する。推論の根拠の類似度をスコアしてはいけない。結果をスコアする。
  6. その上で初めて、コスト削減が運用の複雑さに見合うかを検討する。

多くのチームが飛ばすのが 5 だ。推論の根拠の類似度で蒸留モデルを評価して、「推論を学んだ」と結論付けてしまう。学んだのは推論ではなく、推論っぽい形をしたテキストの生成だ。

次の波の論文に望むこと

ベンチマークよりも開発者を気にしている立場から言えば、FDE 文献には 3 つ足りないものがある。

これらのどれかに触れた論文を知っていたら教えてほしい。それまでは、推論の根拠を記録し続けよう。2026 年に構築するデータセットが、2027 年のあなたにとって蒸留を可能にする。

Claude Community の関連記事：