Mengsay Loem
EN/日本語
Paper note

混合比だけでなく、繰り返し回数も揃える

2026-11-20 · paper-reading / pretraining / data-mixtures / evaluation

どんな問いか

事前学習のデータ混合比は、通常は小規模な実験で調整し、勝った混合比を目標の学習予算にそのまま外挿します。ところが高品質なデータが乏しい場合、そのデータは何度も繰り返して使うことになり、予算が大きくなるほど小さなソースの繰り返し回数は増えていきます。

この論文が問うのは、その繰り返し回数の変化自体が、小規模実験がスケールしない原因ではないか、という点です。短いproxy実験では見えない形で、希少なソースの繰り返し率が予算とともに変わり、最適な混合比がずれてしまうのではないか。

この問いは、データが乏しい場面でこそ重要です。たとえば多言語の混合で、母語などの高品質データを繰り返しサンプリングしなければならない場合がそうです。

Findings

提案される修正はシンプルです。素朴にサブサンプルするのではなく、ソースの文書数と学習トークン数を比例的に減らし、小規模実験におけるソースごとの繰り返し回数を、目標の実行と一致させるのです。この論文の貢献は、サブサンプリング自体の発明ではなく、repetition mismatch(繰り返しの不一致)を混合実験の交絡要因として切り分けたことにあります。

特に印象に残ったのは次の点です。

  • 1.17Bパラメータでは、WikiText/FineWeb混合の予測誤差が、目標の1/16のトークン量で行った繰り返し制御ありの実験1回で、0.85から0.10まで下がります(Table 1)。繰り返し制御なしで同等の精度を得るには複数の学習ホライズンが必要で、2・3・4ホライズンで目標トークン量の19%・44%・94%を消費します。
  • ソースが3つの場合(757Mパラメータ)でも、繰り返し制御ありのホライズン2回で、テストした掃引の分解能では最適な混合比を回復できます(Table 2)。ただし30Mモデルは例外で、proxyモデルのスケールも依然として重要です。
  • 根拠には明確な限界もあります。モデルは最大1.17Bパラメータ、学習は約3.8Bトークンまで、多くの設定は単一シードで、比較対象は線形外挿に依存しています。

私たちのコメント

視点として持ち帰りたいのは、繰り返し回数を、混合比やトークン予算と並ぶ実験の第一級の変数として扱うことです。データが限られていることの副作用として片づけない方がいいと思います。

低リソースの事前学習には直接関係しそうです。乏しい母語データを何度も繰り返す必要があるとき、その繰り返しの regime を再現していない小さなパイロットは、実際に学習する混合比とは静かに別のものをテストしています。パイロットの順位を信じる前に、繰り返しを揃えるのは安く追加できる統制です。

一方で、結果を広く読みすぎないための留保も2つあります。

  • 示されている改善はキュレーションされたドメインの検証損失上のもので、それ自体では下流タスクの能力向上を保証しません。
  • 1/16という数字は1つの学習ホライズンの話で、実験全体のコストではありません。混合比と学習率の実行は複数回残ります(Appendix E)。つまり繰り返しの一致は予測のコストを下げるもので、混合比探索そのものを安くするわけではありません。

次に知りたいこと

見てみたいのは、多言語またはコードデータの混合での、繰り返しを揃えたパイロット実験です。

希少なソースが「言語」である場合にも繰り返しの一致は効くのか。そして検証損失だけでなく、下流の評価でも成り立つのか。

測るべきトレードオフもあります。繰り返しを保存するということは、パイロットで使えるユニークなデータを減らすということです。その犠牲が非常に小さい予算でも見合うかどうかは、Figure 2、Tables 1–2、そしてAppendix Eのコスト計算を使って、実行前にスケッチできるはずです。

← すべてのNotes