生成過程の軌道を反発させて少ない手順で画像を生成する
Smoother Flow Matching via Contrastive Trajectory Repulsion
この論文をやさしく読む
ひとことで言うと
画像を生成する途中の変化の道筋が交差すると学習や計算が難しくなるため、道筋同士を離すように訓練する方法です。生成時の計算ステップを減らした場合の画質を改善します。
何に役立つ？
考えられる用途は、少ない推論ステップで画像を生成するモデルの学習です。実験ではImageNetの256×256画像について、標準的なFMよりFIDが低下したと報告しています。
この研究の面白いところ
軌道交差を速度の平均化だけでなく、ネットワークが学びにくい高周波成分と数値積分誤差の原因として捉えています。対照学習による反発を確率微分方程式に組み込み、負例の影響を調節できる形へ変換しています。
どこまで分かった？
要旨の評価対象はImageNetの256×256画像で、20ステップが少数ステップ推論の例です。FIDの具体値や別の解像度・データでの結果は記載されていません。訓練の追加負荷がないという主張についても、内訳の数値は要旨にありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
軌道の交差は、フローマッチング（FM）における重大なボトルネックであり続けている。従来研究は通常、交差を、速度の平均化を引き起こす理論的な最適化の観点から捉えている。そして、中間軌道を明示的に制御せず、事後的な蒸留や端点の結合によって間接的に対処しようとしている。本論文では、ネットワーク学習の新たな観点を導入する。交差点は本質的に目標速度場の局所リプシッツ定数を大きくし、2つの問題を生む。第一に、大きなリプシッツ定数は速度場の高周波信号に対応し、ニューラルネットワークはスペクトルバイアスのため、それらへの適合を苦手とする。第二に、それは急激な速度変化も意味し、少ないステップでの推論に深刻な数値積分誤差をもたらす。 これを緩和するため、対照学習の考え方をFMへ導入し、訓練中に軌道を明示的に反発させることで速度場の局所リプシッツ定数を下げる枠組み、CoFlowを提案する。具体的には、反発ドリフト項を加えた確率微分方程式（SDE）の観点からCoFlowを定式化する。このドリフトは、正例の順過程を負例の軌道から離れるよう能動的に誘導し、局所リプシッツ定数を効果的に低減する。さらに、このSDEから等価な確率的補間の定式化を導き、負例の影響を制御するための単純で扱いやすい設計空間を与える。 ImageNetの256×256画像を用いた広範な実験で、CoFlowは、訓練の追加負荷なしに、少ないステップ、例えば20ステップでの推論において標準的なFMよりFIDを大幅に低減することを示す。コードは https://github.com/HKUST-LongGroup/CoFlow で公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Trajectory crossing remains a critical bottleneck in Flow Matching (FM), and previous works typically view these crossings from a theoretical optimization perspective causing velocity averaging. They attempt to address it indirectly by post-hoc distillation or endpoint coupling, without explicitly regulating the intermediate trajectories. In this paper, we introduce a new network learning perspective: crossing points inherently induce large local Lipschitz constants in the target velocity field, leading to two drawbacks. First, high Lipschitz constants correspond to high-frequency signals in the velocity field that neural networks struggle to fit due to spectral bias. Second, they also imply drastic velocity variations, leading to severe numerical integration errors in few-step inference. To alleviate this, we propose CoFlow, a framework that introduces the contrastive learning paradigm into FM to explicitly repel trajectories during training, thereby lowering the local Lipschitz constants of the velocity field. Specifically, we formulate CoFlow from a Stochastic Differential Equation (SDE) perspective by injecting a repulsive drift term. This drift actively guides the forward process of positive samples away from negative trajectories, effectively reducing the local Lipschitz constant. Furthermore, we derive an equivalent stochastic interpolant formulation from this SDE, providing a simple and tractable design space to control the influence of negative samples. Extensive experiments on ImageNet 256x256 demonstrate that CoFlow significantly reduces FID compared to standard FM in few-step inference (e.g., 20 steps), with no added training overhead. The code can be accessed at: https://github.com/HKUST-LongGroup/CoFlow
著者のコメント
18 pages, 5 figures
arXiv ID: 2610.01408 ／ 要約の誤りについて