ネットワーク競合を含めた分散学習ジョブのシミュレーション
Accurate Simulation of Distributed Training Jobs with Network Contention Modeling
この論文をやさしく読む
ひとことで言うと
GPUクラスターで複数の学習ジョブが通信回線を取り合う影響を含め、実行時間を予測するシミュレーター。
何に役立つ？
分散学習ジョブの配置やスケジュールを、実行前に比較する際の予測精度向上に役立つ可能性がある。
この研究の面白いところ
ワーカーの配置から通信競合を見積もり、実GPUでの事前測定なしに平均・末尾の完了時間の誤差を減らした。
どこまで分かった？
報告された改善倍率は評価した既存シミュレーターとの比較であり、あらゆるクラスター構成で同じ倍率を保証するものではない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
GPUクラスターでの分散学習ジョブの評価には、実行履歴に基づくシミュレーションが広く使われる。しかし既存のシミュレーターは、ネットワークの競合を無視するか、固定のペナルティで近似している。その方法では、スケジューリングによって、どのジョブがサーバーのネットワークインターフェースやサーバー間リンクを共有するかが変わり、学習中の通信時間が変わることを捉えられない。動機づけとなる実験では、平均ジョブ完了時間の平均絶対パーセント誤差（MAPE）が最大73.64%に達した。 本研究は、動的なネットワーク競合下で分散学習ジョブの実行をモデル化するGPUクラスタシミュレーターMoSimを提案する。GPUを使わない特性把握とネットワーク競合モデルを組み合わせ、各ジョブの計算時間、通信時間、通信量をGPUなしで取得した後、現在のワーカー配置に基づき、共有ネットワークインターフェースが各ジョブの反復時間へ与える影響を推定する。 既存のシミュレーターと比較すると、平均ジョブ完了時間のシミュレーション誤差を最大3.28分の1、末尾の99パーセンタイルの完了時間を最大7.79分の1、全ジョブの完了までの時間を最大8.48分の1に減らした。ネットワークインターフェースの競合係数のモデル化誤差は平均8.63%だった。実GPUによるプロファイリングを避けることで、入力の作成にかかる負担も44.6分の1に減らした。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Trace-driven simulation is widely used to evaluate distributed training (DT) jobs in GPU clusters, but existing simulators either ignore network contention or approximate it with a fixed penalty. This misses how scheduling decisions determine which jobs share server network interfaces and inter-server links, thereby changing networking time during training. As a result, our motivating experiments demonstrate that they incur large errors, reaching up to 73.64% mean absolute percentage error (MAPE) in average job completion time (JCT). This paper introduces MoSim, a GPU-cluster simulator that models DT job execution under dynamic network contention. MoSim combines GPU-free characterization with network contention model: it obtains each job's compute time, networking time, and networking volume without GPUs, then uses the current worker assignment to estimate how shared network interfaces affect each job's iteration time. Our evaluation shows that, compared with existing simulators, MoSim reduces simulation error for average JCT by up to 3.28$\times$, tail (99th-percentile) JCT by up to 7.79$\times$, and makespan by up to 8.48$\times$, while modeling NIC contention factors with only 8.63% error on average. By avoiding real-GPU profiling, MoSim also reduces input construction overhead by 44.6$\times$.
著者のコメント
8 pages, 4 figures, 5 tables. Accepted for publication in IEEE MASCOTS 2026. Code: https://github.com/OSSS-KU/MoSim
arXiv ID: 2609.23278 ／ 要約の誤りについて