連合学習を組み合わせて大規模な分割並列学習を高速化
Accelerating Sharded Data Parallelism at Scale with Federated Learning
この論文をやさしく読む
ひとことで言うと
多数のGPUを小さな連合グループに分け、グループ内の分割並列学習とグループ間の集約を組み合わせて通信を減らします。
何に役立つ？
大規模なモデル学習で、GPU間の通信が足かせになる構成の改善に役立つ可能性があります。A100を512基使うLlama3.1 8B事前学習で、計算効率と品質の改善が報告されています。
この研究の面白いところ
連合学習の通信原理を大規模GPU学習に持ち込み、通信量だけでなくグローバルバッチサイズの増大も抑えます。通信コストの解析と学習実験の両方で検討しています。
どこまで分かった？
数値結果は同一ハイパーパラメータの特定の事前学習条件に基づきます。英語要旨の8.04と4.48には倍率を示す記号が明示されていないため、厳密な比較定義は要旨だけでは確定できません。既存の全文訳は保持しています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
人工知能モデルと高性能計算システムが互いに関わりながら大規模化するにつれ、両者の統合ではアルゴリズム上の課題が生まれ続けている。その重要な例が基盤モデル（FM）であり、最先端の GPU を数千基使用して数か月にわたり学習する必要がある。こうした計算を高速化する主要な戦略は、データとモデルを複数の GPU に分割するシャード化データ並列（DP）である。しかし、大規模に展開すると、特に性能の異なる多階層の相互接続上で、通信オーバーヘッドが過大になる。 本研究では、連合学習（FL）の効率的な通信原理に着想を得て、シャード化 DP と FedAvg 型の集約を交互に行う二つのハイブリッドアルゴリズム、FL+FSDP と FL+HSDP を導入する。これらは大規模な DP 構成を、小規模で緩く結合した連合グループへと分割する。グループ間の通信量を最小限に抑えながら、グローバルバッチサイズをグループの規模に応じた範囲に制限する。 通信コストの形式的解析と実験的検証によって、両手法の拡張性と柔軟性を示す。A100 GPU 512基による Llama3.1 8B の事前学習では、同一のハイパーパラメータの下で、FL+FSDP と FL+HSDP はそれぞれの比較対象に対し、データ処理速度が最大8.04倍となり、評価時のパープレキシティが最大4.48分の1となった。これは計算効率の向上とモデル品質の改善を示している。これらの特性は、通信オーバーヘッドの削減、および連合グループの規模に対してグローバルバッチサイズの増大を制限することに由来する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 掲載先の記載あり
著者による掲載先の記載：Euro-Par 2026: Parallel Processing - 32nd European Conference on Parallel and Distributed Processing, Pisa, Italy, August 24-28, 2026, Proceedings, Part II。出版社での独立確認は未実施です。
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
The symbiotic scaling of artificial intelligence models and high-performance computing systems continually creates algorithmic challenges in their convergence. Foundation models (FMs) are a crucial example, requiring months-long training on thousands of cutting-edge GPUs. Sharded data parallelism (DP) is the dominant strategy to accelerate such computations by splitting data and models across multiple GPUs. However, it incurs prohibitive communication overhead when deployed at scale, particularly on multi-tier interconnects with heterogeneous performance. Inspired by the efficient communication principles of federated learning (FL), this work introduces two hybrid algorithms - FL+FSDP and FL+HSDP - interleaving sharded DP with FedAvg-style aggregations. Such approaches decouple large DP deployments into smaller, loosely-coupled federation groups, requiring minimal inter-group traffic while keeping the global batch size bounded by the groups' size. Formal analysis of communication costs and experimental validation prove their scalability and flexibility. A Llama3.1 8B pre-training on 512 A100 GPUs shows that, under identical hyperparameters, FL+FSDP and FL+HSDP achieve up to 8.04 faster data processing and 4.48 lower evaluation perplexity than their counterparts, demonstrating superior computational efficiency and improved model quality. These properties stem from reduced communication overhead and the bounded growth of the global batch size relative to the federation group size.
arXiv ID: 2609.20359 ／ 要約の誤りについて