fMRI基盤モデルのデータ量・規模・学習時間を比較
A Scaling Study for fMRI Foundation Models
この論文をやさしく読む
ひとことで言うと
fMRIの基盤モデルについて、事前学習データ、モデル規模、学習時間の組み合わせが性能にどう効くかを調べた研究。
何に役立つ？
考えられる用途は、fMRIモデルの限られた計算予算での設計。要旨では二つの固定予算で構成を選んで評価している。
この研究の面白いところ
200超のデータセットと1万GPU時間超の実験を使い、同じ計算量でもデータを増やす効果が多くの課題で大きいと示した。
どこまで分かった？
課題によって傾向が異なる。分布外の優位性は論文で比較したモデルと評価課題についての結果。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
スケーリング則はコンピュータービジョンや自然言語処理で大規模モデルの開発を導いてきたが、機能的磁気共鳴画像法（fMRI）の基盤モデルでは、データ量、モデルの大きさ、計算量の関係がまだ明確でない。本研究は、200を超える元データセットの事前学習データと、合計1万GPU時間を超える実験を使い、条件を制御した実証研究を行う。事前学習の枠組みと下流評価の手順を固定し、事前学習データ量、モデルの大きさ、学習時間を変えた。 下流課題の性能は全体として計算量とともに向上したが、計算量が近いモデル同士でも性能に大きな差があった。事前学習データを増やす効果は大きなモデルほど高く、データとモデルの規模を一緒に拡大すべきことを示唆する。同じ計算量なら、モデルを大きくするより事前学習データを増やす方が多くの課題に有益だったが、傾向は課題によって異なった。 次に、二つの固定した計算量の予算で、同じ分布内の下流性能を使ってデータ量、モデルの大きさ、学習時間の組み合わせを選んだ。分布外の評価前にモデルを確定し、比較したfMRI基盤モデルの中で、評価対象の分布外課題全体の平均性能が最も高く、事前学習の計算量も少なかった。fMRIモデルの性能は計算量だけでは説明できず、データ量、モデル規模、学習時間の組み合わせに依存することを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Scaling laws have guided large-model development in computer vision and natural language processing, but the relationships among data, model size, and compute remain unclear for functional magnetic resonance imaging (fMRI) foundation models. Here, we conduct a controlled empirical study using pretraining data from more than 200 source datasets and over 10,000 GPU-hours of experiments. Holding the pretraining framework and downstream protocol fixed, we vary pretraining data size, model size, and training duration. Downstream performance generally improves with compute, yet models using similar compute can perform substantially differently. Additional pretraining data bring larger gains at larger model sizes, suggesting that data and model size should be scaled together. At matched compute, increasing pretraining data benefits more tasks than increasing model size, although the pattern varies across tasks. We then use in-distribution (ID) downstream performance to select the combination of pretraining data size, model size, and training duration at two fixed compute budgets. The resulting models are locked before out-of-distribution (OOD) evaluation. They achieve the highest average performance across the evaluated OOD tasks among the compared fMRI foundation models while using less pretraining compute. Overall, our results show that compute alone does not characterize fMRI scaling: performance depends on how pretraining data, model size, and training duration are combined.
著者のコメント
28 pages, 7 figures. Code: https://github.com/derrz2/neurojepa
arXiv ID: 2609.27232 ／ 要約の誤りについて