iPhone上で専門家モデルをストレージから読み込む推論の評価
Paging the Experts: A Reproducible Characterization of Flash-Backed MoE Inference on iPhone
この論文をやさしく読む
ひとことで言うと
専門家混合モデルの重みをiPhoneのストレージに置き、必要に応じて読み込む推論実行を測定しています。
何に役立つ？
端末上の大規模モデル推論で、キャッシュやメモリの条件を検討する材料になります。
この研究の面白いところ
同じ容量でも追い出し方針によってヒット率が大きく変わり、単純な容量の閾値では説明できません。
どこまで分かった？
Python実行とiPhone実行の生成系列は5件すべてで不一致でした。熱による停止や不利な時間測定もあり、一般的な数値同等性や配備可能性は示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
専門家混合モデルでは、疎な活性化によって計算量を減らせるが、すべての専門家の重みを保存する必要は残る。本研究はRoutideを提示する。これはSwift/MLX製の実行環境で、公開された特定のQwen3.6-35B-A3B量子化チェックポイントのテキスト処理を実行し、専門家の重みをiPhoneのストレージに置き、その一部だけをバイト数で予算を決めてメモリに保持する。キャッシュ方針への感度、数値比較の適用範囲、測定の限界を調べる。 記録した5種類の128トークンの処理では、経路を固定した再生時の要求ヒット率は、512 MiBのLRUキャッシュで0.00%、同容量でシードを固定したランダム追い出しでは18.80%、576 MiBのLRUでは38.58%だった。この見かけ上の容量の急変は、普遍的なメモリ必要量ではなく、方針と処理内容の組み合わせによる。Mac上の同じ実行環境を用いた対照では、追い出しと非同期の先読みがあっても生成系列は保たれ、2,560件のトークン比較が完全一致し、10,334件の投機的読み込みがあった。一方、Python側の常駐実行と記録したiPhone側の完全な生成系列は、試した5ケースすべてで一致せず、一般的な数値的同等性は主張できない。範囲を別々に定めたiOS 27の2つのメモリ測定手順では、短いプロンプトでプロセスのメモリ使用量の標本ピークが1.87〜2.32 GiB、長めのプロンプト1件で2.39〜2.73 GiBだった。熱による停止、性能が劣った時間測定、条件付きの端末全体の消費電力推定1件も報告に残した。これらの結果は、限定された条件での実現可能性を示すとともに、配備を主張する際に隠せない制約を明らかにする。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Sparse activation reduces mixture-of-experts computation without eliminating the need to store all experts. We present Routide, a Swift/MLX runtime that executes the text path of a pinned public Qwen3.6-35B-A3B quantized checkpoint while keeping expert weights in iPhone storage and a byte-budgeted subset in memory. We characterize cache-policy sensitivity, numerical comparison boundaries, and measurement limits. Across five recorded 128-token workloads, fixed-route replay gives 0.00% demand hits with a 512 MiB LRU cache, 18.80% with seeded random eviction at the same budget, and 38.58% with 576 MiB LRU. The apparent capacity cliff is therefore a policy/workload interaction, not a universal memory requirement. Same-runtime Mac controls preserve generated sequences across eviction and asynchronous prefetch, including 2,560 exact token comparisons and 10,334 speculative loads. In contrast, complete resident-Python versus recorded-phone sequences disagree on all five tested cases, precluding a general numerical equivalence claim. Two separately scoped iOS 27 memory protocols observe sampled process-footprint peaks of 1.87-2.32 GiB on short prompts and 2.39-2.73 GiB on one longer prompt. We retain a thermal stopping event, negative timing comparisons, and a single qualified whole-device power estimate. These results establish bounded feasibility and identify limitations that a deployment claim must not hide.
著者のコメント
13 pages, 2 figures. Code: https://github.com/MusaShams/Routide
arXiv ID: 2609.29032 ／ 要約の誤りについて