平衡モデルの更新を離散最適化して時系列を予測する
Q-DEQ: Discrete Solving and Quantization for Deep Equilibrium Models in Time Series Forecasting under Edge Deployment Coding Constraints
この論文をやさしく読む
ひとことで言うと
同じ層を反復して使う予測モデルで、更新の決め方を二値の組合せ問題に置き換え、保存容量も抑える研究です。
何に役立つ?
考えられる用途は、重みの保存容量が限られた機器での時系列予測や、異なる最適化装置の利用です。CPUとCIMで後段の予測が近いことを確認しています。
この研究の面白いところ
層の共有による小型化と、更新係数の離散化を組み合わせています。低ビット化は固定点計算後の再順伝播に適用する設計です。
どこまで分かった?
五つのデータセットすべてで誤差が減ったわけではありません。W8A8は疑似量子化で、静的な保存容量の削減を実機の実行速度や消費電力の改善と同一視できません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
エッジ環境への配置では、パラメータの保存容量が小さく、低ビット表現を使う予測モデルが求められる。深層平衡モデル(DEQ)は、共有層を繰り返し適用することで暗黙的な深さを得て、層を明示的に積み重ねる場合のパラメータ費用を減らす。しかし通常用いるAndersonソルバは、更新係数を連続な実数領域で探索する。本研究では、DEQの順伝播計算の局所更新を離散最適化問題として定式化するQ-DEQを提案する。現在の状態と反復履歴から候補方向を構築し、局所的な二次残差モデルでそれらの組合せを評価する。方向係数を二進符号化すると、シミュレーテッドアニーリング(SA)またはコヒーレント・イジングマシン(CIM)で解ける、二次制約なし二値最適化(QUBO)問題が得られる。固定点計算の後、再度の順伝播で共有層の重みと活性値にW8A8の疑似量子化を適用する。 iTransformerを基盤として、多変量時系列予測の五つのデータセットでQ-DEQを評価する。明示的な多層ベースラインに対するMSEの相対差は−1.16%から+2.90%で、二つのデータセットでMSEが低かった。DEQのパラメータ共有によってパラメータ数は1/1.80〜1/3.82になり、W8A8と組み合わせると静的な重み保存容量は1/4.3〜1/12.8になった。CPU上のSAとKaiwu CIM実機バックエンドで局所QUBO問題を解くと、後段の予測はよく一致した。これらの結果は、局所的な離散求解がDEQによる時系列予測の実行可能な構成要素であることを示し、異なる組合せ最適化バックエンドを通じて固定点更新を実行する道筋を与える。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21(UTC)
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Edge deployment motivates forecasting models with compact parameter storage and low-bit representations. Deep equilibrium models (DEQs) obtain implicit depth by repeatedly applying a shared layer, reducing the parameter cost of explicit layer stacking. Their usual Anderson solver, however, searches for update coefficients in the continuous real domain. We propose Q-DEQ, which formulates local updates in DEQ forward solving as discrete optimization problems. Candidate directions are constructed from the current state and iteration history, and a local quadratic residual model is used to evaluate their combinations. Binary encoding of the direction coefficients yields a quadratic unconstrained binary optimization (QUBO) problem that can be solved by simulated annealing (SA) or a coherent Ising machine (CIM). After fixed-point solving, a re-forward pass applies W8A8 fake quantization to the shared layer's weights and activations. We evaluate Q-DEQ with an iTransformer backbone on five multivariate time series forecasting datasets. Relative MSE differences from the explicit multi-layer baseline range from $-1.16\%$ to $+2.90\%$, with lower MSE on two datasets. DEQ parameter sharing reduces parameter counts by factors of $1.80\times$--$3.82\times$; combined with W8A8, static weight storage is reduced by factors of $4.3\times$--$12.8\times$. Local QUBO problems solved using CPU-based SA and the Kaiwu CIM physical backend produce closely matching downstream forecasts. These results establish local discrete solving as a viable component of DEQ time series forecasting and provide a route for executing fixed-point updates through different combinatorial optimization backends.
arXiv ID: 2609.24042 / 要約の誤りについて