量子回路形式の追加層で拡散言語モデルを適応させる
Circuit Hypernetworks for Quantum-Augmented Diffusion Language Models
この論文をやさしく読む
ひとことで言うと
言語モデル本体を固定し、各トークンに応じた量子回路形式の計算を追加して性能を調整する方法です。必要な値は古典計算で厳密に求められる構造を使います。
何に役立つ？
モデル全体を学習し直さず、追加モジュールによって適応させる設計の一例になります。要旨は複数のベンチマークで平均スコアが改善したと報告しています。
この研究の面白いところ
回路を大きくしても、必要な期待値の計算費用が量子ビット数に対して線形となる点です。量子回路の形式を取り入れながら、古典計算で扱える範囲を保っています。
どこまで分かった？
実量子機による高速化や量子的な計算優位性を示した結果ではありません。HyperQと古典ベースラインでは微調整のデータ数が異なるため、その条件も含めて比較を読む必要があります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語モデルは、各トークンに適用する計算を変えることで適応させられる。量子回路はその一つの方法だが、大きなモデルの内部で幅の広い回路を評価するには多くの計算を要する場合がある。本研究では、凍結したマスク型拡散言語モデルへ、トークンを条件とする量子残差分岐を加えるHyperQを導入する。 量子残差分岐は各Transformerブロック内のモジュールであり、トークンの隠れ状態を読み、そのトークンに対応する回路の座標を生成して実行し、測定値を残差接続を通じて加え戻す。基盤モデルは凍結したままとし、追加した分岐だけを学習する。各分岐では、軽量の回路ハイパーネットワークが、共通の疎な回路構造に対して、トークンごとの回転角、結合強度、測定軸を生成する。 必要な期待値には厳密な古典的表式があり、その評価費用は量子ビット数に対して線形に増える。このため、11億パラメータの基盤モデル内で、16～64量子ビットの回路を学習できる。下流ベンチマーク全体で、回路幅を広げると平均スコアは47.65から54.30へ上がる。64量子ビットでは、HyperQは元の基盤モデルとその低ランク適応版を、それぞれ4.71ポイント、3.67ポイント上回る。HyperQの微調整には20,000組のプロンプトと応答を使い、古典的ベースラインには200,000組を使う。これらの知見は、トークンを条件として回路を生成する方法が、量子回路で拡張する言語モデルの計算可能なアーキテクチャとなることを支持する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Language models can be adapted by changing the computations applied to individual tokens. Quantum circuits offer one such approach, but evaluating wider circuits inside a large model can be computationally demanding. Here we introduce HyperQ, which adds token-conditioned quantum residual branches to a frozen masked-diffusion language model. A quantum residual branch is a module in each transformer block that reads a token's hidden state, emits the coordinates of that token's circuit, executes it, and adds the measured values back through a residual connection. The backbone remains frozen, and only the added branches are trained. Within each branch, a lightweight circuit hypernetwork emits token-specific rotation angles, coupling strengths, and measurement axes in a shared sparse circuit structure. The required expectation values have an exact classical expression whose evaluation cost grows linearly with the qubit count, enabling circuits from 16 to 64 qubits to be trained within a 1.1-billion-parameter backbone. Across downstream benchmarks, increasing circuit width raises the average score from 47.65 to 54.30. At 64 qubits, HyperQ exceeds the backbone and its low-rank-adapted counterpart by 4.71 and 3.67 points, respectively. HyperQ is fine-tuned on 20,000 prompt-response pairs, compared with 200,000 for the classical baselines. These findings support token-conditioned circuit emission as a tractable architectural approach to quantum-augmented language modelling.
著者のコメント
Work in progress
arXiv ID: 2609.24657 ／ 要約の誤りについて