文書を検索と推論に使える短い状態へ変換
Machine-Interpretable Information: Compiling Documents into Searchable and Readable Protocol States
この論文をやさしく読む
ひとことで言うと
長い文書を異なる言語モデルでも使える短い状態に変え、検索と推論に使う方法。
何に役立つ？
長文の検索拡張で、毎回本文全体を読み込む計算費用を下げる用途に役立つ可能性がある。
この研究の面白いところ
56トークンの共通状態を別のモデルの埋め込み空間へ移し、局所的な根拠を補う構成にした。
どこまで分かった？
HotpotQAでの結果は7,405問の評価による。固定幅だけでは細かな語句の再構成が難しく、補助の局所的な証拠を使っている。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
長文を扱う言語モデルは外部知識を通常の文章として受け取る。検索を組み合わせる方式では、密なベクトルで必要な文書を探せても、推論時に長い本文を再び読み込むため、注意計算の費用がO(N²)となる。既存の圧縮法も、特定のモデル構造に結び付いた内部状態を作りがちである。Machine-Interpretable Information（MII）は、エージェント間で文書を状態へ変えるための手順である。二つの時間尺度を持つ状態空間型のWriterが文書を固定幅の標準状態、56トークンへ変換し、軽量なTranslatorがそれを、重みを固定した任意のReaderの埋め込み空間へ写す。これにより質問時の費用をO(K)に減らす。得られる.mii形式は、検索できる幾何表現、全体を覚える推論用の記憶、根拠となる細部の再構成を一つの移植可能な媒体にまとめる。Writerが古いGPT-2の語彙を使うにもかかわらず、Llama、Qwen、Mistralなど異なる言語モデル間で良好な互換性を示し、単なるトークンの暗記でなく意味の翻訳が起きているとする。内部の調査では、物体や人物などの表現を因果的に追跡し、無関係な文書状態の間へ追加学習なしで移しても復号できた。固定幅では語句の再構成が難しいため、全体の圧縮記憶と局所的な根拠を組み合わせるResidual-MIIも提案する。HotpotQAの7,405問では、全文を文脈に入れる場合より正確一致率が高く、注意計算量は約7％だった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Long-context language models interface with external knowledge through raw natural language. In retrieval-augmented systems, this creates a persistent index-payload schism: dense vectors enable searchable routing, but models must re-ingest lengthy text payloads for reasoning at O(N^2) attention cost. Existing compression methods further produce private states tied to specific architectures. We introduce Machine-Interpretable Information (MII), the first agent-to-agent (A2A) document-to-state protocol. A dual-timescale state-space Writer compiles documents into a canonical, fixed-bandwidth state (56 tokens), and a lightweight Translator maps it into any frozen Reader's embedding space, reducing query-time cost to O(K). The resulting .mii artifact unifies Retrieval (searchable geometry), Reasoning (global memory), and Reconstruction (grounded details) in a single transferable medium. We demonstrate strong cross-model interoperability across heterogeneous LLMs (e.g., Llama, Qwen, Mistral) -- despite the Writer using a legacy GPT-2 vocabulary, forcing genuine semantic translation rather than token-level memorization. Mechanistic probes reveal modular latent structure: entity representations can be causally traced and zero-shot transplanted between unrelated document states while remaining decodable. To address lexical reconstruction under fixed bandwidth, we propose Residual-MII, a cache hierarchy combining compiled global memory with sparse local evidence. On HotpotQA (7,405 queries), Residual-MII exceeds full-context Exact Match at approximately 7% of the attention FLOPs, suggesting a paradigm shift toward compiled, transferable neural document formats.
著者のコメント
21 pages, 5 figures
arXiv ID: 2609.23371 ／ 要約の誤りについて