履歴に依存する意思決定モデルをデータで識別できる条件
Exact Distinguishability in Non-Markovian Decision Processes
この論文をやさしく読む
ひとことで言うと
過去の履歴によって動きが変わる環境について、集めたデータだけで2つの候補モデルを区別できるかを判定します。
何に役立つ？
オフラインで意思決定モデルを学ぶ前に、手元のデータがそもそもモデルの区別に十分かを点検するのに役立ちます。区別できない場合に追加すべき実験も扱っています。
この研究の面白いところ
すべての内部状態を訪問していても、候補の区別がつくとは限りません。その点を形式証明し、識別できるかどうかを積オートマトンのサイズに対して線形時間で判定します。
どこまで分かった？
理論は固定された行動方策と有限オートマトンに基づくRDPを対象とします。実験による回復は4つのテスト環境のうち仮定が破れた3環境で確認されており、任意の現実環境での評価ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
非マルコフ環境は、有限オートマトンを介して相互作用の履歴に動態が依存する、正則決定過程（RDP）としてモデル化されることが多い。RDPに対する既存のオフラインでの保証は、行動方策に関する識別可能性の仮定に依存しているが、その仮定を検証する手段を与えていない。仮定が破れると、異なるモデルが同じデータを等しくよく説明し得る。本研究では、固定された行動方策のもとで収集したデータが、2つの候補RDPをいつ識別できるかを調べる。 観測上同値な候補間の事後オッズは、どの標本数でも事前オッズと等しいままであることを証明する。これは、方策がオートマトンのすべての状態を訪問する場合でも成り立つ。両結果をLean 4で形式的に検証する。さらに、この同値性を厳密に特徴付け、積オートマトンの大きさに対して線形時間で同値性を判定するアルゴリズムPECを導出する。先行研究の識別可能性の仮定は、用いた4つのテスト環境のうち3つで成立しないが、PECが特定する実験によって、いずれの場合も識別可能性が回復する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Non-Markovian environments are often modeled as Regular Decision Processes (RDPs), where dynamics depend on the interaction history through a finite automaton. Existing offline guarantees for RDPs rely on a distinguishability assumption on the behaviour policy but provide no means of verifying it. When the assumption is violated, distinct models may explain the data equally well. We study when data collected under a fixed behaviour policy can distinguish two candidate RDPs. We prove that the posterior odds between observationally equivalent candidates remain equal to the prior odds at every sample size, even when the policy visits every automaton state, and verify both results formally in Lean 4. We then characterize this equivalence exactly and derive PEC, an algorithm that decides it in time linear in the size of the product automaton. The distinguishability assumption of prior work fails on three of our four test environments, and the experiment identified by PEC restores it in each case.
著者のコメント
26 pages, 7 figures. Code and Lean 4 proofs: https://github.com/Kcbir/pec
arXiv ID: 2610.01527 ／ 要約の誤りについて