文書の視覚的根拠と中間計算を学んで値を導く
DocMIDE: Learning Multi-Hop Implicit Derivation in Visually Rich Documents
この論文をやさしく読む
ひとことで言うと
書類に直接書かれていない合計値などを、必要な箇所を見つけて途中の計算を順に実行し、導き出すモデルです。
何に役立つ?
考えられる用途は、表の内訳や記号から必要な値を求める文書処理です。4,151組の評価で正解率の改善が報告されています。
この研究の面白いところ
最終的な数字だけを採点せず、根拠の場所と途中の導出を一つずつ報酬の対象にします。正しい根拠を取得しても途中を飛ばしてしまう失敗を狙っています。
どこまで分かった?
95.9%は指定したベンチマークとQwen3.5-4Bでの正解率です。注釈付き学習例の具体的な数や、転用先モデルの成績は要旨には記載されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
現実の文書処理システムは、固定的な事前定義スキーマに依存しているが、重要な対象フィールドに対応する値が、ページ上に直接見える形で存在するとは限らない。こうした暗黙の値を抽出するには、下位分類の合計や視覚的な印に基づく推論など、複数段階の導出が必要になる。既存手法は明示的な文章範囲や単純な暗黙の問いには対応するものの、通常の微調整後も複数段階の視覚的推論で失敗する。誤った視覚的根拠を取り出すか、正しく取り出しても導出の中間段階を飛ばしてしまうためである。 この問題に対して、答えを導く前に視覚的根拠を明示的に取り出すよう小型視覚言語モデルを学習する、微調整の枠組みDocMIDEを導入する。DocMIDEは生成を「計画・取得・導出」の構造に制約し、グループ相対方策最適化(GRPO)を用いて最適化する。その際、検証済みの参照手順と照合し、出力形式、取得した根拠ブロック、すべての中間導出段階、最終値を採点する、四要素のルールベース報酬を使う。 4,151組の暗黙的抽出ベンチマークで、DocMIDEは少数の注釈付き例だけからQwen3.5-4Bの正解率を70.8%から95.9%へ高め、二つ目の基盤モデルのアーキテクチャにも転用できた。教師付きの実演だけでは、試したどの予算でもこの差を埋められず、中間段階に報酬を与えることが差を埋めた。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21(UTC)
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Real-world document processing systems rely on rigid, predefined schemas, yet critical target fields often lack direct visual counterparts on the page. Extracting these implicit values requires multi-hop derivation, such as aggregating sub-categories or reasoning over visual marks. While existing methods handle explicit text spans or simple implicit queries, they fail at multi-hop visual reasoning even after standard fine-tuning: models retrieve incorrect visual evidence, or retrieve it correctly and then skip the intermediate steps of the derivation. To address this, we introduce DocMIDE, a fine-tuning framework that trains compact vision-language models to retrieve visual evidence explicitly before deriving an answer. DocMIDE constrains generation to a plan-retrieve-derive structure and optimizes it with Group Relative Policy Optimization under a four-component, rule-based reward that scores output format, the retrieved evidence block, every intermediate derivation step, and the final value against a verified reference trace. On a 4,151-pair implicit extraction benchmark, DocMIDE raises accuracy from 70.8% to 95.9% on Qwen3.5-4B from only a small set of annotated examples, and transfers to a second backbone architecture. Supervised demonstrations alone do not close this gap at any budget we tested; rewarding the intermediate steps is what does.
arXiv ID: 2609.24092 / 要約の誤りについて