知識グラフ質問応答で答えだけでなく経路を評価
The Path Matters: Evaluating Small Language Models Beyond Answer Accuracy in KGQA
この論文をやさしく読む
ひとことで言うと
知識グラフを進む小型言語モデルを、答えの正しさと通った経路の両方で測った。
何に役立つ？
考えられる用途は、グラフ質問応答で移動の失敗と答え生成の失敗を分ける評価である。
この研究の面白いところ
合法な一手だけを選ばせる設定にして、経路編集距離で推論経路を直接比べる。
どこまで分かった？
二つの知識グラフ課題での比較であり、自由形式の答え生成は評価していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
小型言語モデルと知識グラフの組み合わせが増えているが、最終的な質問応答の成績だけでは、グラフへのアクセス、探索、移動、推論、答えの生成が混ざり、どこで失敗したか分からない。本研究は、質問が示す推論経路を小型モデルが忠実にたどれるかを切り出すため、THESEUSという移動と追跡可能性の枠組みを使い、既存の小型モデルをパラメータ更新なしの局所的な行動方策として評価する。各段階で環境がグラフ上の合法な移動先を示し、モデルは実行可能な移動を一つ選んで停止するか決める。課題固有の学習、モデルが制御するビーム探索、自由形式の答え生成は行わない。この条件で、最終回答のHits@1に加え、経路編集距離（PED）を主な軌跡指標として経路の忠実度を評価する。KinshipとMQuAKE-STの知識グラフ質問応答では、同じ程度の大きさの局所モデルでも回答正解率と経路忠実度に大きな違いがあり、二指標が別のモデルを高く評価する場合もあった。一つの実演経路を与えることも、モデルによって移動を良くしたり悪くしたりした。結果は、小型モデルのグラフ推論を最終回答の正解率だけで評価すべきではないことを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Small language models (SLMs) are increasingly paired with knowledge graphs (KGs), yet end-to-end KG question answering conflates graph access, search, navigation, reasoning, and answer generation. This coupling makes it difficult both to determine whether an SLM can faithfully execute the reasoning path implied by a question and to attribute failures to navigation rather than to other stages of the pipeline. We isolate this capability by employing the THESEUS navigation and traceability framework and using frozen, off-the-shelf SLMs as local action policies. At each hop, the environment exposes the legal outgoing graph actions, and the model selects one executable graph action and decides whether to stop, without task-specific parameter updates, model-controlled beam search, or free-form answer generation. This controlled setting allows us to evaluate terminal-answer accuracy with Hits@1 together with path fidelity, using Path Edit Distance (PED) as the primary trajectory metric. Across the Kinship and MQuAKE-ST KGQAs, similarly sized local models differ substantially in answer accuracy and path fidelity, with the two metrics sometimes favoring different models. This model-dependent behavior also extends to prompting, as a single demonstrated trajectory can improve or degrade navigation depending on the model. These results motivate evaluating SLM graph reasoning beyond endpoint accuracy alone.
著者のコメント
5 pages. Official implementation available at https://github.com/HalcyonSolutions/LLM_KGQA
arXiv ID: 2609.27669 ／ 要約の誤りについて