証拠・審査・監査を組み込んだLLM意思決定支援
Policy-as-Skill: Governed LLM Decision Support with Evidence, Deterministic Control, and Audit
この論文をやさしく読む
ひとことで言うと
組織の方針に関する LLM の判断支援に、証拠検証、審査、監査を組み込んだ仕組みを評価した。
何に役立つ？
方針やコンプライアンスの支援システムで、引用や監査記録を含めて性能を評価する参考になる。要旨の実験は固定モデルと開発用600課題による。
この研究の面白いところ
PaS+Audit は引用精度と監査情報の完全性で1.000を報告した一方、厳密一致の正解率は53.8％だった。
どこまで分かった？
決定論的制御の効果は課題依存であり、開発用課題での数値を実運用の正確さと同一視できない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
組織では方針、コンプライアンス、リスク、業務上の判断支援に大規模言語モデル LLM を使うことが増えており、証拠の検証、審査への振り分け、版の管理、監査可能性が必要になる。本研究は、これらの機能を実行可能で版管理された方針の能力としてまとめる、モジュール式の実行基盤 Policy-as-Skill、略して PaS を提案する。固定した Gemma4 を基盤モデルとして、開発用の600課題で13の手法を評価した。PaS+Audit は、厳密一致の正解率53.8％、マクロ F1 が0.346、審査の F1 が0.854、引用精度1.000、方針参照の再現率0.984、監査情報の完全性1.000を達成し、統治と審査に関する指標の大半で LLM+RAG を上回った。決定論的な制御を加えると全体の正解率は61.2％に上がるが、効果は課題に強く依存し、規則に基づく介入をすべてに適用するより、選択的に使うべきことを支持する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Organizations increasingly use LLMs for policy, compliance, risk, and operational decision support, requiring evidence validation, review routing, version control, and auditability. We introduce Policy-as-Skill (PaS), a modular runtime that packages these functions as executable, versioned policy capabilities. Thirteen methods are evaluated with a fixed Gemma4 backend on 600 development tasks. PaS+Audit achieves 53.8% exact accuracy, macro-F1 0.346, review F1 0.854, citation precision 1.000, policy-reference recall 0.984, and audit completeness 1.000, outperforming LLM+RAG on most governance and review metrics. Deterministic control raises aggregate accuracy to 61.2% but is strongly task dependent, supporting selective rather than universal rule-based intervention.
arXiv ID: 2609.27087 ／ 要約の誤りについて