金融規制の質問回答で検索を改善しても根拠の正しさは別問題
Automated Regulatory Compliance Question Answering in Financial Services with Domain-Adapted Retrieval-Augmented Generation
この論文をやさしく読む
ひとことで言うと
金融規則を検索して小型言語モデルに回答させる方法を改善し、検索精度の向上と回答の根拠の正しさを区別して検証した研究。
何に役立つ？
金融規制の質問回答システムを設計する際、検索器の改善方法と、回答指標だけでは根拠の正確さを保証できないという評価上の注意点が参考になる。実務での遵守判断を自動化できたという結果ではない。
この研究の面白いところ
Recall@10は0.256から0.774へ改善した一方、文章を検索しないモデルも回答品質指標ではほぼ同じ点数を得た。高い指標値と規則への正しい根拠付けが一致しない可能性を示している。
どこまで分かった？
ObliQAでの検索結果は示したが、調整済みモデルはオーストラリアの判例法の質問に転移しなかった。RePASsによる生成品質の改善は根拠付けの実証ではなく、別の評価手順が必要と要旨は明記している。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
金融機関は複雑で頻繁に改訂される規則集の下で業務を行っており、法令遵守に関する質問に正しく答えるには、流暢さだけでなく権威ある原文に照らして検証できる根拠が必要である。大規模言語モデルはこの用途に魅力的だが、企業が現実的に社内で運用できるのは小型モデルであり、小型モデルは存在しない義務を作り出すことがある。本研究では、分野に合わせて慎重に調整した検索拡張生成の処理系が、その差を埋められるか調べる。検索器はLegalBERTを基盤に三段階で構築する。質問と文章の照合を前提と仮説の再構成として扱う含意学習、バッチ内の負例を使う対照学習、そしてBM25とのスコア段階での融合である。生成器には、4ビット量子化して提供する20億〜120億パラメータの小型モデルを使い、プロンプトのみを与える方法と、LoRAによる検索を考慮した追加学習（RAFT）とを比較する。 アブダビ・グローバル・マーケットの規則集から作った質問回答ベンチマークObliQAでは、段階的に学習した検索器がRecall@10を0.256から0.774へ高め、BM25の0.678と、試した汎用の密ベクトル符号化器で最良だったE5-large-v2の0.758を上回った。続いてRAFT-LoRAは、調整できたすべてのモデルで複合的な回答品質指標RePASsを改善し、最も弱いモデルで改善幅が最大だった。しかし、調整済みモデルはオーストラリアの判例法に関する質問には転移せず、参照文章を一切受け取らないクローズドブックモデルも、出典を示さず義務を誤って述べながら、処理系全体との差がRePASsで0.011以内だった。したがって、検索の改善は直接測定されているが、生成の改善は根拠付けが実証されたというよりRePASs上の改善である。根拠付け自体の評価には、RePASsが提供していない評価手順が必要である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Financial institutions operate under dense, frequently amended rulebooks, and answering a compliance question correctly requires not only fluency but verifiable grounding in the authoritative text. Large language models are attractive for this task, yet the models that firms can realistically deploy on-premise are compact ones, and compact models hallucinate obligations. We study whether a carefully domain-adapted retrieval-augmented generation pipeline closes that gap. Our retriever is built in three stages on top of LegalBERT: entailment tuning that recasts question--passage matching as premise--hypothesis reconstruction, contrastive tuning with in-batch negatives, and score-level fusion with BM25. Our generator is a compact model (2B--12B parameters) served under 4-bit quantization, either prompted or adapted with retrieval-aware fine-tuning (RAFT) through LoRA. On ObliQA, a question-answering benchmark built from the Abu Dhabi Global Market rulebooks, the staged retriever raises Recall@10 from 0.256 to 0.774 and outperforms BM25 (0.678) and E5-large-v2 (0.758), the strongest general-purpose dense encoder we tested. RAFT-LoRA then improves the composite RePASs answer-quality score for every model we could adapt, with the largest gain on the weakest one. However, the adapted models do not transfer to Australian case-law questions, and a closed-book model that receives no passages at all scores within 0.011 RePASs of the full pipeline while producing answers that cite nothing and misstate obligations. The retrieval gain is therefore measured directly, the generation gain is a gain in RePASs rather than demonstrated grounding, and grounding itself requires an evaluation protocol that RePASs does not provide.
著者のコメント
Currently under review
arXiv ID: 2609.30009 ／ 要約の誤りについて