言い換え判定と理由文を両立する小型の二専門家モデル
R-DEIM Net: An Efficient Rationale-Augmented Dual-Expert Interaction Model for Paraphrase Detection
この論文をやさしく読む
ひとことで言うと
二つの文章が同じ意味か判定しながら、判定理由も文章で出す小型モデルです。
何に役立つ？
言い換え判定に高価な大規模モデルを使いにくい場合、精度と説明文の両方を求める設計の参考になります。
この研究の面白いところ
文章間の細かな対応と理由文の生成を別の専門家に担当させ、7,600万パラメータで約90％の精度を得ています。
どこまで分かった？
理由文が人の判断と一致するかどうかは要旨では評価されていません。精度はQuora Question Pairsでの10分割交差検証の結果です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
近年の言い換え判定には根本的な釣り合いがある。大規模言語モデルは高精度だが計算量が大きく、効率的なSiamese-BERTの変種は規模を拡大しやすいが、判定理由の生成が分かりにくい。本研究は、適度な大きさのモデルが言い換え判定で競争力のある精度を得ながら、人が読める理由を生成できるかを調べる、7,600万パラメータの二専門家構造R-DEIM Netを提示する。一方のInteraction Expertは、複数の尺度の2次元畳み込みと、可変長入力を扱う注意機構によって、トークン単位の類似パターンを捉える。もう一方のReasoning ExpertはFlan-T5-smallのデコーダーを使い、補助的な教師信号として理由文を生成する。生成文を再び符号化するのではなく、デコーダーの隠れ状態を取り出してまとめ、分類の補完的な特徴とする。Quora Question Pairsデータでの10分割交差検証では、精度90.07％、F1値90.16％を達成した。これは強力なTransformerの比較法、例えば精度90.54％のMFAE BERTや、LLaMA-70Bを使う最近の方法と競争力があり、必要なパラメータ数はかなり小さい。モデルは予測とともに理由文も生成し、人が読める補助的な説明として使える可能性がある。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent advances in paraphrase detection reveal a fundamental trade-off: large language models achieve high accuracy but require high computation, while efficient Siamese-BERT variants offer practical scalability with reduced transparency in rationale generation. We present R-DEIM Net, a 76M-parameter dual-expert architecture exploring whether moderate-scale models can achieve competitive accuracy on paraphrase detection while enabling human-readable rationale generation. The architecture combines two specialized components: an Interaction Expert that captures token-level similarity patterns through multi-scale 2D convolutions and attention head allowing variable input length, and a Reasoning Expert that uses a Flan-T5-small decoder to generate rationales as auxiliary supervision. Rather than re-encoding generated text, we extract and pool decoder hidden states as complementary features for classification. On the Quora Question Pairs dataset, R-DEIM Net achieves 90.07\% accuracy and 90.16\% F1-score via 10-fold cross-validation. This represents competitive performance with strong transformer-based baselines (e.g., MFAE BERT: 90.54\% accuracy) and recent large language model based approaches (LLaMA-70B) while using a substantially smaller parameter budget. The model generates rationales alongside predictions, providing potential for auxiliary human-readable descriptions.
arXiv ID: 2609.30100 ／ 要約の誤りについて