arXiv論文メモ
新着一覧
cs.HC / cs.AI · 査読状況未確認

欺瞞の疑いを論証の型と質問で点検するウェブツール

DeceptionAnalyser: A Web-Based AI Tool for Performing Structured Deception Analysis with Argumentation Schemes and LLMs

Stefan Sarkadi, Xabier Garmendia, Jack Mumford and Trevor Bench-Capon

この論文をやさしく読む

ひとことで言うと

文章を「うそか本当か」と自動判定するのではなく、どの前提や推論を詳しく調べるべきかを整理するツールです。10種類の論証パターンと、それを問い直す質問を使います。

何に役立つ?

分析者が疑わしい主張を点検し、判断の理由を説明するための補助として利用することが考えられます。出力の一致度を調べることで、分析手順の安定性を検討しています。

この研究の面白いところ

言語モデルごとに評価が変わり得ることを前提に、10モデルと複数回の実行を比較しています。結論だけでなく、抽出した前提や批判的質問を通して判断過程を追える構成です。

どこまで分かった?

分類精度は測定していません。モデル間や実行間の一致は判定の正しさと同じではなく、この結果から欺瞞を高精度で検出できるとは言えません。曖昧な文章では検出の安定性が低下すると報告しています。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

欺瞞はインテリジェンス活動で中心的な役割を果たすが、推論パターンと認知操作に関する専門知識なしに体系的に分析することは難しい。例えば計算論的論証の分野には、統計的な検証に使える、論証スキーム単位の正解付きコーパスが現在存在しない。本論文では、異なる形態の欺瞞をモデル化するために設計した10種類の論証スキームを導入し、それぞれに構造化した前提と批判的な質問を付ける。この取り組みにより、欺瞞分析に特化して設計された初の論証スキーム集を導入し、叙述的な文章における欺瞞を体系的にモデル化・分析するための構造化された基盤を提供する。 続いて、大規模言語モデル(LLM)による前提抽出と、批判的な質問に基づく評価を組み合わせた2段階の方法によって、これらのスキームを実装するブラウザーツールDeceptionAnalyserを提示する。目的は、叙述的な文章中の欺瞞的推論を分析するための、概念的・方法論的な基盤を提供することにある。構造化された論証理論とAI支援分析が、欺瞞の可能性について透明性があり説明可能な評価をどう支えられるかを示すことが、本論文の取り組みである。 スキームは欺瞞かどうかの判定を出すためではなく、精査すべき主張を示すために設計されている。そのため分類精度のベンチマーク評価は行わず、代わりに、現代の10種類のLLMと繰り返し実行の間で、ツールによる前提・結論の評価がどれだけ一致するかを測り、方法の信頼性を評価する。明白な欺瞞ではスキームの検出が非常に安定している一方、より曖昧なインテリジェンス風の叙述では、性能が解釈可能な形で緩やかに低下することが分かった。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-21(UTC)
最新改訂
2026-09-21 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Deception plays a central role in Intelligence operations, yet it remains difficult to analyse systematically without expert knowledge of reasoning patterns and cognitive manipulation. In computational argumentation, for instance, no scheme-level ground-truth corpora currently exist to support statistical validation. In this paper, we address this by introducing a set of ten argument schemes designed to model distinct forms of deception, each accompanied by structured premises and critical questions. In doing so, we introduce the first dedicated library of argumentation schemes specifically designed for deception analysis, providing a structured foundation for systematically modelling and analysing deception in narrative text. We then present \textit{DeceptionAnalyser}, a browser-based tool that implements these schemes through a two-stage methodology combining LLM-based premise extraction with critical-question-driven evaluation. Our aim is to provide a conceptual and methodological foundation for analysing deceptive reasoning in narrative text. This is precisely what we address in this paper by demonstrating how structured argumentation theory and AI-assisted analysis can support transparent, explainable assessments of potential deception. Because the schemes are designed to flag claims for scrutiny rather than to output a deception verdict, we do not benchmark classification accuracy; instead, we assess the \emph{reliability} of the methodology by measuring the consistency of the tool's premise and conclusion assessments across ten contemporary large language models and repeated runs. We find that scheme detection is highly stable for clear-cut deception and degrades gracefully, in interpretable ways, on more ambiguous intelligence-style narratives.

著者のコメント

36 pages

arXiv ID: 2609.24369 / 要約の誤りについて