生成AIの監査で人とAIの役割をどう分けるか
Who Does What in AI Auditing? Designing Human-AI Collaboration for Auditing Generative AI
この論文をやさしく読む
ひとことで言うと
AIサービスを調べる監査で、AIに支援させる部分と人が判断する部分をどう分けるかを研究しています。AI支援の利点だけでなく、監査担当者の依存が増える点も調べています。
何に役立つ？
監査支援システムの役割分担や、証拠の残し方、レビュー工程を設計する材料になります。網羅範囲と再現性を見えるようにすることが実務者から求められています。
この研究の面白いところ
71人の評価で、探索範囲や攻撃成功が増えるのと同時に、AIの出した評価・報告への依存も増えました。支援の効果と、人間の判断への影響を同時に扱っています。
どこまで分かった？
具体的な評価対象は会話型ショッピングエージェントです。要旨には効果の数値や、他分野の監査に同じ役割分担が通用するかの結果はありません。監査を担うAI自身も評価すべきだとしています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
AI監査では、監査対象の規模と範囲を広げるためにAIエージェントを取り入れる動きが進んでいる。しかし、人間の判断を置き換えずに監査業務をどう分担すべきかは、ほとんど分かっていない。我々は、AI監査における人とAIの協働を構造化するワークフローおよびシステムHuman-Agent Audit Collaboration（HAAC）を導入する。先行研究とAI監査の実務者への初期段階の相談に基づき、文脈に即した判断が重要な場面では人間による監督を維持しながら、探索、評価、報告、レビューをエージェントがどう支援できるかをHAACで定める。HAACを会話型ショッピングエージェント向けに具体化し、二つの研究を通じて評価する。71人の監査担当者による研究では、AIの支援は攻撃成功を増やし、探索を広げる一方、その後の攻撃の組立てにも影響し、AIが生成する評価や報告への監査担当者の依存を高めた。責任あるAIの実務者へのインタビューから、対処につながる監査には、網羅範囲の可視化、再現可能な攻撃軌跡、監査エージェント自体の評価が必要だと分かった。これらの知見は、効果的で説明責任を果たせる、人とAIによる監査の設計上の考慮事項を明らかにする。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
AI auditing increasingly incorporates AI agents to expand the scale and breadth of audit coverage, yet little is known about how auditing work should be divided without displacing human judgment. We introduce Human-Agent Audit Collaboration (HAAC), a workflow and system for structuring human-AI collaboration in AI auditing. Drawing on prior work and formative consultations with AI auditing practitioners, HAAC specifies how agents can support exploration, assessment, reporting, and review while preserving human oversight where contextual judgment is critical. We instantiate HAAC for conversational shopping agents and evaluate it through two studies. With 71 auditors, AI assistance increased attack success and broadened exploration, while also shaping later attacks and increasing auditors' reliance on AI-generated assessments and reports. Interviews with Responsible AI practitioners showed that actionable audits require visibility into coverage, reproducible attack trajectories, and evaluation of the auditing agents themselves. Our findings identify design considerations for effective and accountable human-AI auditing.
著者のコメント
Preprint
arXiv ID: 2609.24986 ／ 要約の誤りについて