企業文書をPDF経由で検索用の文章区間に変換する
Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion
この論文をやさしく読む
ひとことで言うと
さまざまな企業文書を一度PDFとして表示し、表や見出しを文章として整理してから、検索しやすい区間へ分割する方法です。分割計画では本文を繰り返し出力せず、IDを使います。
何に役立つ？
考えられる用途は、社内文書をRAG向けに取り込む際の区間分割費用と時間を減らすことです。表を単独でも意味の通る文章にする点は、表の一部だけを検索したときの理解に関係します。
この研究の面白いところ
最初の視覚情報の読み取りにはマルチモーダルLLMを使い、その後の分割は決定的な解析とID単位の計画に分けています。入力形式をPDFにそろえることで、形式ごとの処理を共通化します。
どこまで分かった？
実測対象は5分野のPDF236文書・795ページです。95.7%のトークン削減と費用・時間の削減率は区間分割段階の比較であり、変換を含む処理全体の削減率とは記されていません。エラーなしという処理結果だけで、全文の意味の正確さやRAG回答精度まで保証するものではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
企業の知識ベースを対象とする検索拡張生成（RAG）システムは、PDF、Word文書、プレゼンテーション、スキャンなど、多様な形式の文書を取り込む必要がある。内容は複雑な視覚的レイアウト、複数段組み、密な表の中に埋め込まれている。規則に基づく抽出とOCRは読む順序を崩し、表を平坦化し、見出し階層を失わせる一方、抽出テキスト全体に対する完全にエージェント型の区間分割は、多額のトークン費用と幻覚のリスクを伴う。 本研究では、Web Retrieval-Aware Chunking（W-RAC）の枠組みを任意の文書形式に拡張したDocument Retrieval-Aware Chunking（D-RAC）を提案する。D-RACはまず、ほぼすべての形式を忠実かつ決定的にPDFへ描画できることを利用し、入力文書をPDFに正規化する。その後、マルチモーダルLLMを1回通し、描画されたページを検索に適したMarkdownへ変換する。この際、表をそれだけで意味の通る文章に書き換え、見出し階層を保つ。続く区間分割はW-RACと同じであり、決定的な解析によってIDで参照できる単位へ分けた後、本文ではなく識別子を使って軽量なLLMによる分割計画を行う。区間分割の間に元の文章を再生成しないため、W-RACの費用、決定性、観測可能性の利点を保ちつつ、描画できるあらゆる形式を直接の入力として扱える。 企業の5分野にまたがるRAG-Multi-CorpusベンチマークのPDF部分集合236文書・795ページでは、全コーパスをエラーなしで72分間で変換・分割し、検索に使える1,748区間を生成した。先端LLMを使うエージェント型分割と比べ、区間分割段階の出力トークンを95.7%削減し、分割費用をGPT-4.1の価格換算で77.8%、Gemini 2.5 Proの価格換算で85.6%、分割時間を75%削減した。D-RACは500ページを超える文書に対しても線形に拡張する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Retrieval-Augmented Generation (RAG) systems over enterprise knowledge bases must ingest heterogeneous document formats -- PDFs, Word documents, presentations, and scans -- whose content is locked inside complex visual layouts, multi-column pages, and dense tables. Rule-based extraction and OCR destroy reading order, flatten tables, and lose heading hierarchy, while fully agentic chunking over extracted text incurs high token costs and hallucination risk. We present Document Retrieval-Aware Chunking (D-RAC), an extension of our Web Retrieval-Aware Chunking (W-RAC) framework to arbitrary document formats. D-RAC first normalizes any input document into PDF, exploiting the fact that virtually every format has a faithful, deterministic PDF rendering. A single multimodal LLM pass then converts rendered pages into retrieval-optimized Markdown -- rewriting tables as self-contained prose statements and preserving heading hierarchy -- after which chunking proceeds exactly as in W-RAC: deterministic parsing into ID-addressable units followed by lightweight LLM-based chunk planning over identifiers rather than text. Source text is never regenerated during chunking, preserving W-RAC's cost, determinism, and observability benefits while unlocking every renderable format as a first-class input. On the 236-document, 795-page PDF subset of the RAG-Multi-Corpus benchmark spanning five enterprise domains, D-RAC converts and chunks the entire corpus in 72 minutes with zero errors, producing 1,748 retrieval-ready chunks. Compared to agentic chunking with frontier LLMs, D-RAC reduces chunking-stage output tokens by 95.7%, cutting chunking cost by 77.8% (GPT-4.1 pricing) to 85.6% (Gemini 2.5 Pro pricing) and chunking time by 75%. D-RAC scales linearly to documents of 500+ pages.
著者のコメント
14 pages, 2 figures, 10 tables
arXiv ID: 2609.24220 ／ 要約の誤りについて