LLMがグラフ記述言語で失敗する箇所を調べる
Where LLMs Fail with Visualization DSLs
この論文をやさしく読む
ひとことで言うと
LLMがグラフの仕様を書く際の失敗を、記述言語の設計との関係で分析する研究です。
何に役立つ？
LLMにグラフを作らせるための言語や検証処理を設計する際に役立つ知見を目指しています。
この研究の面白いところ
人が書きやすい言語ならモデルも扱いやすいとは限らない、という点を複数のDSLとモデルで検討します。
どこまで分かった？
要旨には四つの失敗パターンの具体的な内容や発生率、各モデルの名称は記載されていません。新しいDSLの性能改善を実証したという報告ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）が可視化用のドメイン特化言語（DSL）を使ってグラフを作成する役割を担うようになると、それらの言語を形作ってきた人間側の制約は、もはや当てはまらないかもしれない。人にとって容易なことが、モデルにとっても容易とは限らないためである。LLMがDSLをよりうまく扱えるようにする方法を理解するため、現在のDSL設計で、どこで、どのように失敗するかを調べる。 JSON形式の可視化DSLを10種類、41のタスクと3種類のLLMで評価し、生成された仕様をJSONの検査、描画の検査、失敗例の質的コーディングによって調べる。この仕様生成過程の失敗の仕方を分析し、繰り返し現れる四つの失敗パターンを特定する。それぞれをDSLの具体的な機能と結び付け、今後のDSL設計で考慮すべき事項を論じる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
As LLMs take up the role of authoring charts using visualization domain-specific languages (DSLs), the human constraints that shaped those languages may no longer apply, as what is easy for a person is not necessarily easy for a model. To understand how LLMs might work better with DSLs, we explore where and how they fail with current DSL designs. We evaluate 10 JSON-style visualization DSLs with 41 tasks across 3 LLMs, then assess the generated specifications with JSON and rendering checks, and qualitative coding of failed cases. Analyzing how this specification generation process fails, we identify four recurring failure patterns, link each to specific DSL features, and discuss design considerations for future DSL designs.
著者のコメント
VIS 2026 VISxGenAI, 6 pages, 3 figures
arXiv ID: 2610.01873 ／ 要約の誤りについて