エジプト南部のアラビア語方言に対するLLMの偏りを検証
Some Dialects Are More Equal Than Others: Non-Prestigious Arabic Dialectal Bias in LLMs
この論文をやさしく読む
ひとことで言うと
同じエジプト・アラビア語でも、カイロ方言に比べてサイーディー方言の表現がLLMで不利に扱われ、問題への回答性能も落ちるか調べています。
何に役立つ？
言語名だけで性能をまとめず、地域方言ごとの利用しやすさや評価データの偏りを確認するために役立ちます。
この研究の面白いところ
表現を自然と判断するかという統語上の選好と、知識問題を解けるかという下流性能に、同じ方言特徴を使って着目しています。
どこまで分かった？
要旨には偏りや性能低下の具体的な大きさ、対象モデル数はありません。社会的威信の違いは方言そのものの言語的な優劣を意味せず、代表性不足と性能低下の因果関係すべてを確定したという記述でもありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自然言語処理におけるエジプト・アラビア語の先行研究は、社会的威信の高いカイロ方言（CEA）に大きく偏ってきた。その結果、威信がより低いサイーディー方言（SEA）は、LLMと資源の開発の双方で十分に代表されていない。この代表性の不足は、SEAの容認性についてのLLMの判断という上流段階に影響するのか。また、SEAに対する上流の偏りは、下流段階での性能低下につながるのか。 本研究では、対象を絞った統語評価（TSE）課題で、SEAの方言特徴がLLMの選好へ与える上流の影響を調べる。その結果、複数のLLMでSEAに対する有意な偏りが明らかになった。続いて、同じ特徴がMMLUベンチマークにおける下流のモデル性能へ及ぼす影響を分析し、SEAで提示するとモデル性能が低下することを示す。本研究は、言語内のより細かな方言差が言語技術へ与える影響を、さらに調べる必要性を示している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Previous work on Egyptian Arabic in NLP has focused largely on the prestigious Cairene Egyptian Arabic (CEA) dialect, resulting in a lack of representation for the less prestigious Sa'idi Egyptian Arabic (SEA) dialect both in LLM and resource development. Does this lack of representation influence an LLM's view of the acceptability of SEA (upstream), and does an upstream bias against SEA lead to worse performance (downstream)? We investigate the upstream effect of SEA dialectal features on LLM preferences in a Targeted Syntactic Evaluation (TSE) task which reveals a significant bias against SEA across multiple LLMs. We then analyze the effect of these same features on downstream model performance on MMLU benchmarks and show that models experience a degradation in performance when presented with SEA. This work highlights the need for further exploration on how sub-dialectal variation impacts language technologies.
arXiv ID: 2609.23955 ／ 要約の誤りについて