テネシー州の交通事故重症度予測と標本抽出の影響
Adapting a Large Language Model Crash-Severity Pipeline to Tennessee: Performance Across Sampling Strategies
この論文をやさしく読む
ひとことで言うと
交通事故の重症度を言語モデルで予測し、データの抽出法によって評価がどう変わるかを調べた研究です。
何に役立つ？
事故分析で予測モデルの性能を読む際、死亡事故のようなまれな分類と評価集団の構成を確認する手掛かりになります。
この研究の面白いところ
重み付きF1が約80％でも死亡事故のF1は27％未満という例を示し、全体指標だけでは弱点を見落とすと明らかにしています。
どこまで分かった？
抽出法ごとにテスト集合が異なるため、方法間の数値を統制された直接比較として順位付けできません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
州ごとの交通事故データベースは構造、符号化、傷害の重症度分布が異なり、予測処理を地域をまたいでそのまま再利用するのは難しい。本研究は、大規模言語モデルを使うSafeTraffic Copilotの事故重症度予測を、テネシー州の3年間に記録された62万4,392件の事故へ適応させる。事故、道路、車両、人物の属性を整合させて文章のプロンプトへ変換し、得られない値は推測せず欠けたまま保持した。Llama 3.1 8Bを低ランク適応で微調整し、傷害重症度を5分類した。 無作為抽出、郡に基づく抽出、重症度を均衡させた抽出を、標本内と未使用のテストの実験で評価した。未使用テストの実験は、訓練・検証・テストを70％・15％・15％に分けた。それぞれの未使用テスト集合で、無作為抽出と郡に基づくモデルの重み付きF1は約80％だったが、マクロF1は47％未満、死亡事故のF1は27％未満だった。全体指標が高くても、まれな結果の識別が弱いことを示す。重症度を均衡させたモデルは、その均衡した評価集団内で重み付きF1とマクロF1がともに57.7％、死亡事故F1が65.9％で、分類ごとの性能がより均等だった。ただし、抽出法ごとに異なるテスト部分集合を使ったため、方法間の差は記述的なもので、条件を統制した順位ではない。言語モデルによる事故重症度予測は、標本抽出、分類の偏り、分類ごとの指標、評価集団の構成を合わせて解釈する必要がある。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
State crash databases differ in structure, coding, and injury-severity distributions, limiting direct reuse of predictive workflows across jurisdictions. This study adapts the SafeTraffic Copilot large language model (LLM) crash-severity workflow to a three-year Tennessee inventory of 624,392 crashes. Tennessee crash, roadway, vehicle, and person attributes were harmonized and converted into textual prompts while unavailable values were preserved rather than inferred. Llama 3.1 8B was fine-tuned using low-rank adaptation to classify five injury-severity categories. Random, county-based, and severity-balanced sampling strategies were evaluated using separate in-sample and unseen-test experiments; unseen-test experiments used 70/15/15 training, validation, and test splits. On their respective unseen test sets, random and county-based models achieved weighted F1-scores near 80%, but macro F1 remained below 47% and fatal-crash F1 below 27%, showing that strong aggregate performance can mask weak recognition of rare outcomes. Within its balanced evaluation population, the severity-balanced model achieved weighted and macro F1-scores of 57.7% and a fatalcrash F1-score of 65.9%, yielding more even class-level performance. Because each sampling strategy used a different test subset, crossstrategy differences are descriptive rather than controlled rankings. The results highlight the importance of interpreting LLM crashseverity performance together with sampling design, class balance, class-level metrics, and evaluation-population composition.
arXiv ID: 2609.29793 ／ 要約の誤りについて