arXiv論文メモ
新着一覧
cs.LG · 査読状況未確認

内容からテキストファイルの種類を高速に見分ける

Fast And Accurate Text Content File Type Identification

Manu Nandan, Michael Brautbar, Edward Raff

この論文をやさしく読む

ひとことで言うと

拡張子に頼らず、中に書かれた内容からソースコードなどのファイル形式を判定する小型のニューラルネットワークです。

何に役立つ?

ファイル形式を自動整理したり、セキュリティ処理の前段で適切な解析器を選んだりする用途が考えられます。

この研究の面白いところ

精度だけでなく速度とモデルサイズを比較し、Magikaに対して約4倍の速度と28%の小型化を報告しています。

どこまで分かった?

評価対象はオープンソースのテキスト内容のファイルです。要旨に形式別精度や測定機器はなく、任意のバイナリや悪意ある偽装に同じ性能を保証する結果ではありません。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

組織に共通する要件の一つは、ファイルの内容に基づいて種類を識別できるツールを備えることである。特に、マジックナンバーや拡張子を信用できないサイバーセキュリティ分野では重要となる。既存のツールは実用上よく機能しているものの、Magikaのようなモデルベースのツールでは計算負荷や検出時間に、プログラミング言語の構文を利用するファイル解析ツールでは検出精度に、大きな改善の余地がある。 本研究では、テキストを内容とするファイル、特にソースコードの種類を識別するための、他の利用可能なツールより正確で高速なニューラルネットワークモデルを提案する。オープンソースのファイルを用いた実験では、テキスト内容のファイル形式識別で平均的により正確であるだけでなく、Magikaの約4倍高速であり、サイズも28%小さいことが示された。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-18(UTC)
最新改訂
2026-09-18 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

A common requirement across organizations is to have a tool that can identify file types based on their contents, particularly in the cybersecurity domain where magic numbers and file extensions can not be trusted. While existing tools work well in practice, there is plenty of room for improvement either in terms of computational load and time for detection in the case of model based tools like Magika or in terms of accuracy of detection in the case of file parsing tools that use programming language constructs. In this study, we propose a neural network model for identification of types of text content files, especially source code, that is more accurate and faster than other available tools. Our experiments on open-source files indicate that it is not only more accurate on average for text-content file-type identification, but also approximately four times faster than Magika, while being 28% smaller in size.

著者のコメント

To appear in The 13th IEEE International Conference on Data Science and Advanced Analytics (DSAA 2026)

arXiv ID: 2609.21306 / 要約の誤りについて