文章を生成せず選択肢を直接返す小型判断モデル
this-that-model-1.0: A typed decision model that decides in 30 ms, for a millionth of a cent
この論文をやさしく読む
ひとことで言うと
あらかじめ決めた選択肢のどれかと判断用の数値を、文章生成なしで直接返す20億パラメータのモデルです。
何に役立つ？
問い合わせの振り分けなど、選択肢が明確な処理をローカルで低遅延に実行する用途が考えられます。形式を制約しても判断内容の正しさまで保証されるわけではありません。
この研究の面白いところ
生成トークンをなくして1回の順伝播で複数の問いへ答える設計です。一方、多段階計算や追加学習の転移では苦手な結果も報告しています。
どこまで分かった？
68問の第三者課題と内部評価に基づく比較です。ローカル側の費用は電力費で、ホスト型の利用料金とは費用の範囲が異なります。30.9ミリ秒も特定のGPUでの値で、すべての判断の正確性や安全性を示すものではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ソフトウェアが判断の分岐をモデルへ委ねる場面は年々増えている。問い合わせをどのキューへ入れるか、コマンドを安全に実行できるか、請求案件を人の介入なしで処理できるか、といった判断である。プログラムが必要とする応答は文章ではなく、宣言したn個の選択肢の一つと、閾値で判定できる数値である。現在は、通常は三つの条件節の組合せにすぎない問いにも、最先端モデルとの往復通信、数百ミリ秒の時間、トークンごとの料金、パーサが必要になる。 this-that-model-1.0は、20億パラメータの型付き判断モデルである。回答を指定位置の隠れ状態から直接読み取り、呼び出し側が宣言した選択肢集合に制限する。そのため文章生成はなく、出力形式が崩れることもなく、一つの要求に含まれるすべての問いへ同じ順伝播で答える。あるノートパソコンGPUでは出力トークンを一つも生成せず30.9ミリ秒で判断するのに対し、最先端モデルのAPI呼び出しには8758ミリ秒かかる。また、これらの問いへ良好に答えるホスト型システムは、先に推論するため1問あたり21～212トークンを生成し、そのすべてが課金対象となる。単一の民生用GPUで毎秒32判断を継続でき、状態をマシン外へ出さない。 第三者が記録した68問の判断課題について、その入力と表現をそのまま使った評価では、スコア0.941、Brierスコア0.042となった。同じ項目でホスト型サービスJevはそれぞれ0.765と0.133だった。42系統の内部評価スイートを1回実行すると32秒、電力費0.000217米ドルであるのに対し、測定した中で最も高精度なホスト型モデルは155.2分、10.636米ドルを要する。 劣る場面も報告する。単一の順伝播では途中結果を引き継げない多段階算術では、本モデルのスコアは0.560で、比較対象は0.98～1.00だった。また、特定の課題を狙った2回目の学習は、そのために用意した5系統の課題を改善したが、ほかの13系統には一つも効果が転移しなかった。モデルは https://huggingface.co/flock-io/this-that-model-1.0 で公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Software delegates more of its branches to models every year: which queue a ticket enters, whether a command is safe to run, whether a claim clears without a person. What the program needs back is not prose. It is one of n declared options and a number it can threshold. Today that costs a round trip to a frontier model -- hundreds of milliseconds, a per-token bill, and a parser -- for a question that is usually a conjunction of three clauses. this-that-model-1.0 is a 2B-parameter typed decision model. Its answer is read directly from the hidden state at a designated position and restricted to the option set the caller declared, so no text is generated, nothing can be malformed, and every question in a request is answered in the same forward pass. It decides in 30.9 ms on one laptop GPU and generates zero output tokens doing it, where a frontier API call costs 8758 ms and the hosted systems that answer these questions well spend between 21 and 212 generated tokens per question thinking first, billed for every one. It sustains 32 decisions per second on one consumer GPU and never lets the state leave the machine. On a third party's recorded cohort of 68 decision questions, on their inputs and their wording, it scores 0.941 with a Brier score of 0.042, against 0.765 and 0.133 for the hosted service Jev on the same items. One pass of our 42-family internal suite takes 32 seconds and 0.000217 USD of electricity; the most accurate hosted model we measured needs 155.2 minutes and 10.636 USD. We also report where it loses. On multi-step arithmetic, which a single forward pass cannot carry intermediate results through, it scores 0.560 against their 0.98 to 1.00, and a targeted second training round improved the five task families it was written for and transferred to none of the other 13. The model is open-sourced in https://huggingface.co/flock-io/this-that-model-1.0
arXiv ID: 2609.23886 ／ 要約の誤りについて