連続する同一ビットの長さを学習し削除通信路の下界を改善
Improved Lower Bounds on the Capacity of the Binary Deletion Channel via a Learning Approach to Run-Length Inputs
この論文をやさしく読む
ひとことで言うと
ビットがランダムに消える通信路で、同じビットを何個続けるかという分布を学習し、伝送可能な情報量の保証値を引き上げています。
何に役立つ？
削除誤りを持つ通信路の容量をどこまで下から保証できるかを調べる理論的な基準になります。容量そのものの厳密値や、実装済みの通信装置の速度を示すものではありません。
この研究の面白いところ
学習は良い分布を探す役割に使い、その後の数値は片側評価によって有効な下界であることを保っています。高い削除率では、単純な分布族で表せない疎な形が見つかります。
どこまで分かった？
既存の表の値を上回るという比較は検証したdでの結果です。同時期の別手法の方が[0,1]の多くで強く、本手法の優位性は全域には及びません。最大6.8%はd = 0.90での下界の相対改善です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
独立同分布の二元削除通信路の容量C(d)は、Dobrushinの情報安定性定理により存在するが、閉形式は知られていない。独立同分布のラン長符号化による古典的な構成的下界は、これまで幾何分布、Markov型、Morse型といった一つまたは二つのパラメータを持つ族についてしか評価されていなかった。本研究では、ラン長の法則Pを自由な分布として扱い、学習によって最適化すると、同じ無限ブロック長の汎関数から厳密に強い下界が得られることを示す。 Drinea–Mitzenmacher汎関数をPについての双線形形式に帰着し、有限台への打切りが片側評価になることを証明する。これにより、計算値が有効な下界であり続ける。Venkataramananらの帰着を、幾何分布のランから任意の有限台の法則へ拡張し、出力ビットのエントロピーを求める残余ランの隠れマルコフモデル（HMM）も含める。softmax勾配上昇でPを探索する。報告するすべての数値は、式を改めて片側評価したものであり、モンテカルロ法も有限長エントロピーの補正項も使わない。 最適化した二つの下界の上包絡は、検証したすべてのdで、Gallagerの1 − h(d)（d < 1/2の場合）と、Drinea–Mitzenmacher、Venkataramananら、Rubinstein–Conが表に示した下界を上回る。代表的な値は、d = 0.01、0.05、0.10、0.20、0.30、0.50、0.80、0.90に対し、それぞれC(d) ≥ 0.92212、0.72939、0.56486、0.35127、0.22616、0.10414、0.02891、0.01322である。これまでの記録に対する絶対的な改善幅の最大値は3.7×10⁻³ビット（d = 0.30）、相対的な改善率の最大値は6.8%（d = 0.90）である。d ≤ 0.45では自由なPを用いたVenkataramanan汎関数が上包絡を与え、d = 0.50以降では学習したDrinea–Mitzenmacherの法則が上包絡を与える。dが大きい場合、最適化器はパラメータ付きの分布族では表現できない、疎な櫛状のラン長分布を見つける。 同時期のPapailiopoulosによる上下からの評価は[0,1]の広い範囲でより強いが、本研究の上包絡はdが高い領域ではなお大きい。例えばd = 0.80では0.02891対0.02884、d = 0.90では0.01322対0.01293である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
The capacity $C(d)$ of the i.i.d. binary deletion channel exists by Dobrushin's information-stability theorem, but no closed form is known. Classical constructive lower bounds from i.i.d. run-length coding have been evaluated only for one- or two-parameter families (geometric, Markov, or Morse-type). We show that the same infinite-blocklength functionals become strictly stronger when the run-length law $P$ is treated as a free distribution and optimized by learning. We reduce the Drinea--Mitzenmacher functional to a bilinear form in $P$ and prove that finite-support truncation is one-sided, so computed values remain valid lower bounds. We extend the Venkataramanan et al. reductions from geometric runs to arbitrary finite-support laws, including a residual-run HMM for output-bit entropy. Softmax gradient ascent searches $P$; every reported number is a fresh one-sided evaluation of the formula, with no Monte Carlo and no finite length-entropy penalty. The envelope of the two optimized bounds exceeds Gallager's $1-h(d)$ (for $d<1/2$) and the tabulated bounds of Drinea--Mitzenmacher, Venkataramanan et al., and Rubinstein--Con at every tested $d$. Representative values: $C(d)\ge 0.92212$, $0.72939$, $0.56486$, $0.35127$, $0.22616$, $0.10414$, $0.02891$, $0.01322$ at $d=0.01$, $0.05$, $0.10$, $0.20$, $0.30$, $0.50$, $0.80$, $0.90$. The largest absolute gain over that record is $3.7\times 10^{-3}$ bits (at $d=0.30$); the largest relative gain is $6.8\%$ (at $d=0.90$). For $d\le 0.45$ the envelope is the free-$P$ Venkataramanan functional; from $d=0.50$ it is the learned Drinea--Mitzenmacher law. At large $d$ the optimizer finds sparse run-length combs that parametric families cannot represent. A concurrent enclosure of Papailiopoulos is stronger on much of $[0,1]$, but our envelope remains larger at high $d$ (e.g. $0.02891$ vs $0.02884$ at $d=0.80$; $0.01322$ vs $0.01293$ at $d=0.90$).
著者のコメント
19 pages, 11 figures and a preliminary conference version of parts of this work was presented at CWIT 2024
arXiv ID: 2609.24908 ／ 要約の誤りについて