講演抄録/キーワード |
講演名 |
2013-03-05 11:00
漸近的ミニマックス性とデータ数の知識の関係について ○渡辺一帆(奈良先端大)・テーム ルース・ペトリ ミリマキ(Helsinki Inst. for Information Tech.) IBISML2012-101 |
抄録 |
(和) |
正規化最尤(NML)符号は最悪ケースの符号長を最小化するミニマックス最適性を持ち,その符号長によるモデル選択規準が開発されているものの,多くの学習モデルにおいて,その計算は困難である.本研究では,NML分布を近似することを考え,近似がデータ数$n$に依存しない場合,強い意味での漸近的ミニマックス性が達成されないことを示す.また,多項分布モデルにおいて,$n$に対する単純な依存性を持つディリクレ事前分布を用いたベイズ混合が漸近的ミニマックス性を達成することを示す.数値実験によりlast-stepミニマックス法などのデータ数$n$に依存しないオンライン予測アルゴリズムでは漸近的ミニマックス性が達成されないことを確認する. |
(英) |
The normalized maximum likelihood (NML) model achieves the minimax regret for coding data of fixed sample size $n$. It is computationally infeasible for most statistical models. In this study, we assume that no code that is independent of $n$ can be asymptotically minimax and prove
a weaker statement for the non-achievability.
We show that in the multinomial model, the Bayes mixture defined by the conjugate Dirichlet prior with a simple dependency on $n$ achieves the asymptotic minimaxity. We confirm through numerical experiments the non-achievability of the asymptotic minimaxity for the last-step minimax algorithms, which are independent of $n$. |
キーワード |
(和) |
正規化最尤法 / 漸近的ミニマックス性 / ベイズ混合 / 多項分布 / / / / |
(英) |
normalized maximum likelihood / asymptotic minimax optimality / Bayes mixture / multinomial model / / / / |
文献情報 |
信学技報, vol. 112, no. 454, IBISML2012-101, pp. 61-67, 2013年3月. |
資料番号 |
IBISML2012-101 |
発行日 |
2013-02-25 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2012-101 |