| 講演名 | 2013-03-05 漸近的ミニマックス性とデータ数の知識の関係について 渡辺 一帆, ルース テーム, ミリマキ ペトリ, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 正規化最尤(NML)符号は最悪ケースの符号長を最小化するミニマックス最適性を持ち,その符号長によるモデル選択規準が開発されているものの,多くの学習モデルにおいて,その計算は困難である.本研究では,NML分布を近似することを考え,近似がデータ数nに依存しない場合,強い意味での漸近的ミニマックス性が達成されないことを示す.また,多項分布モデルにおいて,nに対する単純な依存性を持つディリクレ事前分布を用いたベイズ混合が漸近的ミニマックス性を達成することを示す.数値実験によりlast-stepミニマックス法などのデータ数nこ依存しないオンライン予測アルゴリズムでは漸近的ミニマックス性が達成されないことを確認する. |
| 抄録(英) | The normalized maximum likelihood (NML)model achieves the minimax regret for coding data of fixed sample size n. It is computationally infeasible for most statistical models. In this study, we assume that no code that is independent of n can be asymptotically minimax and prove a weaker statement for the non-achievability. We show that in the multinomial model, the Bayes mixture defined by the conjugate Dirichlet prior with a simple dependency on n achieves the asymptotic minimaxity. We confirm through numerical experiments the non-achievability of the asymptotic minimaxity for the last-step minimax algorithms, which are independent of n. |
| キーワード(和) | 正規化最尤法 / 漸近的ミニマックス性 / ベイズ混合 / 多項分布 |
| キーワード(英) | normalized maximum likelihood / asymptotic minimax optimality / Bayes mixture / multinomial model |
| 資料番号 | IBISML2012-101 |
| 発行日 |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2013/2/25(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Information-Based Induction Sciences and Machine Learning (IBISML) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | 漸近的ミニマックス性とデータ数の知識の関係について |
| サブタイトル（和） | |
| タイトル（英） | Non-Achievability of Asymptotic Minimax Regret without Knowledge of the Sample Size |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 正規化最尤法 / normalized maximum likelihood |
| キーワード(2)（和/英） | 漸近的ミニマックス性 / asymptotic minimax optimality |
| キーワード(3)（和/英） | ベイズ混合 / Bayes mixture |
| キーワード(4)（和/英） | 多項分布 / multinomial model |
| 第 1 著者 氏名（和/英） | 渡辺 一帆 / Kazuho WATANABE |
| 第 1 著者 所属（和/英） | 奈良先端科学技術大学院大学情報科学研究科 Graduate School of Information Science, Nara Institute of Science and Technology |
| 第 2 著者 氏名（和/英） | ルース テーム / Teemu ROOS |
| 第 2 著者 所属（和/英） | ヘルシンキ情報技術研究所ヘルシンキ大学計算機科学科 Helsinki Institute for Information Technology, Department of Computer Science, University of Helsinki |
| 第 3 著者 氏名（和/英） | ミリマキ ペトリ / Petri MYLLYMAKI |
| 第 3 著者 所属（和/英） | ヘルシンキ情報技術研究所ヘルシンキ大学計算機科学科 Helsinki Institute for Information Technology, Department of Computer Science, University of Helsinki |
| 発表年月日 | 2013-03-05 |
| 資料番号 | IBISML2012-101 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | 454 |
| ページ範囲 | pp.- |
| ページ数 | 7 |
| 発行日 | |