| 講演名 | 2020-07-16 変分ベイズ法によって導出された近似事後分布を用いた予測分布とベイズ予測分布の$alpha$-ダイバージェンスの漸近評価 山田 一翔(早大), 齋藤 翔太(早大), 松嶋 敏泰(早大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本稿では，i.i.d.確率変数列${X_i }_{i=1}^{n}$が与えられたもとで$X_{n+1}$の確率分布を決定する問題を考える．$X_{n+1}$の確率分布に損失として対数損失を仮定し，ベイズ規準のもと最適なベイズ予測分布を導出する．このとき，ベイズ予測分布に登場する事後分布が潜在変数を含むモデルを考える場合，解析的に求めることが困難である．このとき，事後分布を変分ベイズ法でもとめた近似事後分布で代用した新しい予測分布を考える．これを用いて予測を行うが，この予測分布がベイズ予測分布にどれくらい近いのかを確かめる必要がある．従来，いくつかの仮定のもとベイズ予測分布と代用した新しい分布との差を全変動で測ったときの差が漸近的に0へ確率収束することが証明されていた．本研究ではこの差を$alpha$ダイバージェンスで測ったとき0へ確率収束することを証明する。また，従来研究がピンスカーの不等式を用いることで，本研究の系とし得られることも述べる． |
| 抄録(英) | In this paper, we consider the problem of determining probability distribution of $X_{n+1}$ given ${X_i }_{i=1}^{n}$ following i.i.d. distribution. We assume log loss on probability distribution of $X_{n+1}$ and derive Bayesian predictive distribution under Bayes criteria. When parametric model contains latent variables, it is difficult to obtain posterior distribution appearing in Bayesian predictive distribution analytically. In this situation, we constitute a new predictive distribution substituting posterior distribution to VB posterior derived by variational bayes. We need to verify how close new predictive distribution to Bayesian predictive distribution. Previous research shows that total variation between Bayesian predictive distribution and VB posterior predictive distribution converges to 0 in probability under some assumptions. We show that $alpha$-divergence between two predictive distributions also converges to 0 in probability. Also, previous research is naturally derived by our result by using Pinsker's inequality. |
| キーワード(和) | 漸近解析 / $alpha$ダイバージェンス / ベイズ予測分布 / 変分ベイズ法 |
| キーワード(英) | Asymptotic Analysis / $alpha$ divergence / Bayesian Predictive Distribution / Variational Bayes |
| 資料番号 | IT2020-14 |
| 発行日 | 2020-07-09 (IT) |
| 研究会情報 | |
| 研究会 | IT |
|---|---|
| 開催期間 | 2020/7/16(から1日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | フレッシュマンセッション，一般 |
| テーマ（英） | Freshman session, General |
| 委員長氏名（和） | 和田山 正(名工大) |
| 委員長氏名（英） | Tadashi Wadayama(Nagoya Inst. of Tech.) |
| 副委員長氏名（和） | 小嶋 徹也(東京高専) |
| 副委員長氏名（英） | Tetsuya Kojima(Tokyo Kosen) |
| 幹事氏名（和） | 野崎 隆之(山口大) / 廣友 雅徳(佐賀大) |
| 幹事氏名（英） | Takayuki Nozaki(Yamaguchi Univ.) / Masanori Hirotomo(Saga Univ.) |
| 幹事補佐氏名（和） | 太田 隆博(専修大) |
| 幹事補佐氏名（英） | Takahiro Ohta(Senshu Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Information Theory |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 変分ベイズ法によって導出された近似事後分布を用いた予測分布とベイズ予測分布の$alpha$-ダイバージェンスの漸近評価 |
| サブタイトル（和） | |
| タイトル（英） | Asymptotic Evaluation of $alpha$-divergence between VB Posterior Predictive Distribution and Bayesian Predictive Distribution |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 漸近解析 / Asymptotic Analysis |
| キーワード(2)（和/英） | $alpha$ダイバージェンス / $alpha$ divergence |
| キーワード(3)（和/英） | ベイズ予測分布 / Bayesian Predictive Distribution |
| キーワード(4)（和/英） | 変分ベイズ法 / Variational Bayes |
| 第 1 著者 氏名（和/英） | 山田 一翔 / Kazuki Yamada |
| 第 1 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 2 著者 氏名（和/英） | 齋藤 翔太 / Shota Saito |
| 第 2 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 3 著者 氏名（和/英） | 松嶋 敏泰 / Toshiyasu Matsushima |
| 第 3 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 発表年月日 | 2020-07-16 |
| 資料番号 | IT2020-14 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | IT-105 |
| ページ範囲 | pp.19-23(IT), |
| ページ数 | 5 |
| 発行日 | 2020-07-09 (IT) |