| 講演名 | 2023-07-06 深層展開による粒子型変分推定の収束加速 河村 祐弥(東工大), 高邉 賢史(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Stein Variational Gradient Descent（SVGD）は確率的モデルにおいて事後分布を推定する代表的な粒子型変分推定法であり，その高い近似性能から多くの注目を集めている．本稿では，SVGDに対し深層展開と呼ばれる深層学習手法を適用したアルゴリズムを提案する．これにより，SVGDの内部パラメータを学習しアルゴリズムの収束加速を目指す．提案した2種類の学習型SVGDの性能を評価するため，1次元混合ガウス分布のサンプリング，ベイズロジスティック回帰，ベイズニューラルネットワークという異なる3個のタスクに対して，計算機シミュレーションを行った．結果として，従来のSVGDと比較して，提案アルゴリズムがより速い収束を達成することをが明らかとなった． |
| 抄録(英) | Stein Variational Gradient Descent(SVGD) is a prominent particle-based variational inference method used for estimating posterior distributions in probabilistic models . Its remarkable approximation capabilities have attracted considerable attention. In this paper, we propose a trainable algorithm that incorporates a deep learning technique known as deep unfolding into SVGD. This approach enables the learning of internal parameters of SVGD, leading to the acceleration of the convergence speed. To evaluate the proposed two trainable SVGD algorithms, we conducted numerical simulations for three different tasks: sampling from one-dimensional Gaussian mixture, Bayesian logistic regression, and Bayesian neural networks. The results show that our proposed algorithms exhibit faster convergence compared to conventional variants of SVGD. |
| キーワード(和) | 粒子型変分推定 / 深層学習 / 深層展開 |
| キーワード(英) | particle-based variational inference / deep learning / deep unfolding |
| 資料番号 | CAS2023-8,VLD2023-8,SIP2023-24,MSS2023-8 |
| 発行日 | 2023-06-29 (CAS, VLD, SIP, MSS) |
| 研究会情報 | |
| 研究会 | MSS / CAS / SIP / VLD |
|---|---|
| 開催期間 | 2023/7/6(から2日開催) |
| 開催地（和） | 小樽商科大学 3号館 102教室 |
| 開催地（英） | |
| テーマ（和） | システムと信号処理および一般 |
| テーマ（英） | |
| 委員長氏名（和） | 山口 真悟(山口大) / 相原 康敏(オムニビジョン) / 仲地 孝之(琉球大) / 中武 繁寿(北九州市大) |
| 委員長氏名（英） | Shingo Yamaguchi(Yamaguchi Univ.) / Yasutoshi Aibara(OmniVision) / Takayuki Nakachi(Ryukyu Univ.) / Shigetoshi Nakatake(Univ. of Kitakyushu) |
| 副委員長氏名（和） | 宮本 俊幸(阪工大) / 篠宮 紀彦(創価大) / 市毛 弘一(横浜国大) / 西川 清史(都立大) / 桜井 祐市(日立) |
| 副委員長氏名（英） | Toshiyuki Miyamoto(Osaka Inst. of Tech.) / Norihiko Shinomiya(Soka Univ.) / Koichi Ichige(Yokohama National Univ.) / Kiyoshi Nishikawa(okyo Metropolitan Univ.) / Yuichi Sakurai(Hitachi) |
| 幹事氏名（和） | 林 直樹(阪大) / 劉 健全(NEC) / 笠松 大佑(創価大) / 鈴木 寛人(ルネサスエレクトロニクス) / 今泉 祥子(千葉大) / 京地 清介(工学院大) / 笹川 幸宏(ソシオネクスト) / 今井 雅(弘前大) |
| 幹事氏名（英） | Naoki Hayashi(Osaka Univ.) / Jianquan Liui(NEC) / Daisuke Kasamatsu(Soka Univ.) / Hiroto Suzuki(Renesas Electronics) / Shoko Imaizumi(Chiba Univ.) / Seisuke Kyochi(Kogakuin Univ.) / Yukihiro Sasagawa(Socionext) / Masashi Imai(Hirosaki Univ.) |
| 幹事補佐氏名（和） | 白井 匡人(島根大) / 伊藤 尚(富山高専) / 山口 基(テクノプロ) / 下田 真二(ソニーセミコンダクタソリューションズ) / 越田 俊介(八戸工大) / 吉田 太一(電通大) / 塩田 さやか(都立大) / 西元 琢真(日立) |
| 幹事補佐氏名（英） | Masato Shirai(Shimane Univ.) / Nao Ito(NIT, Toyama college) / Motoi Yamaguchi(TECHNOPRO) / Shinji Shimoda(Sony Semiconductor Solutions) / Shunsuke Koshita(Hachinohe Inst. of Tech.) / Taichi Yoshida(UEC) / Sayaka Shiota(Tokyo Metropolitan Univ.) / Takuma Nishimoto(Hitachi) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Mathematical Systems Science and its Applications / Technical Committee on Circuits and Systems / Technical Committee on Signal Processing / Technical Committee on VLSI Design Technologies |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 深層展開による粒子型変分推定の収束加速 |
| サブタイトル（和） | |
| タイトル（英） | Convergence Acceleration of Particle-based Variational Inference by Deep Unfolding |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 粒子型変分推定 / particle-based variational inference |
| キーワード(2)（和/英） | 深層学習 / deep learning |
| キーワード(3)（和/英） | 深層展開 / deep unfolding |
| 第 1 著者 氏名（和/英） | 河村 祐弥 / Yuya Kawamura |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 2 著者 氏名（和/英） | 高邉 賢史 / Satoshi Takabe |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 発表年月日 | 2023-07-06 |
| 資料番号 | CAS2023-8,VLD2023-8,SIP2023-24,MSS2023-8 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | CAS-97,VLD-98,SIP-99,MSS-100 |
| ページ範囲 | pp.37-42(CAS), pp.37-42(VLD), pp.37-42(SIP), pp.37-42(MSS), |
| ページ数 | 6 |
| 発行日 | 2023-06-29 (CAS, VLD, SIP, MSS) |