| 講演名 | 2024-03-03 Tweedie's formulaを用いたデノイジング・オートエンコーダの一般化 相島 祐太(奈良先端大), 園田 翔(理研), 磯部 伸(東大), 池田 和司(奈良先端大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | デノイジング・オートエンコーダはデータ生成分布のスコア$nabla log p(x)$を学習している. しかし，従来のデノイジング・オートエンコーダの理論研究はノイズ付加過程がガウスの場合のみが考察されていた．本研究では，ノイズ付加過程を指数型分布族に拡張することを考える．Tweedie's formulaを用いてデノイジング・オートエンコーダの最適解が周辺分布$q(tilde x) = int q(tilde x|x)p(x)dx$のスコアを学習していることを示す．さらに，この周辺分布のスコアがノイズ付加過程のエントロピーの勾配と等価であることを示す． |
| 抄録(英) | Denoising autoencoders learn the score of the data-generating distribution, i.e., $nabla log p(x)$. However, theoretical studies have discussed only the case when the corruption process is Gaussian. To generalize the previous results, in this study, we extend the class of distributions to an exponential family. By using Tweedie's formula, we show that the generalized DAE learns score of marginal distribution $q(tilde x) = int q(tilde x|x)p(x)dx$, while Gaussian DAE learns the score of the data-generating distribution $p(x)$. Furthermore, we prove that this marginal score is equivalent to the gradient of the entropy of the corruption process. |
| キーワード(和) | デノイジング・オートエンコーダ / デノイジング・スコアマッチング / Tweedie's formula |
| キーワード(英) | denoising autoencoders / denoising score matching / Tweedie's formula |
| 資料番号 | IBISML2023-40 |
| 発行日 | 2024-02-25 (IBISML) |
| 研究会情報 | |
| 研究会 | PRMU / IBISML / IPSJ-CVIM |
|---|---|
| 開催期間 | 2024/3/3(から2日開催) |
| 開催地（和） | 広島大学 東広島キャンパス |
| 開催地（英） | Hiroshima Univ. Higashi-Hiroshima campus |
| テーマ（和） | 雑多なデータセットの有効活用 (PRMU/IPSJ-CVIM)、機械学習の理論と応用の広がり (IBISML) |
| テーマ（英） | |
| 委員長氏名（和） | 柏野 邦夫(NTT) / 杉山 将(東大) / 日浦 慎作(兵庫県立大) |
| 委員長氏名（英） | Kunio Kashio(NTT) / Masashi Sugiyama(Univ. of Tokyo) / 日浦 慎作(兵庫県立大) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 入江 豪(東京理科大) / 神嶌 敏弘(産総研) / 津田 宏治(東大) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Go Irie(Tokyo Univ. of Science) / Toshihiro Kamishima(AIST) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 井上 中順(東工大) / 川西 康友(理研) / 岩田 具治(NTT) / 中村 篤祥(北大) / 出口 大輔(名大) / 高橋 康輔(ウミトロン) / 田中 賢一郎(立命館大) / 波部 斉(近畿大) / 槇原 靖(阪大) / 浦西 友樹(阪大) |
| 幹事氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) / Tomoharu Iwata(NTT) / Atsuyoshi Nakamura(Hokkaido Univ.) / 出口 大輔(名大) / 高橋 康輔(ウミトロン) / 田中 賢一郎(立命館大) / 波部 斉(近畿大) / 槇原 靖(阪大) / 浦西 友樹(阪大) |
| 幹事補佐氏名（和） | 下西 慶(京大) / 原 健翔(産総研) / 河原 吉伸(阪大) / 鈴木 大慈(東大) |
| 幹事補佐氏名（英） | Kei Shimonishi(Kyoto Univ.) / Kensho Hara(AIST) / Yoshinobu Kawahara(Osaka Univ.) / Taiji Suzuki(Univ.of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Technical Committee on Information-Based Induction Sciences and Machine Learning / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Tweedie's formulaを用いたデノイジング・オートエンコーダの一般化 |
| サブタイトル（和） | |
| タイトル（英） | Generalized Denoising Autoencoders with Tweedie's formula |
| サブタイトル（和） | |
| キーワード(1)（和/英） | デノイジング・オートエンコーダ / denoising autoencoders |
| キーワード(2)（和/英） | デノイジング・スコアマッチング / denoising score matching |
| キーワード(3)（和/英） | Tweedie's formula / Tweedie's formula |
| 第 1 著者 氏名（和/英） | 相島 祐太 / Yuta Aishima |
| 第 1 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 第 2 著者 氏名（和/英） | 園田 翔 / Sho Sonoda |
| 第 2 著者 所属（和/英） | 理化学研究所革新知能統合研究センター(略称：理研) RIKEN AIP(略称：RIKEN) |
| 第 3 著者 氏名（和/英） | 磯部 伸 / Noboru Isobe |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) Tokyo University(略称：Tokyo Univ.) |
| 第 4 著者 氏名（和/英） | 池田 和司 / Kazushi Ikeda |
| 第 4 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 発表年月日 | 2024-03-03 |
| 資料番号 | IBISML2023-40 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | IBISML-410 |
| ページ範囲 | pp.1-5(IBISML), |
| ページ数 | 5 |
| 発行日 | 2024-02-25 (IBISML) |