| 講演名 | 2023-06-30 条件付き相互情報量の最小化による分布外汎化手法の性能低下について 高橋 元気(京大), 田中 利幸(京大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 分布外汎化問題では，訓練時・テスト時のデータ生成分布の変化の度合いが少ない程モデルの分布外汎化誤差は小さいと期待される．本研究では，任意に小さなKL情報量の値を持つ二つの分布が，任意に大きな相互情報量の差を取り得る設定を考察した．得られた結果は，条件付き相互情報量最小化による分布外汎化手法が，訓練時・テスト時の分布の変化の度合いが小さくても，分布外汎化誤差を著しく増加させ得ることを示唆している． |
| 抄録(英) | In the out-of-distribution generalization problem, the smaller the degree of change in the data generating distribution during training and testing, the smaller the out-of-distribution generalization error of the model is expected to be. In this study, we devised a setting in which two distributions with an arbitrarily small KL divergence value can have an arbitrarily large difference in mutual information. This result suggests that out-of-distribution generalization methods based on conditional mutual information minimization can significantly increase the out-of-distribution generalization error even when the degree of change in the data generating distribution during training and testing is small. |
| キーワード(和) | 分布外汎化 / 情報理論 / 表現学習 |
| キーワード(英) | Out-of-distribution generalization / Information theory / Representation learning |
| 資料番号 | NC2023-15,IBISML2023-15 |
| 発行日 | 2023-06-22 (NC, IBISML) |
| 研究会情報 | |
| 研究会 | NC / IBISML / IPSJ-BIO / IPSJ-MPS |
|---|---|
| 開催期間 | 2023/6/29(から3日開催) |
| 開催地（和） | 沖縄科学技術大学院大学カンファレンス・センター |
| 開催地（英） | OIST Conference Center |
| テーマ（和） | 機械学習によるバイオデータマイニング、一般 |
| テーマ（英） | |
| 委員長氏名（和） | 田中 宏和(東京都市大) / 杉山 将(東大) |
| 委員長氏名（英） | Hirokazu Tanaka(Tokyo City Univ.) / Masashi Sugiyama(Univ. of Tokyo) |
| 副委員長氏名（和） | 井澤 淳(筑波大) / 神嶌 敏弘(産総研) / 津田 宏治(東大) |
| 副委員長氏名（英） | Jun Izawa(Univ. of Tsukub) / Toshihiro Kamishima(AIST) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 寺島 裕貴(NTT) / 田中 沙織(奈良先端大) / 岩田 具治(NTT) / 中村 篤祥(北大) |
| 幹事氏名（英） | Hiroki Terashima(NTT) / Saori Tanaka(NAIST) / Tomoharu Iwata(NTT) / Atsuyoshi Nakamura(Hokkaido Univ.) |
| 幹事補佐氏名（和） | 田和辻 可昌(早大) / 堀井 隆斗(阪大) / 河原 吉伸(阪大) / 鈴木 大慈(東工大) |
| 幹事補佐氏名（英） | Yoshimasa Tawatsuji(Waseda Univ.) / Takato Horii(Osaka Univ.) / Yoshinobu Kawahara(Osaka Univ.) / Taiji Suzuki(Tokyo Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on Information-Based Induction Sciences and Machine Learning / Special Interest Group on Bioinformatics and Genomics / Special Interest Group on Mathematical Modeling and Problem Solving |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 条件付き相互情報量の最小化による分布外汎化手法の性能低下について |
| サブタイトル（和） | |
| タイトル（英） | On performance degradation of a method by minimizing the conditional mutual information for the out-of-distribution generalization |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 分布外汎化 / Out-of-distribution generalization |
| キーワード(2)（和/英） | 情報理論 / Information theory |
| キーワード(3)（和/英） | 表現学習 / Representation learning |
| 第 1 著者 氏名（和/英） | 高橋 元気 / Genki Takahashi |
| 第 1 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto University) |
| 第 2 著者 氏名（和/英） | 田中 利幸 / Toshiyuki Tanaka |
| 第 2 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto University) |
| 発表年月日 | 2023-06-30 |
| 資料番号 | NC2023-15,IBISML2023-15 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | NC-90,IBISML-91 |
| ページ範囲 | pp.91-97(NC), pp.91-97(IBISML), |
| ページ数 | 7 |
| 発行日 | 2023-06-22 (NC, IBISML) |