| 講演名 | 2021-03-04 ［招待講演］因果メカニズム転移による小標本ドメイン適応 手嶋 毅志(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ドメイン適応（Domain Adaptation; DA）は，学習データが希少な学習課題において，最終的に推論を行いたい確率分布（転移先ドメイン）からのサンプルに加えて，類似するが異なる確率分布（転移元ドメイン）から得られたサンプルを活用して学習を行う方法論である．DAを正当性をもって行うには転移元と転移先の関係について何らかの仮定（転移仮定）を置く必要があり，DA手法を考える上では「どのような転移仮定のもとであれば転移学習が可能か」という問いが中心的な問いである．既存のDA手法の多くはデータ分布変化へのパラメトリックな仮定や，条件付き分布が一部不変であるという仮定，あるいは転移元分布と転移先分布の乖離度が小さいといった転移仮定に基づく．しかしこれらの仮定には複雑に変化した分布や見かけ上大きく異なる分布間での転移学習可能性が排除されてしまうという課題がある．そこでこのような課題を回避しうる転移仮定の候補として，本発表ではメタ確率分布的な転移仮定を考える．具体的には，転移元ドメインと転移先ドメインが背後に共通の「構造方程式モデル」（統計的因果モデルの一種）を持つという転移仮定を置き，そのもとで実行可能なDA手法「因果メカニズム転移」を紹介する．因果メカニズム転移ではデータの確率分布そのものではなくその背後のデータ生成過程について転移仮定を置くことにより，表面上複雑に異なる確率分布間であっても統計的に正当性のあるDAを行うことが可能である．本発表では特に小標本教師付きドメイン適応（多数のラベル付き転移元ドメインデータと少数のラベル付き転移先ドメインデータが得られるという問題設定）における回帰問題を考え，その場合の因果メカニズム転移手法を提案しその有用性を理論・実験の両面から示した研究成果を中心に紹介する． |
| 抄録(英) | In the machine learning tasks where the training data is scarce, domain adaptation (DA) is a promising methodology that exploits the samples of relevant but different probability distributions (the source domains) in addition to the sample of the distribution for which one wants to eventually make inferences (the target domain). To justify DA methods, some assumption on the relations between the source and the target distributions (the transfer assumption) has to be postulated. Therefore, the central question in considering DA methods is "under what transfer assumptions, is the DA possible?" Most of the existing DA methods assume parametric forms of the distribution shift, that some conditional distributions are identical, or that some discrepancy between the source distribution and the target distribution is small in some measure. However, these assumptions may preclude the possibility of knowledge transfer among intricately shifted distributions or apparently very different distributions. In this presentation, as a candidate transfer assumption that may alleviate such a limitation, I consider a meta-distributional transfer assumption. Concretely, we assume that the source domains and the target domains have a shared structural equation model (a statistical causal model) behind the data distributions, and we propose a DA method called the causal mechanism transfer (CMT) that can be used in this scenario. In CMT, we pose the transfer assumption on the data-generating processes, instead of the data distributions that result from them. As a result, the assumption enables statistically justified DA among apparently very different data distributions. In this presentation, I will mainly introduce our recent research on few-shot domain adapting regression, a DA problem setup where we are given a large number of labeled source domain data and few but labeled target domain data, where we proposed a causal mechanism transfer and showed its validity from both theoretical and experimental perspectives. |
| キーワード(和) | ドメイン適応 / 構造的因果モデル / 非線形独立成分分析 |
| キーワード(英) | Domain Adaptation / Structural Causal Model / Nonlinear Independent Component Analysis |
| 資料番号 | IBISML2020-59 |
| 発行日 | 2021-02-23 (IBISML) |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2021/3/2(から3日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 機械学習に関するオーガナイズドセッションおよび一般 |
| テーマ（英） | Organized and general sessions on machine learning |
| 委員長氏名（和） | 竹内 一郎(名工大) |
| 委員長氏名（英） | Ichiro Takeuchi(Nagoya Inst. of Tech.) |
| 副委員長氏名（和） | 杉山 将(東大) / 津田 宏治(東大) |
| 副委員長氏名（英） | Masashi Sugiyama(Univ. of Tokyo) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 神嶌 敏弘(産総研) / 岩田 具治(NTT) |
| 幹事氏名（英） | Toshihiro Kamishima(AIST) / Tomoharu Iwata(NTT) |
| 幹事補佐氏名（和） | 中村 篤祥(北大) / 大羽 成征(ミイダス) |
| 幹事補佐氏名（英） | Atsuyoshi Nakamura(Hokkaido Univ.) / Shigeyuki Oba(Miidas) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Infomation-Based Induction Sciences and Machine Learning |
|---|---|
| 本文の言語 | JPN-ONLY |
| タイトル（和） | ［招待講演］因果メカニズム転移による小標本ドメイン適応 |
| サブタイトル（和） | |
| タイトル（英） | |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ドメイン適応 / Domain Adaptation |
| キーワード(2)（和/英） | 構造的因果モデル / Structural Causal Model |
| キーワード(3)（和/英） | 非線形独立成分分析 / Nonlinear Independent Component Analysis |
| 第 1 著者 氏名（和/英） | 手嶋 毅志 |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) |
| 発表年月日 | 2021-03-04 |
| 資料番号 | IBISML2020-59 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | IBISML-395 |
| ページ範囲 | pp.78-78(IBISML), |
| ページ数 | 1 |
| 発行日 | 2021-02-23 (IBISML) |