| 講演名 | 2016-11-17 ［ポスター講演］Multimodal Deep Neural Networks分析の試み 本武 陽一(東大), 池上 高志(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年の情報技術の急速な発展に応じて，画像やテキスト，音声といった性質の異なるモダリティの情報を統合して文章生成などを行う機械学習機が実用化されつつある．一方で，我々のモダリティ統合メカニズムそのものに対する知見はまだ十分にあるとは言い難い．本研究の目的は，近年急速にその学習アルゴリズムが発展してきたMultimodal Deep Neural Networksの内部状態の分析を通してこれを探ることである．具体的には，データセットが多様体仮説に基づく構造を持つという仮定のもと，Deep Neural Networksの写像関数から多様体の接空間を算出し，DNN内部でその幾何構造がどのように変換されているかを算出した．この分析の結果，対象としたMultimodal Deep Neural Networksがデータセットの分布の持つ多様体構造を大域的座標系へ写像する機能を持つこと，及び，それがモダリティの統合後に行われていることが示唆された． |
| 抄録(英) | With the rapid development of information technology in recent years, several machine learning algorithms that integrate some information which have different modalitiessuch as images, texts, and sounds for generating sentences and any other have been put to practical use. On the other hand, little is known about the mechanisms by which our modalities are integrated. The purpose of this study is to explore the mechanisms through the analysis of the internal stateof Multimodal Deep Neural Networks(DNNs) whose learning algorithms are rapidly developed in recent years. First, we assumed that datasets have structures based on the manifold hypothesis, and then computed the manifolds' tangent spaces from the mapping function of DNNs. Finally, we calculated how the geometric structures were converted inside the DNNs. The result of the analysis suggested that Multimodal DNNs have functionsto map manifold structures of the distribution of datasets to a global coordinate system, andthat is processed after the integration of the modalities. |
| キーワード(和) | Multimodal Deep Learning / 多様体仮説 |
| キーワード(英) | Multimodal Deep Learning / Manifold Hypothesis |
| 資料番号 | IBISML2016-97 |
| 発行日 | 2016-11-09 (IBISML) |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2016/11/16(から3日開催) |
| 開催地（和） | 京都大学 |
| 開催地（英） | Kyoto Univ. |
| テーマ（和） | 情報論的学習理論ワークショップ(IBIS2016) |
| テーマ（英） | Information-Based Induction Science Workshop (IBIS2016) |
| 委員長氏名（和） | 福水 健次(統計数理研) |
| 委員長氏名（英） | Kenji Fukumizu(ISM) |
| 副委員長氏名（和） | 杉山 将(東大) / 鹿島 久嗣(京大) |
| 副委員長氏名（英） | Masashi Sugiyama(Univ. of Tokyo) / Hisashi Kashima(Kyoto Univ.) |
| 幹事氏名（和） | 津田 宏治(東大) / 竹内 一郎(名工大) |
| 幹事氏名（英） | Koji Tsuda(Univ. of Tokyo) / Ichiro Takeuchi(Nagoya Inst. of Tech.) |
| 幹事補佐氏名（和） | 神嶌 敏弘(産総研) / 岩田 具治(NTT) |
| 幹事補佐氏名（英） | Toshihiro Kamishima(AIST) / Tomoharu Iwata(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Infomation-Based Induction Sciences and Machine Learning |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ［ポスター講演］Multimodal Deep Neural Networks分析の試み |
| サブタイトル（和） | モダリティ統合機構の解明に向けて |
| タイトル（英） | [Poster Presentation] Analysis of Multimodal Deep Neural Networks |
| サブタイトル（和） | Towards the elucidation of the modality integration mechanism |
| キーワード(1)（和/英） | Multimodal Deep Learning / Multimodal Deep Learning |
| キーワード(2)（和/英） | 多様体仮説 / Manifold Hypothesis |
| 第 1 著者 氏名（和/英） | 本武 陽一 / Yoh-ichi Mototake |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) University of Tokyo(略称：unit of Tokyo) |
| 第 2 著者 氏名（和/英） | 池上 高志 / Takashi Ikegami |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) University of Tokyo(略称：unit of Tokyo) |
| 発表年月日 | 2016-11-17 |
| 資料番号 | IBISML2016-97 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | IBISML-300 |
| ページ範囲 | pp.369-373(IBISML), |
| ページ数 | 5 |
| 発行日 | 2016-11-09 (IBISML) |