| 講演名 | 2022-01-23 連続値とカテゴリー値データが混在する深層学習における種々のスパース化とその有効性評価 石川 眞澄(九工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 深層学習によって得られたモデルがブラックボックス的であり，人が理解できないという深刻な問題点の解消のために，スパースモデリングが有効であると考えている．米国国勢調査データを用いてさまざまな正則化項の有効性を評価するため，データ適合度及びスパース度からなるパレート最適性の概念を導入し定量的に評価した．スパースモデリングで標準的に用いられる結合重みに対するL1ノルムを基準にすると，結合重みに対する選択的L1ノルムの方が有効であり，これにさらにKL divergenceの最小化あるいは非対角共分散の最小化を付加する方がさらに優れ，また結合重みに対する選択的L1ノルムに隠れ層出力に対する選択的L1ノルムあるいはL2ノルムを付加する方がなお一層有効であることを実証した． |
| 抄録(英) | Deep learning has a serious drawback in that the resulting models tend to be a black box, hence hard to understand. A sparse modeling approach is expected to ameliorate the drawback. Various regularization terms are proposed so far. The paper proposes to use the concept of Pareto optimality composed of data fitting and the sparseness of models for judging the effectiveness of regularization terms using US census data. Compared to the most popular L1-norm to connection weights, the selective L1-norm to connection weights is better, off-diagonal covariance or KL divergence of hidden outputs are yet better, and the selective L1 norm or selective L2 norm to hidden outputs are the best. |
| キーワード(和) | 深層学習 / ブラックボックス / 説明可能 / スパースモデリング / 正則化項 |
| キーワード(英) | Deep learning / Black-box model / Explainable / Sparse modeling / Regularizers |
| 資料番号 | NC2021-45 |
| 発行日 | 2022-01-14 (NC) |
| 研究会情報 | |
| 研究会 | NLP / MICT / MBE / NC |
|---|---|
| 開催期間 | 2022/1/21(から3日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME，MICT，NLP, 一般 |
| テーマ（英） | |
| 委員長氏名（和） | 高坂 拓司(中京大) / 花田 英輔(佐賀大) / 奥野 竜平(摂南大) / 大須 理英子(早大) |
| 委員長氏名（英） | Takuji Kosaka(Chukyo Univ.) / Eisuke Hanada(Saga Univ.) / Ryuhei Okuno(Setsunan Univ.) / Rieko Osu(Waseda Univ.) |
| 副委員長氏名（和） | 常田 明夫(熊本大) / 田中 宏和(広島市大) / 安在 大祐(名工大) / 堀 潤一(新潟大) / 山川 宏(東大) |
| 副委員長氏名（英） | Akio Tsuneda(Kumamoto Univ.) / Hirokazu Tanaka(Hiroshima City Univ.) / Daisuke Anzai(Nagoya Inst. of Tech.) / Junichi Hori(Niigata Univ.) / Hiroshi Yamakawa(Univ of Tokyo) |
| 幹事氏名（和） | 松下 春奈(香川大) / 吉岡 大三郎(崇城大) / 小林 匠(横浜国大) / 石田 開(神奈川県立産業技術総研) / 中村 英夫(大阪電気通信大) / 内部 英治(ATR) / 西田 知史(NICT) |
| 幹事氏名（英） | Haruna Matsushita(Kagawa Univ.) / Daizaburo Yoshioka(Sojo Univ.) / Takumi Kobayashi(Yokohama National Univ.) / Kai Ishida(KISTEC) / Hideo Nakamura(Osaka Electro-Communication Univ) / Eiji Uchibe(ATR) / Satoshi Nishida(NICT) |
| 幹事補佐氏名（和） | 加藤 秀行(大分大) / 横井 裕一(長崎大) / 伊藤 孝弘(広島市立大) / 高林 健人(岡山県立大) / 西川 拓也(国立循環器病研究センター) / 赤澤 淳(明治国際医療大学) / 湯田 恵美(東北大) / 我妻 伸彦(東邦大) / 栗川 知己(関西医科大) |
| 幹事補佐氏名（英） | Hideyuki Kato(Oita Univ.) / Yuichi Yokoi(Nagasaki Univ.) / Takahiro Ito(Hiroshima City Univ) / Kento Takabayashi(Okayama Pref. Univ.) / Takuya Nishikawa(National Cerebral and Cardiovascular Center Hospital) / Jun Akazawa(Meiji Univ. of Integrative Medicine) / Emi Yuda(Tohoku Univ) / Nobuhiko Wagatsuma(Toho Univ.) / Tomoki Kurikawa(KMU) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Nonlinear Problems / Technical Committee on Healthcare and Medical Information Communication Technology / Technical Committee on ME and Bio Cybernetics / Technical Committee on Neurocomputing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 連続値とカテゴリー値データが混在する深層学習における種々のスパース化とその有効性評価 |
| サブタイトル（和） | |
| タイトル（英） | Deep learning of mixture of continuous and categorical data with regularizers added to the cost function and evaluation of the effectiveness of sparse modeling |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / Deep learning |
| キーワード(2)（和/英） | ブラックボックス / Black-box model |
| キーワード(3)（和/英） | 説明可能 / Explainable |
| キーワード(4)（和/英） | スパースモデリング / Sparse modeling |
| キーワード(5)（和/英） | 正則化項 / Regularizers |
| 第 1 著者 氏名（和/英） | 石川 眞澄 / Masumi Ishikawa |
| 第 1 著者 所属（和/英） | 九州工業大学(略称：九工大) Kyushu Institute of Technology(略称：Kyutech) |
| 発表年月日 | 2022-01-23 |
| 資料番号 | NC2021-45 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | NC-338 |
| ページ範囲 | pp.65-70(NC), |
| ページ数 | 6 |
| 発行日 | 2022-01-14 (NC) |