| 講演名 | 2021-06-24 乱数重みニューラルネットワークにおけるアンサンブル学習の研究 大越 康之(東工大), 廣瀬 一俊(東工大), 安藤 洸太(東工大), 川村 一志(東工大), ティエム ヴァン チュ(東工大), 本村 真人(東工大), 劉 載勲(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，重みの値を学習する代わりに，乱数重みの結合を学習する深層ニューラルネットワークが提案され，膨大な重み係数の格納に必要なメモリリソースを大幅に削減できる可能性が示された．本研究では，乱数重みを用いたニューラルネットワークに対して様々なアンサンブル学習を適用し計算量と推論精度の解析を行い，更なるトレードオフの改善を目指した．ResNet18とCIFAR-100を用いた評価実験では，アンサンブル学習を適用することで既存の乱数重みネットワークに対し最大3%の精度向上を実現した． |
| 抄録(英) | Recent research on deep learning shows the possibility of building neural networks by learning connection existences instead of weights, in which weights are random numbers and do not change. Connection-based learning can significantly reduce memory resources to store the huge number of weights. In this research, we adopt various ensemble learning methods to the randomly weighted neural networks for improving the trade-off between computational cost and accuracy. On CIFAR-100, our ensembled ResNet18 model achieved 3.0% higher accuracy than the original randomly weighted ResNet18 model. |
| キーワード(和) | 機械学習 / 深層学習 / アンサンブル学習 / ニューラルネットワーク / 画像分類 |
| キーワード(英) | machine learning / deep learning / ensemble learning / neural network / image classification |
| 資料番号 | SIS2021-7 |
| 発行日 | 2021-06-17 (SIS) |
| 研究会情報 | |
| 研究会 | SIS / IPSJ-AVM |
|---|---|
| 開催期間 | 2021/6/24(から1日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 知的マルチメディアシステム, 組込み応用システム, 立体映像技術, 一般 |
| テーマ（英） | Intelligent Multimedia Systems, Applied Embedded Systems, Three-Dimensional Image Technology (3DIT), etc. |
| 委員長氏名（和） | 末竹 規哲(山口大) / 笠井 裕之(早大) |
| 委員長氏名（英） | Noriaki Suetake(Yamaguchi Univ.) / Hiroyuki Kasai(Waseda Univ.) |
| 副委員長氏名（和） | 木村 誠聡(神奈川工科大) / 笹岡 直人(鳥取大) |
| 副委員長氏名（英） | Tomoaki Kimura(Kanagawa Inst. of Tech.) / Naoto Sasaoka(Tottori Univ.) |
| 幹事氏名（和） | 三澤 秀明(宇部高専) / 坂東 幸浩(NTT) / 松村 誠明(NTT) / 金井 謙治(早大) / 徐 建鋒(KDDI総合研究所) |
| 幹事氏名（英） | Hideaki Misawa(National Inst. of Tech., Ube College) / Yukihiro Bandoh(NTT) / Masaaki Matsumura(NTT) / Kenji Kanai(Waseda Univ.) / Xu Jianfeng(KDDI Research, Inc.) |
| 幹事補佐氏名（和） | 吉田 壮(関西大学) / 眞壁 義明(神奈川工科大) |
| 幹事補佐氏名（英） | Soh Yoshida(Kansai Univ.) / Yoshiaki Makabe(Kanagawa Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Smart Info-Media Systems / Special Interest Group on Audio Visual and Multimedia Information Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 乱数重みニューラルネットワークにおけるアンサンブル学習の研究 |
| サブタイトル（和） | |
| タイトル（英） | A Study of Ensemble Learning for Randomly Weighted Neural Network |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 機械学習 / machine learning |
| キーワード(2)（和/英） | 深層学習 / deep learning |
| キーワード(3)（和/英） | アンサンブル学習 / ensemble learning |
| キーワード(4)（和/英） | ニューラルネットワーク / neural network |
| キーワード(5)（和/英） | 画像分類 / image classification |
| 第 1 著者 氏名（和/英） | 大越 康之 / Yasuyuki Okoshi |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 2 著者 氏名（和/英） | 廣瀬 一俊 / Kazutoshi Hirose |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 3 著者 氏名（和/英） | 安藤 洸太 / Kota Ando |
| 第 3 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 4 著者 氏名（和/英） | 川村 一志 / Kazushi Kawamura |
| 第 4 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 5 著者 氏名（和/英） | ティエム ヴァン チュ / Thiem Van Chu |
| 第 5 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 6 著者 氏名（和/英） | 本村 真人 / Masato Motomura |
| 第 6 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 7 著者 氏名（和/英） | 劉 載勲 / Jaehoon Yu |
| 第 7 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 発表年月日 | 2021-06-24 |
| 資料番号 | SIS2021-7 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | SIS-73 |
| ページ範囲 | pp.37-42(SIS), |
| ページ数 | 6 |
| 発行日 | 2021-06-17 (SIS) |