| 講演名 | 2017-11-07 ［招待講演］Deep Learningの高速化・効率化に関する研究 深貝 卓也(富士通研), 白幡 晃一(富士通研), 富田 安基(富士通研), 橋本 鉄太郎(富士通研), 池 敦(富士通研), 山崎 雅文(富士通研), 笠置 明彦(富士通研), 田原 司睦(富士通研), 汪 留安(FRDC), 王 淞(FRDC), 孫 利(FRDC), 孫 俊(FRDC), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 富士通研究所では、富士通のAI技術「Human Centric AI Zinrai（ジンライ）」で用いられるAI技術の研究開発を進めている。富士通のAI技術「Zinrai（ジンライ）」では、「速く」「広く」「使いやすく」というコンセプトのもとにDeep Learning技術の研究開発を進めてきた。今回のデザインガイアの講演では、これまでの私達のDeep Learning関連研究の成果の一部として、下記の研究内容について紹介する。1. Deep Learning におけるGPU使用メモリの削減方法2. Deep Learning 学習処理のMPIによる高速化3. DNN圧縮手法 (Column Weight Pruning) 4. Convolution層とAverage Pooling層の高速化アルゴリズム5. ニューラルネットワーク自動構築手法1.はDNN学習処理におけるメモリ領域の再利用性を高め、GPUメモリの使用量を削減する技術、2.はMPIを効果的に用い、複数ノードでDeep Learningの分散学習の高速化を実現する技術、3.はDNNの計算量・パラメータ削減方法の一つで、GPUの性質を踏まえ、DNN認識処理の高速化に繋がるパラメータ削減を実現する技術、4.はConvolution層とAverage Pooling層を繋げた一つの層を用意し、ConvolutionとAverage Poolingの処理を効率的に実行するためのアルゴリズムに関する技術、5.は分類対象となるデータセットに応じて、適切な規模、分類精度、処理速度のニューラルネットワークを構築する技術に関する研究である。 |
| 抄録(英) | Fujitsu laboratories have been doing Research and Development on AI technologies called "Human Centric AI Zinrai". We have been advancing the Research and Development on Deep Learning Techonologies with the concept of "fast", "widely used" and "easy to use". We introduce the following researchs. 1. Memory reduction method for deep neural network training2. Acceleration of a Deep Learning Framework with MPI3. Column Weight Pruning for Accelerating DNN Inferences4. Fast Algorithm Using Summed Area Tables with Unified Layer Performing Convolution and Average Pooling5. An Automated CNN Recommendation System for Image Classification Tasks1. is the research which improves the reusabilities of memories during the training phase of Deep Neural Networks. It enables us to reduce the GPU memory usage. 2. is the research which realizes the speed-up of the distributed training of Deep Neural Networks. This method utilizes MPI functions efficienlty. 3. is the research which realizes the fast recognition process of Deep Neural Networks. It reduces the amout of calculation and parameters of convolutional neural networks so that it can make use of the fast matrix calculation functionalities of the GPUs. 4. is the research about the algorithm which realizes the efficient calculation of a convolutional layer followed by an averagin-pooling layer. It performs the calculation of a pair formed by a convolutional layer and the following average-pooling layer without the computation of convolution. 5. is the research which makes it possible to suggest suitable Convolutional Neural Networks according to the given datasets. This method estimates the complexity score of the classification task as well as the classification ability score of the Convolutional Neural Networks. |
| キーワード(和) | 深層学習 / ニューラルネットワーク / ディープラーニング / 並列計算 / コンピュータシステム / アルゴリズム / 機械学習 / 畳み込みニューラルネットワーク |
| キーワード(英) | Deep Learning / Neural Network / GPU / CNN / Convolutional Neural Network / Convolution / MPI / algorithm |
| 資料番号 | CPM2017-86,ICD2017-45,IE2017-71 |
| 発行日 | 2017-10-30 (CPM, ICD, IE) |
| 研究会情報 | |
| 研究会 | VLD / DC / CPSY / RECONF / CPM / ICD / IE / IPSJ-SLDM / IPSJ-EMB / IPSJ-ARC |
|---|---|
| 開催期間 | 2017/11/6(から3日開催) |
| 開催地（和） | くまもと県民交流館パレア |
| 開催地（英） | Kumamoto-Kenminkouryukan Parea |
| テーマ（和） | デザインガイア2017 -VLSI設計の新しい大地- |
| テーマ（英） | Design Gaia 2017 -New Field of VLSI Design- |
| 委員長氏名（和） | 越智 裕之(立命館大) / 井上 美智子(奈良先端大) / 中野 浩嗣(広島大) / 本村 真人(北大) / 廣瀬 文彦(山形大) / 日高 秀人(ルネサス エレクトロニクス) / 浜本 隆之(東京理科大) / 浜口 清治(島根大) / 渡辺 晴美(東海大) / 五島 正裕(NII) |
| 委員長氏名（英） | Hiroyuki Ochi(Ritsumeikan Univ.) / Michiko Inoue(NAIST) / Koji Nakano(Hiroshima Univ.) / Masato Motomura(Hokkaido Univ.) / Fumihiko Hirose(Yamagata Univ.) / Hideto Hidaka(Renesas) / Takayuki Hamamoto(Tokyo Univ. of Science) / Kiyoharu Hamaguchi(Shimane Univ.) / 渡辺 晴美(東海大) / Masahiro Goshima(NII) |
| 副委員長氏名（和） | 峯岸 孝行(三菱電機) / 福本 聡(首都大東京) / 入江 英嗣(東大) / 三吉 貴史(富士通研) / 柴田 裕一郎(長崎大) / 佐野 健太郎(東北大) / 武山 真弓(北見工大) / 永田 真(神戸大) / 児玉 和也(NII) / 木全 英明(NTT) |
| 副委員長氏名（英） | Noriyuki Minegishi(Mitsubishi Electric) / Satoshi Fukumoto(Tokyo Metropolitan Univ.) / Hidetsugu Irie(Univ. of Tokyo) / Takashi Miyoshi(Fujitsu) / Yuichiro Shibata(Nagasaki Univ.) / Kentaro Sano(Tohoku Univ.) / Mayumi Takeyama(Kitami Inst. of Tech.) / Makoto Nagata(Kobe Univ.) / Kazuya Kodama(NII) / Hideaki Kimata(NTT) |
| 幹事氏名（和） | 永山 忍(広島市大) / 新田 高庸(NTTデバイスイノベーションセンタ) / 吉村 正義(京都産大) / 金子 晴彦(東工大) / 大川 猛(宇都宮大) / 高前田 伸也(北大) / 谷川 一哉(広島市大) / 三好 健文(イーツリーズ・ジャパン) / 岩田 展幸(日大) / 中村 雄一(豊橋技科大) / 高宮 真(東大) / 橋本 隆(パナソニック) / 高橋 桂太(名大) / 河村 圭(KDDI総合研究所) / 許 浩沿(パナソニックセミコンダクタソリューションズ) / 密山 幸男(高知工科大) / 柴田 誠也(NEC) / 岡野 浩三(信州大) / 北村 崇師(産総研) / 早川 栄一(拓殖大) / 福田 浩章(芝浦工大) / 横山 孝典(東京都市大) / 小野 貴継(九大) / 近藤 正章(東大) / 長谷川 揚平(東芝) / 塩谷 亮太(名大) |
| 幹事氏名（英） | Shinobu Nagayama(Hiroshima City Univ.) / Koyo Nitta(NTT) / Masayoshi Yoshimura(Kyoto Sangyo Univ.) / Haruhiko Kaneko(Tokyo Inst. of Tech.) / Takeshi Ohkawa(Utsunomiya Univ.) / Shinya Takameda(Hokkaido Univ.) / Kazuya Tanigawa(Hiroshima City Univ.) / Takefumi Miyoshi(e-trees.Japan) / Nobuyuki Iwata(Nihon Univ.) / Yuichi Nakamura(Toyohashi Univ. of Tech.) / Makoto Takamiya(Univ. of Tokyo) / Takashi Hashimoto(Panasonic) / Keita Takahashi(Nagoya Univ.) / Kei Kawamura(KDDI Research) / Ko Kyo(Panasonic) / Yukio Mitsuyama(Kochi Univ. of Tech.) / Seiya Shibata(NEC) / 岡野 浩三(信州大) / 北村 崇師(産総研) / 早川 栄一(拓殖大) / 福田 浩章(芝浦工大) / 横山 孝典(東京都市大) / Takatsugu Ono(Kyushu Univ.) / Masaaki Kondo(Univ. of Tokyo) / Yohei Hasegawa(Toshiba) / Ryota Shioya(Nagoya Univ.) |
| 幹事補佐氏名（和） | / 新井 雅之(日大) / 伊藤 靖朗(広島大) / 津邑 公暁(名工大) / 小林 悠記(NEC) / 中原 啓貴(東工大) / 赤毛 勇一(NTTデバイスイノベーションセンタ) / 夏井 雅典(東北大) / 柘植 政利(ソシオネクスト) / 伊藤 浩之(東工大) / 範 公可(電通大) / 松尾 康孝(NHK) / 早瀬 和也(NTT) |
| 幹事補佐氏名（英） | / Masayuki Arai(Nihon Univ.) / Yasuaki Ito(Hiroshima Univ.) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Yuuki Kobayashi(NEC) / Hiroki Nakahara(Tokyo Inst. of Tech.) / Yuichi Akage(NTT) / Masanori Natsui(Tohoku Univ.) / Masatoshi Tsuge(Socionext) / Hiroyuki Ito(Tokyo Inst. of Tech.) / Pham Konkuha(Univ. of Electro-Comm.) / Yasutaka Matsuo(NHK) / Kazuya Hayase(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on VLSI Design Technologies / Technical Committee on Dependable Computing / Technical Committee on Computer Systems / Technical Committee on Reconfigurable Systems / Technical Committee on Component Parts and Materials / Technical Committee on Integrated Circuits and Devices / Technical Committee on Image Engineering / Special Interest Group on System and LSI Design Methodology / Special Interest Group on Embedded Systems / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ［招待講演］Deep Learningの高速化・効率化に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | [Invited Talk] Researchs on high-speed and efficient Deep Learning technologies |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / Deep Learning |
| キーワード(2)（和/英） | ニューラルネットワーク / Neural Network |
| キーワード(3)（和/英） | ディープラーニング / GPU |
| キーワード(4)（和/英） | 並列計算 / CNN |
| キーワード(5)（和/英） | コンピュータシステム / Convolutional Neural Network |
| キーワード(6)（和/英） | アルゴリズム / Convolution |
| キーワード(7)（和/英） | 機械学習 / MPI |
| キーワード(8)（和/英） | 畳み込みニューラルネットワーク / algorithm |
| 第 1 著者 氏名（和/英） | 深貝 卓也 / Takuya Fukagai |
| 第 1 著者 所属（和/英） | 株式会社富士通研究所(略称：富士通研) Fujitsu Laboratories(略称：Fujitsu Lab. Ltd.) |
| 第 2 著者 氏名（和/英） | 白幡 晃一 / Koichi Shirahata |
| 第 2 著者 所属（和/英） | 株式会社富士通研究所(略称：富士通研) Fujitsu Laboratories(略称：Fujitsu Lab. Ltd.) |
| 第 3 著者 氏名（和/英） | 富田 安基 / Yasumoto Tomita |
| 第 3 著者 所属（和/英） | 株式会社富士通研究所(略称：富士通研) Fujitsu Laboratories(略称：Fujitsu Lab. Ltd.) |
| 第 4 著者 氏名（和/英） | 橋本 鉄太郎 / Tetsutaro Hashimoto |
| 第 4 著者 所属（和/英） | 株式会社富士通研究所(略称：富士通研) Fujitsu Laboratories(略称：Fujitsu Lab. Ltd.) |
| 第 5 著者 氏名（和/英） | 池 敦 / Atsushi Ike |
| 第 5 著者 所属（和/英） | 株式会社富士通研究所(略称：富士通研) Fujitsu Laboratories(略称：Fujitsu Lab. Ltd.) |
| 第 6 著者 氏名（和/英） | 山崎 雅文 / Masafumi Yamazaki |
| 第 6 著者 所属（和/英） | 株式会社富士通研究所(略称：富士通研) Fujitsu Laboratories(略称：Fujitsu Lab. Ltd.) |
| 第 7 著者 氏名（和/英） | 笠置 明彦 / Akihiko Kasagi |
| 第 7 著者 所属（和/英） | 株式会社富士通研究所(略称：富士通研) Fujitsu Laboratories(略称：Fujitsu Lab. Ltd.) |
| 第 8 著者 氏名（和/英） | 田原 司睦 / Tsuguchika Tabaru |
| 第 8 著者 所属（和/英） | 株式会社富士通研究所(略称：富士通研) Fujitsu Laboratories(略称：Fujitsu Lab. Ltd.) |
| 第 9 著者 氏名（和/英） | 汪 留安 / Liuan Wang |
| 第 9 著者 所属（和/英） | 富士通研究開発中心有限公司(略称：FRDC) Fujitsu Research and Development Center Co., Ltd.(略称：FRDC) |
| 第 10 著者 氏名（和/英） | 王 淞 / Song Wang |
| 第 10 著者 所属（和/英） | 富士通研究開発中心有限公司(略称：FRDC) Fujitsu Research and Development Center Co., Ltd.(略称：FRDC) |
| 第 11 著者 氏名（和/英） | 孫 利 / Li Sun |
| 第 11 著者 所属（和/英） | 富士通研究開発中心有限公司(略称：FRDC) Fujitsu Research and Development Center Co., Ltd.(略称：FRDC) |
| 第 12 著者 氏名（和/英） | 孫 俊 / Jun Sun |
| 第 12 著者 所属（和/英） | 富士通研究開発中心有限公司(略称：FRDC) Fujitsu Research and Development Center Co., Ltd.(略称：FRDC) |
| 発表年月日 | 2017-11-07 |
| 資料番号 | CPM2017-86,ICD2017-45,IE2017-71 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | CPM-275,ICD-276,IE-277 |
| ページ範囲 | pp.39-41(CPM), pp.39-41(ICD), pp.39-41(IE), |
| ページ数 | 3 |
| 発行日 | 2017-10-30 (CPM, ICD, IE) |