| 講演名 | 2018-08-01 CNNにおける数値表現の遺伝的アルゴリズムを用いた最適化 野上 和加奈(東大/産総研), 池上 努(産総研), 大内 真一(産総研), 高野 了成(産総研), 岸 裕真(東大/産総研), 工藤 知宏(東大/産総研), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 畳み込みニューラルネットワーク(CNN)による画像認識の精度は年々向上しており，それに伴ってモデルはより複雑で大きなものになってきている．モデルサイズを削減するための工夫の一つとして数値表現のbit幅を削減する手法がある．これまで浮動小数点型・固定小数点型などを用いてbit幅を削減する取り組みが多く行われている．その目的は、（１）少ないbit幅による（２）容易な演算によって、（３）高い正解率を得ることである。演算の容易性を考えると浮動小数点型や固定小数点型を用いることは適切である．そこで我々は可変ビンサイズ量子化と呼ぶ手法を導入し，ビンサイズを遺伝的アルゴリズムを用いて最適化することでbit幅提言・正解率向上の観点から最適な数値表現を求める実験を行った．今回は推論時の学習済みパラメータの量子化を対象にした．結果として実験に用いたモデルに対して，固定小数点表現や浮動小数点表現を上回る正解率を出すことができる数値表現を求めることに成功した．その数値表現は比較的固定小数点型に近いものであった．また，この数値表現を用いることで正解率を低下させずに3bitまでbit幅を削減できることがわかった． |
| 抄録(英) | The accuracy of image recognition by the convolutional neural network (CNN) has been improving year by year, and the models are becoming more complicated and larger. One way to reduce the model size is to use a low bit-width numerical expression. There are many types of research to reduce the bit-width by using floating-point, fixed-point, ternary, and binary arithmetics, and so on. They are aiming at (1) simplifying the computation (2) by introducing a less-bit arithmetic (3) to keep the image recognition accuracy. Considering ease of computation, it is appropriate to use floating-point and fixed-point. Therefore, we introduced a variable bin size quantization and found the appropriate numerical expression from the viewpoint of low bit-width and high accuracy by optimizing the bin size using a genetic algorithm. In this study, we targeted on quantization of trained parameters at inference. As a result, we succeeded in finding a numerical expression that can give higher Top-1 Accuracy than when using fixed-point or floating-point type for our CNN models. The numerical expression is relatively similar to fixed-point type. We also found that by using this numerical expression, it is possible to reduce the bit-width down to 3-bit without decreasing the accuracy. |
| キーワード(和) | 畳み込みニューラルネットワーク / 適応量子化 / 遺伝的アルゴリズム / 数値表現 / 最適化 |
| キーワード(英) | CNN / Adaptive Quantization / Genetic Algorithm / Numerical Expression / Optimization |
| 資料番号 | CPSY2018-26 |
| 発行日 | 2018-07-23 (CPSY) |
| 研究会情報 | |
| 研究会 | CPSY / DC / IPSJ-ARC |
|---|---|
| 開催期間 | 2018/7/30(から3日開催) |
| 開催地（和） | 熊本市国際交流会館 |
| 開催地（英） | Kumamoto City International Center |
| テーマ（和） | 並列／分散／協調システムとディペンダブルコンピューティングおよび一般 |
| テーマ（英） | Parallel, Distributed and Cooperative Processing Systems and Dependable Computing |
| 委員長氏名（和） | 中野 浩嗣(広島大) / 福本 聡(首都大東京) / 五島 正裕(NII) |
| 委員長氏名（英） | Koji Nakano(Hiroshima Univ.) / Satoshi Fukumoto(Tokyo Metropolitan Univ.) / Masahiro Goshima(NII) |
| 副委員長氏名（和） | 入江 英嗣(東大) / 三吉 貴史(富士通研) / 高橋 寛(愛媛大) |
| 副委員長氏名（英） | Hidetsugu Irie(Univ. of Tokyo) / Takashi Miyoshi(Fujitsu) / Hiroshi Takahashi(Ehime Univ.) |
| 幹事氏名（和） | 大川 猛(宇都宮大) / 高前田 伸也(北大) / 金子 晴彦(東工大) / 新井 雅之(日大) / 小野 貴継(九大) / 近藤 正章(東大) / 長谷川 揚平(東芝) / 塩谷 亮太(名大) |
| 幹事氏名（英） | Takeshi Ohkawa(Utsunomiya Univ.) / Shinya Takameda(Hokkaido Univ.) / Haruhiko Kaneko(Tokyo Inst. of Tech.) / Masayuki Arai(Nihon Univ.) / Takatsugu Ono(Kyushu Univ.) / Masaaki Kondo(Univ. of Tokyo) / Yohei Hasegawa(Toshiba) / Ryota Shioya(Nagoya Univ.) |
| 幹事補佐氏名（和） | 伊藤 靖朗(広島大) / 津邑 公暁(名工大) |
| 幹事補佐氏名（英） | Yasuaki Ito(Hiroshima Univ.) / Tomoaki Tsumura(Nagoya Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Computer Systems / Technical Committee on Dependable Computing / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | CNNにおける数値表現の遺伝的アルゴリズムを用いた最適化 |
| サブタイトル（和） | |
| タイトル（英） | Optimization of Numerical Expression in CNN using Genetic Algorithm |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 畳み込みニューラルネットワーク / CNN |
| キーワード(2)（和/英） | 適応量子化 / Adaptive Quantization |
| キーワード(3)（和/英） | 遺伝的アルゴリズム / Genetic Algorithm |
| キーワード(4)（和/英） | 数値表現 / Numerical Expression |
| キーワード(5)（和/英） | 最適化 / Optimization |
| 第 1 著者 氏名（和/英） | 野上 和加奈 / Wakana Nogami |
| 第 1 著者 所属（和/英） | 東京大学/産業技術総合研究所(略称：東大/産総研) The University of Tokyo/National Institute of Advanced Industrial And Technology(略称：Tokyo Univ./AIST) |
| 第 2 著者 氏名（和/英） | 池上 努 / Tsutomu Ikegami |
| 第 2 著者 所属（和/英） | 産業技術総合研究所(略称：産総研) National Institute of Advanced Industrial And Technology(略称：AIST) |
| 第 3 著者 氏名（和/英） | 大内 真一 / Shin-ichi O'uchi |
| 第 3 著者 所属（和/英） | 産業技術総合研究所(略称：産総研) National Institute of Advanced Industrial And Technology(略称：AIST) |
| 第 4 著者 氏名（和/英） | 高野 了成 / Ryosei Takano |
| 第 4 著者 所属（和/英） | 産業技術総合研究所(略称：産総研) National Institute of Advanced Industrial And Technology(略称：AIST) |
| 第 5 著者 氏名（和/英） | 岸 裕真 / Yuma Kishi |
| 第 5 著者 所属（和/英） | 東京大学/産業技術総合研究所(略称：東大/産総研) The University of Tokyo/National Institute of Advanced Industrial And Technology(略称：Tokyo Univ./AIST) |
| 第 6 著者 氏名（和/英） | 工藤 知宏 / Tomohiro Kudoh |
| 第 6 著者 所属（和/英） | 東京大学/産業技術総合研究所(略称：東大/産総研) The University of Tokyo/National Institute of Advanced Industrial And Technology(略称：Tokyo Univ./AIST) |
| 発表年月日 | 2018-08-01 |
| 資料番号 | CPSY2018-26 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | CPSY-165 |
| ページ範囲 | pp.193-198(CPSY), |
| ページ数 | 6 |
| 発行日 | 2018-07-23 (CPSY) |