| 講演名 | 2021-08-05 確率的コンピューティングを導入した多層パーセプトロンのディジタル実装 佐々木 義明(北大), 村松 聖倭(北大), 西田 浩平(北大), 赤井 恵(北大), 浅井 哲也(北大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年人工知能は著しく発展を遂げているが,その発展と同じくして積和演算のコストが飛躍的に増加している.特にチップ上の面積や消費電力に大幅な制限のあるエッジAI集積回路においてそのコストによる障壁は非常に大きいものとなっている.そのためエッジAI集積回路にはできるだけ演算回路の電力効率が高いことが求められている. 確率的コンピューティング(SC : Stochastic Computing)は1960年代に提案された確率を用いることで回路面積を大幅に低減する演算手法(文献[1])である.確率の性質によって演算結果にばらつきがあることが原因で長い間日の目を見ることはなかったが,近年画像処理やディープラーニングといった演算結果にある程度の誤差を許すような様々なアプリケーションで応用可能性が示されつつある.それらのアプリケーションと同様にエッジAI集積回路においてもある程度の誤差は許容されるため,SCを導入することによる恩恵が予想できる. SCに基づいた演算では加減算が難しいとされており,先行研究においてSCを導入したエッジAI集積回路では層状に形成したネットワークの各層でデコードを必要としていたため,演算コストが非常に高くなっていた.また学習機能を有したエッジAI集積回路の提案,あるいは学習を行うための演算回路の導入は行われてこなかった. 本論文では活性化関数への入力を前提とすることでデコードを必要としない加減算を実現する手法について提案を行う. また学習機能を有する3層パーセプトロンのディジタル実装を行い,簡単な論理演算や線形回帰問題,そして非線形回帰問題の学習,推論を行うことでSCに基づいた機械学習の実現可能性について示す. |
| 抄録(英) | Stochastic computing (SC) is an arithmetic technique that enables various operations to be performed with a small number of logic gates in exchange for operational accuracy. In this paper, we discuss the realization of an edge AI integrated circuit with a learning function based on the SC. First, we propose a logic circuit that realizes an area-efficient activation function that does not require decoding in the midst of forward operations. Next, we propose a method to realize an operation equivalent to subtraction, which is considered to be difficult in SC, as well as propose a new arithmetic method that mimics the synaptic transmission of neural circuits. By assuming the input to the activation function, we also propose a summation operation that utilizes imperfect addition, which has rarely been used in SC. By introducing these arithmetic methods, we propose a digital implementation of a multilayer perceptron based on the SC. First, we learn simple logic operations and then learn linear and nonlinear regression problems. We then demonstrate the feasibility of SC-based machine learning. The method presented herein will expand the options of edge AI integrated circuits using SC and may contribute to the development of edge AI integrated circuits in the future. |
| キーワード(和) | 確率的コンピューティング / 機械学習 / ニューラルネットワーク / エッジAI集積回路 / バックプロパゲーション |
| キーワード(英) | Stochastic Computing / Machine Learning / Neural Network / Edge AI Integrated Circuit / Backpropagation |
| 資料番号 | CCS2021-16 |
| 発行日 | 2021-07-29 (CCS) |
| 研究会情報 | |
| 研究会 | IN / CCS |
|---|---|
| 開催期間 | 2021/8/5(から1日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | ネットワークの科学、将来ネットワーク 、クラウド/SDN/仮想化、コンテンツ配信・流通、及び一般 |
| テーマ（英） | Network Science, Future Network, Cloud/SDN/Virtualization, Contents Delivery/Contents Exchange, and others |
| 委員長氏名（和） | 石田 賢治(広島市大) / 浅井 哲也(北大) |
| 委員長氏名（英） | Kenji Ishida(Hiroshima City Univ.) / Tetsuya Asai(Hokkaido Univ.) |
| 副委員長氏名（和） | 波戸 邦夫(インターネットマルチフィード) / 赤井 恵(北大) / 會田 雅樹(都立大) |
| 副委員長氏名（英） | Kunio Hato(Internet Multifeed) / Megumi Akai(Hokkaido Univ.) / Masaki Aida(TMU) |
| 幹事氏名（和） | 谷口 展郎(NTT) / 星野 文学(長崎県立大) / 渡部 康平(長岡技科大) / 城 哲(KDDI総合研究所) / 中田 一紀(TDK) / 眞田 耕輔(三重大) |
| 幹事氏名（英） | Noburo Taniguchi(NTT) / Fumitaka Hoshino(Univ. of Nagasaki) / Kouhei Watabei(Nagaoka Univ. of Tech.) / Tetsu Jyo(KDDI Research) / Kazuki Nakada(TDK) / Kosuke Sanada(Mie Univ.) |
| 幹事補佐氏名（和） | / 中野 秀洋(東京都市大) / 安東 弘泰(筑波大) / 松原 崇(阪大) / 宮田 純子(芝浦工大) |
| 幹事補佐氏名（英） | / Hidehiro Nakano(Tokyo City Univ.) / Hiroyasu Ando(Tsukuba Univ.) / Takashi Matsubara(Osaka Univ.) / Sumiko Miyata(Shibaura Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Information Networks / Technical Committee on Complex Communication Sciences |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 確率的コンピューティングを導入した多層パーセプトロンのディジタル実装 |
| サブタイトル（和） | |
| タイトル（英） | Digital Implement of 3-layered Neural Networks with Stochastic Activation, Shunting Inhibition, and a Dual-rail Backpropagation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 確率的コンピューティング / Stochastic Computing |
| キーワード(2)（和/英） | 機械学習 / Machine Learning |
| キーワード(3)（和/英） | ニューラルネットワーク / Neural Network |
| キーワード(4)（和/英） | エッジAI集積回路 / Edge AI Integrated Circuit |
| キーワード(5)（和/英） | バックプロパゲーション / Backpropagation |
| 第 1 著者 氏名（和/英） | 佐々木 義明 / Yoshiaki Sasaki |
| 第 1 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 2 著者 氏名（和/英） | 村松 聖倭 / Seiya Muramatsu |
| 第 2 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 3 著者 氏名（和/英） | 西田 浩平 / Kohei Nishida |
| 第 3 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 4 著者 氏名（和/英） | 赤井 恵 / Megumi Akai-Kasaya |
| 第 4 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 第 5 著者 氏名（和/英） | 浅井 哲也 / Tetsuya Asai |
| 第 5 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 発表年月日 | 2021-08-05 |
| 資料番号 | CCS2021-16 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | CCS-134 |
| ページ範囲 | pp.7-13(CCS), |
| ページ数 | 7 |
| 発行日 | 2021-07-29 (CCS) |