| 講演名 | 2020-01-22 畳み込みニューラルネットワークを用いた単眼深度推定のFPGA実装について 佐田 悠生(東工大), 下田 将之(東工大), 佐藤 真平(東工大), 中原 啓貴(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 深度推定は3次元のシーン解析に不可欠であり，ロボティクスや自動運転，ドローンなどで活用されている．近年の畳み込みニューラルネットワーク(CNN: Convolutional Neural Network)の著しい発展により，様々な画像認識アプリケーションにおいて高い認識精度を達成している．単眼深度推定はCNNを用いた画像認識アプリケーションの一つで，単眼カメラからのRGB画像からピクセル単位での深度を推定する．単眼深度推定は，LiDARやステレオカメラなどの高価な深度センサを必要とせず，安価な単眼カメラで実現できるため低コストである．本研究では，単眼深度推定を安価なFPGAに実装することで軽量かつ電力効率に優れたシステムを構築する．MobileNetV1ベースのCNNを量子化と枝刈りによって最適化を行った．提案アーキテクチャはDepthwise畳み込みやPointwise畳み込み，疎なPointwise畳み込みなど様々な畳み込み計算を単一の回路で行う．Intel社のOpenCL 17.1を用いてOpenVINO Starter Kitに実装し，52FPS(Frames Per Second)を達成した． |
| 抄録(英) | Among a lot of image recognition applications, Convolutional Neural Network (CNN) has gained high accuracy and increasing interest. It is rapidly required to implement a real-time and energy-efficient depth estimation in embedded systems. Because depth estimation is important to understand the scene and it is required on many applications such as robotics, 3D modeling and driving automation systems. The monocular depth estimation estimates the depth from a single RGB image. And it is paid attention due to the reliability of a monocular RGB camera, low cost and its small requirement of hardware resource. Moreover, there is the possibility to replace an expensive depth sensor such as a LiDAR or a stereo camera into the general RGB camera. We choose the CNN-based monocular depth estimation since CNN schemes are able to realize accurate and dense estimation. However, CNN schemes require a massive amount of multiplications and it makes difficult to implement an accurate system under limited device resources. To handle this, we adopt 8-bit quantization and weight pruning in order to implement an FPGA with high inference speed. Then, our CNN-based estimation is demonstrated on OpenVINO Starter Kit due to real-time requirements and energy-efficiency. Because GPUs consume too much of power and CPUs are too slow due to the numerous operations in the CNN, FPGA system is better performance per power using a custom design for the depth estimation. |
| キーワード(和) | 畳み込みニューラルネットワーク / FPGA / 単眼深度推定 / 量子化 / 枝刈り |
| キーワード(英) | Convolutional Neural Network / FPGA / Monocular Depth Estimation / Quantization / Pruning |
| 資料番号 | VLD2019-66,CPSY2019-64,RECONF2019-56 |
| 発行日 | 2020-01-15 (VLD, CPSY, RECONF) |
| 研究会情報 | |
| 研究会 | IPSJ-SLDM / RECONF / VLD / CPSY / IPSJ-ARC |
|---|---|
| 開催期間 | 2020/1/22(から3日開催) |
| 開催地（和） | 慶応義塾大学 日吉キャンパス 来往舎 |
| 開催地（英） | Raiosha, Hiyoshi Campus, Keio University |
| テーマ（和） | FPGA応用および一般 |
| テーマ（英） | FPGA Applications, etc. |
| 委員長氏名（和） | 田宮 豊(富士通研) / 柴田 裕一郎(長崎大) / 戸川 望(早大) / 入江 英嗣(東大) / 井上 弘士(九大) |
| 委員長氏名（英） | Yutaka Tamiya(Fujitsu Lab.) / Yuichiro Shibata(Nagasaki Univ.) / Nozomu Togawa(Waseda Univ.) / Hidetsugu Irie(Univ. of Tokyo) / Hiroshi Inoue(Kyushu Univ.) |
| 副委員長氏名（和） | / 佐野 健太郎(理研) / 山口 佳樹(筑波大) / 福田 大輔(富士通研) / 鯉渕 道紘(NII) / 中島 耕太(富士通研) |
| 副委員長氏名（英） | / Kentaro Sano(RIKEN) / Yoshiki Yamaguchi(Tsukuba Univ.) / Daisuke Fukuda(Fujitsu Labs.) / Michihiro Koibuchi(NII) / Kota Nakajima(Fujitsu Lab.) |
| 幹事氏名（和） | 土谷 亮(滋賀県大) / 岩崎 裕江(NTT) / 佐々木 通(三菱電機) / 谷川 一哉(広島市大) / 三好 健文(イーツリーズ・ジャパン) / 小平 行秀(会津大) / 桜井 祐市(日立) / 津邑 公暁(名工大) / 高前田 伸也(北大) / 近藤 正章(東大) / 塩谷 亮太(名大) / 田中 美帆(富士通研) / 長谷川 揚平(東芝メモリ) |
| 幹事氏名（英） | Akira Tsuchiya(Univ. Shiga Prefecture) / Hiroe Iwasaki(NTT) / Toru Sasaki(Mitsubishi Electric) / Kazuya Tanigawa(Hiroshima City Univ.) / Takefumi Miyoshi(e-trees.Japan) / Yukihide Kohira(Univ. of Aizu) / Yuichi Sakurai(Hitachi) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Shinya Takameda(Hokkaido Univ.) / Masaaki Kondo(Univ. of Tokyo) / Ryota Shioya(Nagoya Univ.) / Miho Tanaka(Fujitsu Labs.) / Yohei Hasegawa(Toshiba Memory) |
| 幹事補佐氏名（和） | / 小林 悠記(NEC) / 中原 啓貴(東工大) / 池田 一樹(日立) / 有間 英志(東大) / 小川 周吾(日立) |
| 幹事補佐氏名（英） | / Yuuki Kobayashi(NEC) / Hiroki Nakahara(Tokyo Inst. of Tech.) / Kazuki Ikeda(Hitachi) / Eiji Arima(Univ. of Tokyo) / Shugo Ogawa(Hitachi) |
| 講演論文情報詳細 | |
| 申込み研究会 | Special Interest Group on System and LSI Design Methodology / Technical Committee on Reconfigurable Systems / Technical Committee on VLSI Design Technologies / Technical Committee on Computer Systems / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 畳み込みニューラルネットワークを用いた単眼深度推定のFPGA実装について |
| サブタイトル（和） | |
| タイトル（英） | An FPGA Implementation of Monocular Depth Estimation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 畳み込みニューラルネットワーク / Convolutional Neural Network |
| キーワード(2)（和/英） | FPGA / FPGA |
| キーワード(3)（和/英） | 単眼深度推定 / Monocular Depth Estimation |
| キーワード(4)（和/英） | 量子化 / Quantization |
| キーワード(5)（和/英） | 枝刈り / Pruning |
| 第 1 著者 氏名（和/英） | 佐田 悠生 / Youki Sada |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：titech) |
| 第 2 著者 氏名（和/英） | 下田 将之 / Masayuki Shimoda |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：titech) |
| 第 3 著者 氏名（和/英） | 佐藤 真平 / Shimpei Sato |
| 第 3 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：titech) |
| 第 4 著者 氏名（和/英） | 中原 啓貴 / Hiroki Nakahara |
| 第 4 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：titech) |
| 発表年月日 | 2020-01-22 |
| 資料番号 | VLD2019-66,CPSY2019-64,RECONF2019-56 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | VLD-371,CPSY-372,RECONF-373 |
| ページ範囲 | pp.73-78(VLD), pp.73-78(CPSY), pp.73-78(RECONF), |
| ページ数 | 6 |
| 発行日 | 2020-01-15 (VLD, CPSY, RECONF) |