| 講演名 | 2021-01-26 自律ロボットのための遠赤外線画像意味的領域分割とそのFPGA実装 丹羽 雄一郎(防衛装備庁), 藤井 大樹(イーソル), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年画像に関する深層学習の進展はめざましく、その成果は監視カメラの自動認識機能や自動車の自動運転等ロボットビジョンとして実用化されつつある。現状ではセンサとして可視カメラが主流なため、暗所や照度変化の著しい環境での使用には限界がある。一方遠赤外線カメラは、それらの環境におけるセンシング性能の影響は皆無であり、継続的で安定的な運用を実現することができる。本研究では、遠赤外線画像による人や車両等の障害物の検知認識及び車道など移動可能領域（フリースペース）の認識手法として、畳み込みニューラルネットワークによる遠赤外線画像の意味的領域分割（LWIRSegNet）のについて述べ、学習データ及びアノテーションコストの低い学習方法を提案する。また自律移動ロボットの障害物回避機能として用いるため、小型省電力かつ高速処理が可能な FPGA への実装を行った。本稿では、LWIRSegNet の構築と Xilinx 社 DNNDK ツールを用いた ZCU102FPGA ボードへの実装及び自律移動ロボットへの実装に関して述べる。実装実験の結果、遠赤外画像の意味的領域分割の推論速度が 102fps、自律移動ロボットの障害物回避制御周期が 100Hz であった。 |
| 抄録(英) | Recently, deep learning of images has made remarkable progress, and its results are being applied to the automaticrecognition function of surveillance cameras and automated driving and other robot vision applications. The daylight camerasare currently the most common vision sensors. However, there is a limit to the use them in dark places and in environments withillumination changes. On the other hand, a Long-wave infrared(LWIR) camera has negligible effect on the sensing performancein these conditions and can be used continuously and stably in such environments. In this paper, we introduce a method fordetecting and recognizing obstacles such as vehicles and people, and for identifying driveways and other free spaces by using aconvolutional neural network (LWIRSegNet) to segment LWIR images into semantic regions. We also propose a low-costtraining method for training data preparation and annotation. In order to use it as an obstacle avoidance function of an autonomousrobot, we have implemented it in a small, low power and high speed FPGA. In this paper, we describe the construction ofLWIRSegNet on an autonomous mobile robot and its implementation on a Xilinx ZCU102 FPGA board using the DNNDKtoolkit. We also propose a low-cost training method for training data preparation and annotation. The experimental results showthat the inference speed of LWIRSegNet on FPGA is 102 fps, and the obstacle avoidance control cycle of the autonomous robotusing LWIRSegNet on FPGA is 100 Hz. |
| キーワード(和) | 深層学習 / FPGA / 意味的領域分割 / 遠赤外線 / 自律ロボット |
| キーワード(英) | Deep Learning / FPGA / Semantic Segmentation / Long-Wave Infrared(LWIR) / Autonomous Robot |
| 資料番号 | VLD2020-57,CPSY2020-40,RECONF2020-76 |
| 発行日 | 2021-01-18 (VLD, CPSY, RECONF) |
| 研究会情報 | |
| 研究会 | CPSY / RECONF / VLD / IPSJ-ARC / IPSJ-SLDM |
|---|---|
| 開催期間 | 2021/1/25(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | FPGA 応用および一般 |
| テーマ（英） | FPGA Applications, etc. |
| 委員長氏名（和） | 入江 英嗣(東大) / 柴田 裕一郎(長崎大) / 福田 大輔(富士通研) / 井上 弘士(九大) / 中村 祐一(NEC) |
| 委員長氏名（英） | Hidetsugu Irie(Univ. of Tokyo) / Yuichiro Shibata(Nagasaki Univ.) / Daisuke Fukuda(Fujitsu Labs.) / Hiroshi Inoue(Kyushu Univ.) / Yuichi Nakamura(NEC) |
| 副委員長氏名（和） | 鯉渕 道紘(NII) / 中島 耕太(富士通研) / 佐野 健太郎(理研) / 山口 佳樹(筑波大) / 小林 和淑(京都工繊大) |
| 副委員長氏名（英） | Michihiro Koibuchi(NII) / Kota Nakajima(Fujitsu Lab.) / Kentaro Sano(RIKEN) / Yoshiki Yamaguchi(Tsukuba Univ.) / Kazutoshi Kobayashi(Kyoto Inst. of Tech.) |
| 幹事氏名（和） | 高前田 伸也(北大) / 津邑 公暁(名工大) / 三好 健文(イーツリーズ・ジャパン) / 小林 悠記(NEC) / 桜井 祐市(日立) / 兼本 大輔(大阪大学) / 今村 智(富士通研) / 塩谷 亮太(名大) / 谷本 輝夫(九大) / 新田 高庸(NTT) / 瀬戸 謙修(東京都市大) / 密山 幸男(高知工科大) / 君家 一紀(三菱電機) / 廣本 正之(富士通研) |
| 幹事氏名（英） | Shinya Takameda(Hokkaido Univ.) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Takefumi Miyoshi(e-trees.Japan) / Yuuki Kobayashi(NEC) / Yuichi Sakurai(Hitachi) / Daisuke Kanemoto(Osaka Univ.) / Satoshi Imamura(Fujitsu lab.) / Ryota Shioya(Nagoya Univ.) / Teruo Tanimoto(Kyushu Univ.) / Koyo Nitta(NTT) / Kenshu Seto(Tokyo City Univ.) / Yukio Mitsuyama(Kochi Univ. of Tech.) / Kazuki Oya(Mitsubishi Electric) / Masayuki Hiromoto(Fujistu Lab.) |
| 幹事補佐氏名（和） | 小川 周吾(日立) / 有間 英志(東大) / 中原 啓貴(東工大) / 竹村 幸尚(インテル) / 西元 琢真(日立) |
| 幹事補佐氏名（英） | Shugo Ogawa(Hitachi) / Eiji Arima(Univ. of Tokyo) / Hiroki Nakahara(Tokyo Inst. of Tech.) / Yukitaka Takemura(INTEL) / Takuma Nishimoto(Hitachi) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Computer Systems / Technical Committee on Reconfigurable Systems / Technical Committee on VLSI Design Technologies / Special Interest Group on System Architecture / Special Interest Group on System and LSI Design Methodology |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 自律ロボットのための遠赤外線画像意味的領域分割とそのFPGA実装 |
| サブタイトル（和） | |
| タイトル（英） | FPGA Implementation of Semantic Segmentation on LWIR Images for Autonomous Robot |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / Deep Learning |
| キーワード(2)（和/英） | FPGA / FPGA |
| キーワード(3)（和/英） | 意味的領域分割 / Semantic Segmentation |
| キーワード(4)（和/英） | 遠赤外線 / Long-Wave Infrared(LWIR) |
| キーワード(5)（和/英） | 自律ロボット / Autonomous Robot |
| 第 1 著者 氏名（和/英） | 丹羽 雄一郎 / Yuichiro Niwa |
| 第 1 著者 所属（和/英） | 防衛装備庁(略称：防衛装備庁) Acquisition,Technology & Logistics Agency(略称：ATLA) |
| 第 2 著者 氏名（和/英） | 藤井 大樹 / Taiki Fujii |
| 第 2 著者 所属（和/英） | イーソル株式会社(略称：イーソル) eSOL Co.Ltd.(略称：eSOL) |
| 発表年月日 | 2021-01-26 |
| 資料番号 | VLD2020-57,CPSY2020-40,RECONF2020-76 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | VLD-337,CPSY-338,RECONF-339 |
| ページ範囲 | pp.101-106(VLD), pp.101-106(CPSY), pp.101-106(RECONF), |
| ページ数 | 6 |
| 発行日 | 2021-01-18 (VLD, CPSY, RECONF) |