| 講演名 | 2020-03-17 モデルカスケードによる深層学習推論の高速化 榎本 昇平(NTT), 江田 毅晴(NTT), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，深層学習の発展やIoT機器の普及により様々なアプリケーションが登場してきた．これらのアプリケーションはIoT機器上で処理を完結させることが望ましいが，高精度かつIoT機器のリソース制約を満たすようなモデルを作成することは難しい．そこで軽量モデルをIoT機器に高精度モデルをクラウドに配置し，軽量モデルの予測が信用出来ない場合のみ高精度モデルへ推論処理をオフロードすることで高精度かつ高速な推論を実現可能なモデルカスケードが研究されている．モデルカスケードでは軽量モデルの予測結果が信用可能かを表す確信度が重要であり，既存研究では予測確率から確信度を得ているが，この予測確率は正確でないという問題がある．本論文では軽量モデルを学習する際に，通常のタスクのための損失関数に加えてモデルカスケードのための損失関数を同時に最適化することで，モデルカスケードに適した正確な予測確率から確信度を得ることの可能な手法を提案する．提案手法はResNet152単体で推論を行う場合と比べて最大で$36%$の計算コスト削減と$41%$の通信コスト削減を達成した． |
| 抄録(英) | In recent years, various applications have appeared due to the development of deep learning and the spread of IoT devices. It is desirable for these applications to complete its processing on IoT devices, but it is difficult to create DNN models that have high-accuracy and satisfy the resource constraints of IoT devices. Therefore, an approach, called model cascading is studied that can realize high-accuracy and high-speed inference by deploying a lightweight model on an IoT device and a high-accuracy model on the cloud and offloading the inference processing to the high-accuracy model only when the prediction of the lightweight model is not credible. In the model cascading, confidence score which estimates how much the lightweight model is confident about its prediction result is important. Several previous studies obtained the confidence score from their prediction probability values, but it is known that the probability value is not accurate for estimating confidence score. In this paper, we propose a method for optimizing the loss function for the normal task and the model cascading at the same time when learning a lightweight model, and obtaining confidence using prediction probability suitable for model cascading. The proposed method achieved a reduction in computational cost of up to $ 36 % $ and a reduction in communication cost of $ 41 % $ compared to the case of inference using only ResNet152. |
| キーワード(和) | 深層学習 / 推論高速化 / モデルカスケード / エッジデバイス |
| キーワード(英) | Deep Learning / DNN / Inference / Model Cascading / IoT / Edge Device |
| 資料番号 | PRMU2019-98 |
| 発行日 | 2020-03-09 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM |
|---|---|
| 開催期間 | 2020/3/16(から2日開催) |
| 開催地（和） | 京都大学 |
| 開催地（英） | |
| テーマ（和） | 安全安心、セキュリティ・防災 |
| テーマ（英） | |
| 委員長氏名（和） | 佐藤 洋一(東大) |
| 委員長氏名（英） | Yoichi Sato(Univ. of Tokyo) |
| 副委員長氏名（和） | 玉木 徹(広島大) / 木村 昭悟(NTT) |
| 副委員長氏名（英） | Toru Tamaki(Hiroshima Univ.) / Akisato Kimura(NTT) |
| 幹事氏名（和） | 入江 豪(NTT) / 牛久 祥孝(オムロンサイニックエックス) |
| 幹事氏名（英） | Go Irie(NTT) / Yoshitaka Ushiku(OMRON SINICX) |
| 幹事補佐氏名（和） | 内田 祐介(DeNA) / 山下 隆義(中部大) |
| 幹事補佐氏名（英） | Yusuke Uchida(DeNA) / Takayoshi Yamashita(Chubu Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | モデルカスケードによる深層学習推論の高速化 |
| サブタイトル（和） | |
| タイトル（英） | Acceleration of Deep Learning Inference by Model Cascading |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / Deep Learning |
| キーワード(2)（和/英） | 推論高速化 / DNN |
| キーワード(3)（和/英） | モデルカスケード / Inference |
| キーワード(4)（和/英） | エッジデバイス / Model Cascading |
| キーワード(5)（和/英） | / IoT |
| キーワード(6)（和/英） | / Edge Device |
| 第 1 著者 氏名（和/英） | 榎本 昇平 / Shohei Enomoto |
| 第 1 著者 所属（和/英） | 日本電信電話株式会社(略称：NTT) NIPPON TELEGRAPH AND TELEPHONE CORPORATION(略称：NTT) |
| 第 2 著者 氏名（和/英） | 江田 毅晴 / Takeharu Eda |
| 第 2 著者 所属（和/英） | 日本電信電話株式会社(略称：NTT) NIPPON TELEGRAPH AND TELEPHONE CORPORATION(略称：NTT) |
| 発表年月日 | 2020-03-17 |
| 資料番号 | PRMU2019-98 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | PRMU-481 |
| ページ範囲 | pp.203-208(PRMU), |
| ページ数 | 6 |
| 発行日 | 2020-03-09 (PRMU) |