| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-03-17 16:00 モデルカスケードによる深層学習推論の高速化 ○榎本昇平・江田毅晴（NTT）  PRMU2019-98 |
|
| 抄録 | （和） | 近年，深層学習の発展やIoT機器の普及により様々なアプリケーションが登場してきた． これらのアプリケーションはIoT機器上で処理を完結させることが望ましいが，高精度かつIoT機器のリソース制約を満たすようなモデルを作成することは難しい． そこで軽量モデルをIoT機器に高精度モデルをクラウドに配置し，軽量モデルの予測が信用出来ない場合のみ高精度モデルへ推論処理をオフロードすることで高精度かつ高速な推論を実現可能なモデルカスケードが研究されている． モデルカスケードでは軽量モデルの予測結果が信用可能かを表す確信度が重要であり，既存研究では予測確率から確信度を得ているが，この予測確率は正確でないという問題がある． 本論文では軽量モデルを学習する際に，通常のタスクのための損失関数に加えてモデルカスケードのための損失関数を同時に最適化することで，モデルカスケードに適した正確な予測確率から確信度を得ることの可能な手法を提案する． 提案手法はResNet152単体で推論を行う場合と比べて最大で$36%$の計算コスト削減と$41%$の通信コスト削減を達成した． |
| （英） | In recent years, various applications have appeared due to the development of deep learning and the spread of IoT devices. It is desirable for these applications to complete its processing on IoT devices, but it is difficult to create DNN models that have high-accuracy and satisfy the resource constraints of IoT devices. Therefore, an approach, called model cascading is studied that can realize high-accuracy and high-speed inference by deploying a lightweight model on an IoT device and a high-accuracy model on the cloud and offloading the inference processing to the high-accuracy model only when the prediction of the lightweight model is not credible. In the model cascading, confidence score which estimates how much the lightweight model is confident about its prediction result is important. Several previous studies obtained the confidence score from their prediction probability values, but it is known that the probability value is not accurate for estimating confidence score. In this paper, we propose a method for optimizing the loss function for the normal task and the model cascading at the same time when learning a lightweight model, and obtaining confidence using prediction probability suitable for model cascading. The proposed method achieved a reduction in computational cost of up to $ 36 % $ and a reduction in communication cost of $ 41 % $ compared to the case of inference using only ResNet152. |
|
| キーワード | （和） | 深層学習 / 推論高速化 / モデルカスケード / エッジデバイス / / / / |
| （英） | Deep Learning / DNN / Inference / Model Cascading / IoT / Edge Device / / | |
| 文献情報 | 信学技報, vol. 119, no. 481, PRMU2019-98, pp. 203-208, 2020年3月. | |
| 資料番号 | PRMU2019-98 | |
| 発行日 | 2020-03-09 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2019-98 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM |
| 開催期間 | 2020-03-16 - 2020-03-17 |
| 開催地（和） | 京都大学 |
| 開催地（英） | |
| テーマ（和） | 安全安心、セキュリティ・防災 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2020-03-PRMU-CVIM |
| 本文の言語 | 日本語 |
| タイトル（和） | モデルカスケードによる深層学習推論の高速化 |
| サブタイトル（和） | |
| タイトル（英） | Acceleration of Deep Learning Inference by Model Cascading |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 深層学習 / Deep Learning |
| キーワード(2)（和/英） | 推論高速化 / DNN |
| キーワード(3)（和/英） | モデルカスケード / Inference |
| キーワード(4)（和/英） | エッジデバイス / Model Cascading |
| キーワード(5)（和/英） | / IoT |
| キーワード(6)（和/英） | / Edge Device |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 榎本 昇平 / Shohei Enomoto / エノモト ショウヘイ |
| 第1著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) NIPPON TELEGRAPH AND TELEPHONE CORPORATION (略称： NTT) |
| 第2著者 氏名（和/英/ヨミ） | 江田 毅晴 / Takeharu Eda / エダ タケハル |
| 第2著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) NIPPON TELEGRAPH AND TELEPHONE CORPORATION (略称： NTT) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2020-03-17 16:00:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2019-98 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | no.481 |
| ページ範囲 | pp.203-208 |
| ページ数 | 6 |
| 発行日 | 2020-03-09 (PRMU) |
[研究会発表申込システムのトップページに戻る]