| 講演名 | 2024-03-13 A Plug-and-Play Module for Enhancing Fault-Tolerant Distributed Inference Based on Gaussian Dropout コウ チョウセイ(慶大), 大槻 知明(慶大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | |
| 抄録(英) | Distributed inference (DI) in the Internet of Things (IoT) is becoming increasingly important as the demand for AI applications grows. When unreliable links are used for IoT transmission, missing data can adversely affect inference accuracy. Therefore, we designed a plug-and-play module to enhance the robustness of DI systems. The dropout we utilize is no longer a fixed value but is sampled from a Gaussian distribution, making it better adapted to lossy networks. Additionally, the convolutional layer of the module can learn and preserve fault-tolerant inference. This method uses freeze training and does not require retraining of the original deep neural network, thus significantly reducing the number of parameters to be trained and avoiding catastrophic forgetting. We incorporate various designs for the Gaussian dropout layer to further enhance its effectiveness at low packet loss rates. The module only needs to be attached to the cut-points of the original deep neural network, making it very easy and fast to deploy. Experimental results demonstrate that our plug-and-play module can be adapted to different deep neural networks and various lossy network scenarios, achieving an average accuracy improvement in all tests. Results show that our plug-and-play module significantly enhances the fault-tolerant inference of the system. |
| キーワード(和) | |
| キーワード(英) | Internet of Thingserror-tolerantdistributed inferencedeep learning |
| 資料番号 | RCS2023-267 |
| 発行日 | 2024-03-06 (RCS) |
| 研究会情報 | |
| 研究会 | RCS / SR / SRW |
|---|---|
| 開催期間 | 2024/3/13(から3日開催) |
| 開催地（和） | 東京大学本郷キャンパス + オンライン開催 |
| 開催地（英） | The University of Tokyo (Hongo Campus), and online |
| テーマ（和） | 移動通信ワークショップ |
| テーマ（英） | Mobile Communication Workshop |
| 委員長氏名（和） | 樋口 健一(東京理科大) / 田久 修(信州大) / 水谷 圭一(京大) |
| 委員長氏名（英） | Kenichi Higuchi(Tokyo Univ. of Science) / Osamu Takyu(Shinshu Univ.) / Keiichi Mizutani(Kyoto Univ.) |
| 副委員長氏名（和） | 児島 史秀(NICT) / 牟田 修(九大) / 石井 直人(NEC) / 石津 健太郎(NICT) / 矢野 一人(ATR) / 成枝 秀介(三重大) / 斎藤 健太郎(東京電機大) / 沢田 浩和(NICT) |
| 副委員長氏名（英） | Fumihide Kojima(NICT) / Osamu Muta(Kyushu Univ.) / Naoto Ishii(NEC) / Kentaro Ishidu(NICT) / Kazuto Yano(ATR) / Shusuke Narieda(Mie Univ.) / Kentaro Saito(Tokyo Denki Univ.) / Hirokazu Sawada(NICT) |
| 幹事氏名（和） | 安達 宏一(電通大) / 中村 理(シャープ) / 酒井 学(三菱電機) / 稲森 真美子(東海大) / 李 斗煥(NTT) / タン ザカン(東工大) / 野田 聡人(高知工科大) / 佐々木 重信(新潟大) |
| 幹事氏名（英） | Koichi Adachi(Univ. of Electro-Comm) / Osamu Nakamura(Sharp) / Manabu Sakai(Mitsubishi Electric) / Mamiko Inamori(Tokai Univ.) / Doohwan Lee(NTT) / TRAN GIA KHANH(Tokyo Inst. of Tech) / Akihito Noda(Kochi Univ, of Tech.) / Shigenobu Sasaki(Niigata Univ.) |
| 幹事補佐氏名（和） | 岩渕 匡史(NTT) / 菅野 一生(KDDI総合研究所) / 張 裕淵(東工大) / 丸田 一輝(東京理科大) / 立石 貴一(NTTドコモ) / 大辻 太一(NEC) / 王 瀟岩(茨城大) / 田中 明美(MathWorks) / 須藤 克弥(電通大) / 新井 麻希(東京理科大) / 香田 優介(京大) |
| 幹事補佐氏名（英） | Masashi Iwabuchi(NTT) / Issei Kanno(KDDI Research) / Yuyuan Chang(Tokyo Inst. of Tech) / Kazuki Maruta(Tokyo Univ. of Science) / Kiichi Tateishi(NTT Docomo) / Taichi Ohtsuji(NEC) / WANG Xiaoyan(Ibaraki Univ.) / Akemi Tanaka(MathWorks) / Katsuya Suto(Univ. of Electro-Comm) / Maki Arai(Tokyo Univ. of Science) / Yusuke Kouda(Kyoto Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Radio Communication Systems / Technical Committee on Smart Radio / Technical Committee on Short Range Wireless Communications |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | A Plug-and-Play Module for Enhancing Fault-Tolerant Distributed Inference Based on Gaussian Dropout |
| サブタイトル（和） | |
| キーワード(1)（和/英） | / Internet of Thingserror-tolerantdistributed inferencedeep learning |
| 第 1 著者 氏名（和/英） | コウ チョウセイ / Hou Zhangcheng |
| 第 1 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：KU) |
| 第 2 著者 氏名（和/英） | 大槻 知明 / Ohtsuki Tomoaki |
| 第 2 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：KU) |
| 発表年月日 | 2024-03-13 |
| 資料番号 | RCS2023-267 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | RCS-434 |
| ページ範囲 | pp.77-82(RCS), |
| ページ数 | 6 |
| 発行日 | 2024-03-06 (RCS) |