| 講演名 | 2022-07-15 Neural ODEモデルを用いた連合学習の転送量削減 星野 優斗(慶大), 川上 大輝(慶大), 松谷 宏紀(慶大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Federated Learning (連合学習)は、プライバシ等に配慮し、データをサーバに集約せず、データがエッジ等に分散した状態で学習を行う機械学習手法である。ResNetは出力ではなく残差関数を学習することで、ネットワークを深くすることに成功した高精度のニューラルネットワークである。連合学習ではサーバとエッジ間で通信を行い、重みのやり取りを行うが、ResNetは層が深くパラメータ数が多いので通信量が大きくなってしまう。そこで、本研究ではResNetの軽量化モデルであるNeural ODEを使用し、連合学習における通信量を削減する。さらに、異なるResNetに相当する、異なる繰り返し数のNeural ODEモデルを用いた連合学習を検討する。評価ではCIFAR-10データセットを使用し、Neural ODEを用いることで通信量をResNetと比較して約90%削減した。また、異なるモデル同士の連合学習が可能であることを示した。 |
| 抄録(英) | |
| キーワード(和) | 連合学習 / ResNet / Neural ODE |
| キーワード(英) | |
| 資料番号 | NS2022-59 |
| 発行日 | 2022-07-06 (NS) |
| 研究会情報 | |
| 研究会 | NS / SR / RCS / SeMI / RCC |
|---|---|
| 開催期間 | 2022/7/13(から3日開催) |
| 開催地（和） | 金沢歌劇座 + オンライン開催 |
| 開催地（英） | The Kanazawa Theatre + Online |
| テーマ（和） | 無線分散ネットワーク，M2M(Machine-to-Machine)，D2D(Device-to-Device)，一般 |
| テーマ（英） | Distributed Wireless Network, M2M (Machine-to-Machine)，D2D (Device-to-Device)，IoT（Internet of Things）, etc |
| 委員長氏名（和） | 大石 哲矢(NTT) / 亀田 卓(広島大) / 樋口 健一(東京理科大) / 山本 高至(京大) / 東 俊一(名大) |
| 委員長氏名（英） | Tetsuya Oishi(NTT) / Suguru Kameda(Hiroshima Univ.) / Kenichi Higuchi(Tokyo Univ. of Science) / Koji Yamamoto(Kyoto Univ.) / Shunichi Azuma(Nagoya Univ.) |
| 副委員長氏名（和） | 三好 匠(芝浦工大) / 田久 修(信州大) / 石津 健太郎(NICT) / 矢野 一人(ATR) / 旦代 智哉(東芝) / 児島 史秀(NICT) / 牟田 修(九大) / 門田 和也(日立) / 大和田 泰伯(NICT) / 猿渡 俊介(阪大) / 小林 孝一(北大) / 石井 光治(香川大) |
| 副委員長氏名（英） | Takumi Miyoshi(Shibaura Insti of Tech.) / Osamu Takyu(Shinshu Univ.) / Kentaro Ishidu(NICT) / Kazuto Yano(ATR) / Tomoya Tandai(Toshiba) / Fumihide Kojima(NICT) / Osamu Muta(Kyushu Univ.) / Kazuya Monden(Hitachi) / Yasunori Owada(NICT) / Shunsuke Saruwatari(Osaka Univ.) / Shunichi Azuma(Hokkaido Univ.) / Koji Ishii(Kagawa Univ.) |
| 幹事氏名（和） | 池邉 隆(NTT) / 山口 実靖(工学院大) / 成枝 秀介(三重大) / 稲森 真美子(東海大) / 李 斗煥(NTT) / 山本 哲矢(パナソニック) / 安達 宏一(電通大) / 中村 理(シャープ) / 勝間田 優樹(NTTドコモ) / 中山 悠(東京農工大) / 内山 彰(阪大) / 加川 敏規(電中研) / 岡野 訓尚(立命館大) |
| 幹事氏名（英） | Takashi Ikebe(NTT) / Saneyasu Yamaguchi(Kogakuin Univ.) / Syusuke Narieda(Mie Univ.) / Mamiko Inamori(Tokai Univ.) / Doohwan Lee(NTT) / Tetsuya Yamamoto(Panasonic) / Koichi Adachi(Univ. of Electro-Comm) / Osamu Nakamura(Sharp) / Yuki Katsumata(NTT DOCOMO) / Yu Nakayama(Tokyo Univ. of Agri. and Tech.) / Akira Uchiyama(Osaka Univ.) / Toshinori Kagawa(CRIEPI) / Kunihisa Okano(Ritsumeikan Univ.) |
| 幹事補佐氏名（和） | 三原 孝太郎(NTT) / 大辻 太一(NEC) / 王 瀟岩(茨城大) / 田中 明美(MathWorks) / 須藤 克弥(電通大) / 酒井 学(三菱電機) / 岩渕 匡史(NTT) / 奥山 達樹(NTTドコモ) / 菅野 一生(KDDI総合研究所) / 張 裕淵(東工大) / 松田 裕貴(奈良先端大) / 田谷 昭仁(青学大) / 平井 健士(阪大) / 単 麟(NICT) / 足立 亮介(山口大) |
| 幹事補佐氏名（英） | Kotaro Mihara(NTT) / Taichi Ohtsuji(NEC) / WANG Xiaoyan(Ibaraki Univ.) / Akemi Tanaka(MathWorks) / Katsuya Suto(Univ. of Electro-Comm) / Manabu Sakai(Mitsubishi Electric) / Masashi Iwabuchi(NTT) / Tatsuki Okuyama(NTT DOCOMO) / Issei Kanno(KDDI Research) / Yuyuan Chang(Tokyo Inst. of Tech) / Yuki Matsuda(NAIST) / Akihito Taya(Aoyama Gakuin Univ.) / Takeshi Hirai(Osaka Univ.) / SHAN LIN(NICT) / Ryosuke Adachi(Yamaguchi Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Network Systems / Technical Committee on Smart Radio / Technical Committee on Radio Communication Systems / Technical Committee on Sensor Network and Mobile Intelligence / Technical Committee on Reliable Communication and Control |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Neural ODEモデルを用いた連合学習の転送量削減 |
| サブタイトル（和） | |
| タイトル（英） | Communication Size Reduction of Federated Learning based on Neural ODE Model |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 連合学習 |
| キーワード(2)（和/英） | ResNet |
| キーワード(3)（和/英） | Neural ODE |
| 第 1 著者 氏名（和/英） | 星野 優斗 / Yuto Hoshino |
| 第 1 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 2 著者 氏名（和/英） | 川上 大輝 / Hiroki Kawakami |
| 第 2 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 3 著者 氏名（和/英） | 松谷 宏紀 / Hiroki Matsutani |
| 第 3 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 発表年月日 | 2022-07-15 |
| 資料番号 | NS2022-59 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | NS-105 |
| ページ範囲 | pp.157-162(NS), |
| ページ数 | 6 |
| 発行日 | 2022-07-06 (NS) |