| 講演名 | 2023-01-19 ［ショートペーパー］モデル巡回型学習による分散FederatedLearning 前島 航太(東工大), 西尾 理志(東工大), 山﨑 朝斗(東工大), 原 祐子(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | P2P FL(Peer-to-Peer Federated Learning)は, クライアント間で学習データを共有することなく, それぞれのノードが学習したモデルの更新情報のみを通信することでクライアント全体でモデルを構築する機械学習手法である.しかし, データ分布がNon-IID(non-Independent and Identically Distributed)であると, ノードごとの更新が必ずしもモデルの改善に寄与するとは限らないため, 従来の機械学習と比較して精度が劣化する.本稿では, モデルの巡回に基づく新たなP2P FL手法を提案する.提案手法では各クライアントの持つデータの分布をもとに巡回経路を決定し, １つのモデルをクライアント間で巡回させながら順番に訓練することで, 擬似的にIIDデータでの訓練と同様のモデル更新を可能とする.実験評価により, 隣接ノード間で定期的にモデルの交換をすることで学習するGossipSGDに隣接ノードのモデルが同一なものに収束するように制約を加えるPDMM-SGDと比べ, データ分布の偏りがより大きい設定において提案手法がより良い収束性を示した. |
| 抄録(英) | Peer-to-Peer(P2P) Federated Learning is a machine learning method that builds models across clients without sharing training data among clients. When the data distribution is Non-IID(non-Independent and Identically Distributed), the accuracy of the learned model in P2P Federated Learning deteriorates than in centralized machine learning, which gathers datasets in a central server. In this paper, we propose a method to prevent the model accuracy degradation in P2P Federated Learning in the Non-IID setting. In the proposed method, a single model is circulated over the network and trained by each client in turn. By appropriately routing the model based on the label distribution among clients, the model can be well-trained on non-IID data, similarly to when trained on IID data. Our evaluation results show that the proposed method converges faster than baselines, GossipSGD and PDMM-SGD, especially when the data stored by each client is far from the IID data. |
| キーワード(和) | 機械学習 / 連合学習 / 非独立同分布 |
| キーワード(英) | Machine Learning / Federated Learning / Non-IID |
| 資料番号 | SeMI2022-75 |
| 発行日 | 2023-01-12 (SeMI) |
| 研究会情報 | |
| 研究会 | SeMI |
|---|---|
| 開催期間 | 2023/1/19(から2日開催) |
| 開催地（和） | 鳴門グランドホテル海月 |
| 開催地（英） | Naruto grand hotel |
| テーマ（和） | センシング，モビリティ，モバイル・ユビキタスコンピューティング，センサ・アドホック・モバイルネットワーク，アプリケーション，一般 |
| テーマ（英） | |
| 委員長氏名（和） | 山本 高至(京大) |
| 委員長氏名（英） | Koji Yamamoto(Kyoto Univ.) |
| 副委員長氏名（和） | 門田 和也(日立) / 大和田 泰伯(NICT) / 猿渡 俊介(阪大) |
| 副委員長氏名（英） | Kazuya Monden(Hitachi) / Yasunori Owada(NICT) / Shunsuke Saruwatari(Osaka Univ.) |
| 幹事氏名（和） | 勝間田 優樹(NTTドコモ) / 中山 悠(東京農工大) / 内山 彰(阪大) |
| 幹事氏名（英） | Yuki Katsumata(NTT DOCOMO) / Yu Nakayama(Tokyo Univ. of Agri. and Tech.) / Akira Uchiyama(Osaka Univ.) |
| 幹事補佐氏名（和） | 松田 裕貴(奈良先端大) / 田谷 昭仁(青学大) / 平井 健士(阪大) |
| 幹事補佐氏名（英） | Yuki Matsuda(NAIST) / Akihito Taya(Aoyama Gakuin Univ.) / Takeshi Hirai(Osaka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Sensor Network and Mobile Intelligence |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ［ショートペーパー］モデル巡回型学習による分散FederatedLearning |
| サブタイトル（和） | |
| タイトル（英） | [Short Paper] A Study of decentralized model training method based on traveling model for P2P Federated Learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 機械学習 / Machine Learning |
| キーワード(2)（和/英） | 連合学習 / Federated Learning |
| キーワード(3)（和/英） | 非独立同分布 / Non-IID |
| 第 1 著者 氏名（和/英） | 前島 航太 / Kota Maejima |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 2 著者 氏名（和/英） | 西尾 理志 / Takayuki Nishio |
| 第 2 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 3 著者 氏名（和/英） | 山﨑 朝斗 / Asato Yamazaki |
| 第 3 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 4 著者 氏名（和/英） | 原 祐子 / Yuko Hara |
| 第 4 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 発表年月日 | 2023-01-19 |
| 資料番号 | SeMI2022-75 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | SeMI-341 |
| ページ範囲 | pp.23-24(SeMI), |
| ページ数 | 2 |
| 発行日 | 2023-01-12 (SeMI) |