| 講演名 | 2022-11-18 Peer-to-Peer Federated Learningにおけるトポロジー解析 伊藤 吉彦(東大), 落合 秀也(東大), 江崎 浩(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | P2P Federated Learningとは，Serverlessで協調的に機械学習を進める手法である．P2Pでやり取りする場合，大量のノードが学習参加している大規模化したトポロジーでは，モデル交換のコストが膨大になってしまう．しかし，リンク数を減らししすぎると学習完了まで時間がかかりすぎる．本研究では，交換コストとAccuracyの双方を達成できるトポロジーを模索するとともに，途中で学習に参加あるいは脱退するノードも考慮に入れ，動的にトポロジー構成を達成できることを目標とする．また，Non-IID特性の影響を軽減するトポロジーについても調査を進める．これらを可能にする手法として本研究では階層構造を提案する．まず，学習参加ノードをいくつかのグループに分離させ，グループ内でモデルトレードを行う．その後，各グループから選抜された代表ノード同士でモデルの受け渡しを行うという寸法である．この方法でシミュレーションを行った結果，データ分布が類似したノードを同じグループに分類したとき，ノードごとのモデルの分散が小さくなったのが確認された．今後はノードの途中参加・離脱を視野に入れて研究を進めていく． |
| 抄録(英) | P2P Federated Learning is a method of distributed machine learning and the cost of model trading becomes too huge in a large-scale topology. The purpose of this study is to seek a topology that solves cost problems and reduces the influence of Non-IID, allows nodes to add and remove. To achieve these goals, I introduce hierarchy topology.Nodes are divided into several groups and models traded within the group. After that, they traded between groups. The experimental results prove that the new method is better than conventional topology and classifying similar data distributions into the same group shows excellent results. |
| キーワード(和) | トポロジー / P2P Federated Learning / Non-IID特性 / グループ分け |
| キーワード(英) | topology / P2P Federated Learning / Non-IID / grouping |
| 資料番号 | CAS2022-50,MSS2022-33 |
| 発行日 | 2022-11-10 (CAS, MSS) |
| 研究会情報 | |
| 研究会 | CAS / MSS / IPSJ-AL |
|---|---|
| 開催期間 | 2022/11/17(から2日開催) |
| 開催地（和） | Kochi Startup BASE |
| 開催地（英） | |
| テーマ（和） | システムのモデリングと制御・検証・最適化の手法，機械学習的アプローチ及び一般 |
| テーマ（英） | |
| 委員長氏名（和） | 前田 義信(新潟大) / 尾崎 敦夫(阪工大) / 全 眞嬉(東北大学) |
| 委員長氏名（英） | Yoshinobu Maeda(Niigata Univ.) / Atsuo Ozaki(Osaka Inst. of Tech.) / 全 眞嬉(東北大学) |
| 副委員長氏名（和） | 相原 康敏(オムニビジョン) / 山口 真悟(山口大) |
| 副委員長氏名（英） | Yasutoshi Aibara(OmniVision) / Shingo Yamaguchi(Yamaguchi Univ.) |
| 幹事氏名（和） | 伊藤 尚(富山高専) / 鈴木 寛人(ルネサスエレクトロニクス) / 小林 孝一(北大) / 劉 健全(NEC) / 大舘 陽太(名古屋大学) / 斎藤 寿樹(九州工業大学) / 鈴木 顕(東北大学) |
| 幹事氏名（英） | Nao Ito(NIT, Toyama college) / Hiroto Suzuki(Renesas Electronics) / Koichi Kobayashi(Hokkaido Univ.) / Jianquan Liui(NEC) / 大舘 陽太(名古屋大学) / 斎藤 寿樹(九州工業大学) / 鈴木 顕(東北大学) |
| 幹事補佐氏名（和） | 佐藤 隆英(山梨大) / 山口 基(テクノプロ) / 下田 真二(ソニーセミコンダクタソリューションズ) / 越田 俊介(八戸工大) / 白井 匡人(島根大) |
| 幹事補佐氏名（英） | Takahide Sato(Univ. of Yamanashi) / Motoi Yamaguchi(TECHNOPRO) / Shinji Shimoda(Sony Semiconductor Solutions) / Shunsuke Koshita(Hachinohe Inst. of Tech.) / Masato Shirai(Shimane Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Circuits and Systems / Technical Committee on Mathematical Systems Science and its Applications / Special Interest Group on Algorithms |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Peer-to-Peer Federated Learningにおけるトポロジー解析 |
| サブタイトル（和） | |
| タイトル（英） | Topology analysis in the P2P Federated Learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | トポロジー / topology |
| キーワード(2)（和/英） | P2P Federated Learning / P2P Federated Learning |
| キーワード(3)（和/英） | Non-IID特性 / Non-IID |
| キーワード(4)（和/英） | グループ分け / grouping |
| 第 1 著者 氏名（和/英） | 伊藤 吉彦 / Yoshihiko Ito |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ, Tokyo) |
| 第 2 著者 氏名（和/英） | 落合 秀也 / Hideya Ochiai |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ, Tokyo) |
| 第 3 著者 氏名（和/英） | 江崎 浩 / Hiroshi Esaki |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ, Tokyo) |
| 発表年月日 | 2022-11-18 |
| 資料番号 | CAS2022-50,MSS2022-33 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | CAS-253,MSS-254 |
| ページ範囲 | pp.63-66(CAS), pp.63-66(MSS), |
| ページ数 | 4 |
| 発行日 | 2022-11-10 (CAS, MSS) |