| 講演名 | 2022-11-18 自己教師あり学習の特徴量交換によるDecentralized Federated Learning 櫻井 晴基(東大), 落合 秀也(東大), 江崎 浩(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Contrastive Learningとは，自己教師あり学習のひとつで，ラベルがない大規模なデータセットを利用して汎用的な特徴量抽出器を学習する手法であり，事前学習手法の一つとして2020年頃から研究が盛んに行われている．一方で，人々のプライバシーが意識するようになってきた中で，事前学習モデルのためのデータセットを収集するのはどんどん難しくなることが予想される．そこで，Federated Learningと組み合わせることで，データのプライバシーを保護したまま，それらのデータを学習に利用するという研究が行われている．今回の研究では，従来のFederated Learningと異なり，中央サーバがなくても学習を進めることができるDecentralized Federated Learningと組み合わせた場合に，どのような手法によりデータを共有しないまま事前学習を行うことができるかを考察する． |
| 抄録(英) | Contrastive Learning is a form of self-supervised learning, a method for learning a general-purpose encoder using a large unlabeled dataset. As one of the pre-training methods, it has been actively studied since around 2020. On the other hand, it is expected to become more and more difficult to collect datasets for pre-training models as people become more privacy-conscious. Decentralized Federated Learning is one of the solution for this problem, which can learn models without sharing private data and using cetral server. In this study, we propose how Contrastive Learning can learn over Decentralized Federated Learning. |
| キーワード(和) | 協調学 / 分散システム / 自己教師あり学習 / 対照学習 / 特徴量学習 |
| キーワード(英) | Federated Learning / Distributed Learning / Self-supervised Learning / Contrastive Learning |
| 資料番号 | CAS2022-54,MSS2022-37 |
| 発行日 | 2022-11-10 (CAS, MSS) |
| 研究会情報 | |
| 研究会 | CAS / MSS / IPSJ-AL |
|---|---|
| 開催期間 | 2022/11/17(から2日開催) |
| 開催地（和） | Kochi Startup BASE |
| 開催地（英） | |
| テーマ（和） | システムのモデリングと制御・検証・最適化の手法，機械学習的アプローチ及び一般 |
| テーマ（英） | |
| 委員長氏名（和） | 前田 義信(新潟大) / 尾崎 敦夫(阪工大) / 全 眞嬉(東北大学) |
| 委員長氏名（英） | Yoshinobu Maeda(Niigata Univ.) / Atsuo Ozaki(Osaka Inst. of Tech.) / 全 眞嬉(東北大学) |
| 副委員長氏名（和） | 相原 康敏(オムニビジョン) / 山口 真悟(山口大) |
| 副委員長氏名（英） | Yasutoshi Aibara(OmniVision) / Shingo Yamaguchi(Yamaguchi Univ.) |
| 幹事氏名（和） | 伊藤 尚(富山高専) / 鈴木 寛人(ルネサスエレクトロニクス) / 小林 孝一(北大) / 劉 健全(NEC) / 大舘 陽太(名古屋大学) / 斎藤 寿樹(九州工業大学) / 鈴木 顕(東北大学) |
| 幹事氏名（英） | Nao Ito(NIT, Toyama college) / Hiroto Suzuki(Renesas Electronics) / Koichi Kobayashi(Hokkaido Univ.) / Jianquan Liui(NEC) / 大舘 陽太(名古屋大学) / 斎藤 寿樹(九州工業大学) / 鈴木 顕(東北大学) |
| 幹事補佐氏名（和） | 佐藤 隆英(山梨大) / 山口 基(テクノプロ) / 下田 真二(ソニーセミコンダクタソリューションズ) / 越田 俊介(八戸工大) / 白井 匡人(島根大) |
| 幹事補佐氏名（英） | Takahide Sato(Univ. of Yamanashi) / Motoi Yamaguchi(TECHNOPRO) / Shinji Shimoda(Sony Semiconductor Solutions) / Shunsuke Koshita(Hachinohe Inst. of Tech.) / Masato Shirai(Shimane Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Circuits and Systems / Technical Committee on Mathematical Systems Science and its Applications / Special Interest Group on Algorithms |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 自己教師あり学習の特徴量交換によるDecentralized Federated Learning |
| サブタイトル（和） | |
| タイトル（英） | Unsupervised Representation Learning over Decentralized Federated Learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 協調学 / Federated Learning |
| キーワード(2)（和/英） | 分散システム / Distributed Learning |
| キーワード(3)（和/英） | 自己教師あり学習 / Self-supervised Learning |
| キーワード(4)（和/英） | 対照学習 / Contrastive Learning |
| キーワード(5)（和/英） | 特徴量学習 |
| 第 1 著者 氏名（和/英） | 櫻井 晴基 / Haruki Sakurai |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ. Tokyo) |
| 第 2 著者 氏名（和/英） | 落合 秀也 / Hideya Ochiai |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ. Tokyo) |
| 第 3 著者 氏名（和/英） | 江崎 浩 / Hiroshi Esaki |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ. Tokyo) |
| 発表年月日 | 2022-11-18 |
| 資料番号 | CAS2022-54,MSS2022-37 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | CAS-253,MSS-254 |
| ページ範囲 | pp.79-82(CAS), pp.79-82(MSS), |
| ページ数 | 4 |
| 発行日 | 2022-11-10 (CAS, MSS) |