| 講演名 | 2020-01-31 ［ポスター講演］教師なしデータを用いた低通信コストな協調的学習法 板原 壮平(京大), 西尾 理志(京大), 守倉 正博(京大), 山本 高至(京大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 多数のモバイル端末の持つデータを機械学習に利用するフレームワークとしてFederated Learning（FL）が提案されている．FLではデータをローカルに保持したまま学習を行うために，データをサーバにアップロードする代わりに，各端末が自身のデータを用いて更新したモデルをアップロードし集約する．しかし，モデルアップロードの通信コストや，端末におけるデータの偏りにより，学習効率が低下する課題がある．本研究は，通信コストが少なく，かつ，データの偏りが大きい場合も学習できる，知識蒸留を用いた協調的学習方式（DS-FL : Distillation-Based Semi-Supervised Federated Learning）を提案する．提案手法では，ラベル付けされていないが学習に利用可能な公開データを用いた半教師あり学習によりモデルを更新する．具体的には，各端末は自身のデータを用いてモデルを更新するとともに，公開データに対する推論結果を共有し，推論結果の平均に近づくようモデルをさらに更新する．モデルに比べて推論結果はデータ容量が小さいため，共有に必要な通信コストが低減できるとともに，偏りのない公開データを用いることで，端末でのデータの偏りの影響を緩和する．画像分類タスク（MNIST）における評価によって，提案手法は既存方式と比べて学習に必要な通信コストを94%削減することを示した． |
| 抄録(英) | Federated learning (FL) is a machine learning setting where many mobile devices collaboratively train a machine learning (ML) model, while keeping the training data decentralized. In FL, each device updates a model with his/her data and uploads the model to a server which aggregates the models instead of uploading the training data to the server.Thus, the traffic for uploading the model is not negligible.This paper proposes a cooperative learning method, called Distillation Based Semi-Supervised Federated Learning (DS-FL), which aims to reduce traffic required for training the ML model. In DS-FL, non-labeled open data is used for the cooperative model training via semi-supervised learning.Each device trains a model with his/her data, predicts logits for the open data, and updates the model with the open data and aggregated logits. Since the data size of the logits is much smaller than that of the models, traffic is reduced largely. We evaluate our method using an image classification task (MNIST). Our experiments show that the proposed method achieves 94% less traffic than that of the previous method. |
| キーワード(和) | 協調学習 / 半教師あり学習 / 機械学習 / 通信コスト |
| キーワード(英) | Federated Learning / Semi-Supervised Learning / Machine Learning / Communication Cost |
| 資料番号 | SeMI2019-109 |
| 発行日 | 2020-01-23 (SeMI) |
| 研究会情報 | |
| 研究会 | SeMI |
|---|---|
| 開催期間 | 2020/1/30(から2日開催) |
| 開催地（和） | ことひら温泉琴参閣 |
| 開催地（英） | |
| テーマ（和） | センシング，モビリティ，モバイル・ユビキタスコンピューティング，センサ・アドホック・モバイルネットワーク，アプリケーション，一般 |
| テーマ（英） | |
| 委員長氏名（和） | 石原 進(静岡大) |
| 委員長氏名（英） | Susumu Ishihara(Shizuoka Univ.) |
| 副委員長氏名（和） | 門田 和也(日立) / 山本 高至(京大) |
| 副委員長氏名（英） | Kazuya Monden(Hitachi) / Koji Yamamoto(Kyoto Univ.) |
| 幹事氏名（和） | 西尾 理志(京大) / 齊藤 隆仁(NTTドコモ) / 五十嵐 悠一(日立) |
| 幹事氏名（英） | Takayuki Nishio(Kyoto Univ.) / Takato Saitou(NTT DOCOMO) / Yuichi Igarashi(Hitachi) |
| 幹事補佐氏名（和） | 内山 彰(阪大) / 金井 謙治(早大) / 橋本 匡史(阪大) |
| 幹事補佐氏名（英） | Akira Uchiyama(Osaka Univ.) / Kenji Kanai(Waseda Univ.) / Masafumi Hashimoto(Osaka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Sensor Network and Mobile Intelligence |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ［ポスター講演］教師なしデータを用いた低通信コストな協調的学習法 |
| サブタイトル（和） | |
| タイトル（英） | [Poster Presentation] Communication-Efficient Federated Learning Using Non-Labeled Data |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 協調学習 / Federated Learning |
| キーワード(2)（和/英） | 半教師あり学習 / Semi-Supervised Learning |
| キーワード(3)（和/英） | 機械学習 / Machine Learning |
| キーワード(4)（和/英） | 通信コスト / Communication Cost |
| 第 1 著者 氏名（和/英） | 板原 壮平 / Souhei Itahara |
| 第 1 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ) |
| 第 2 著者 氏名（和/英） | 西尾 理志 / Takayuki Nishio |
| 第 2 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ) |
| 第 3 著者 氏名（和/英） | 守倉 正博 / Masahiro Morikura |
| 第 3 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ) |
| 第 4 著者 氏名（和/英） | 山本 高至 / Koji Yamamoto |
| 第 4 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ) |
| 発表年月日 | 2020-01-31 |
| 資料番号 | SeMI2019-109 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | SeMI-406 |
| ページ範囲 | pp.47-48(SeMI), |
| ページ数 | 2 |
| 発行日 | 2020-01-23 (SeMI) |