| 講演抄録／キーワード |
| 講演名 |
2019-11-26 14:10
［ポスター講演］知識蒸留による低通信コストな協調的半教師あり学習に関する検討
○板原壮平・西尾理志・守倉正博・山本高至（京大） |
| 抄録 |
（和） |
モバイル端末の持つデータと計算資源を活用した協調的機械学習を実現するフレームワークとしてFederated Learning（FL）が提案されている．FLでは各端末は，データをサーバにアップロードし集中的に学習する代わりに自身のデータを用いて更新したモデルをアップロードし集約することで，データをローカルに保持したままモデル更新を行う．しかし，モデルアップロードの通信コストや，端末におけるデータの偏りにより，学習効率が低下する課題がある．本研究は，通信コストが少なく，かつ，データの偏りが大きい場合も学習できる協調的学習方式（DS-FL : Distillation Based Semi-Supervised Federated Learning）を提案する．提案手法では，ラベル付けされていないが学習に利用可能な公開データを用いた半教師あり学習によりモデルを更新する．具体的には，各端末は自身のデータを用いてモデルを更新するとともに，公開データに対する推論結果を共有し，推論結果の平均に近づくようモデルをさらに更新する．モデルに比べて推論結果はデータ容量が小さいため，共有に必要な通信コストが低減できるとともに，偏りのない公開データを用いることで，端末でのデータの偏りの影響を緩和する．画像分類タスク（MNIST）を用いた評価において，提案手法は既存方式に対して学習に必要な通信コストを94%削減することを示した． |
| （英） |
Federated Learning is a decentralized learning mechanism, which enables to train machine learning (ML) model using the rich data of mobile devices while keeping all the data on the mobile devices. In FL, each device update a model with his data and upload the model to a server which aggregates the models instead of uploading data to the server. Thus, the traffic for uploading the model is not negligible. This paper proposes a cooperative learning method, called Distillation Based Semi-Supervised Federated Learning (DS-FL), which aims to reduce traffic required for training the ML model. In DS-FL, non-labeled open data is used for the cooperative model training via semi-supervised learning. Each device trains a model with her data, predicts logits for the open data, and updates the model with the open data and aggregated logits. Since the data size of the logits is much smaller than that of the models, traffic is reduced largely. We evaluate our method using an image classification task (MNIST). The results show that the proposed method achieves 94% less traffic than that of the previous method. |
| キーワード |
（和） |
協調学習 / 半教師あり学習 / 知識蒸留 / 機械学習 / 通信コスト / / / |
| （英） |
Federated Learning / Semi-Supervised Learning / Knowledge Distillation / Machine Learning / Communication Cost / / / |
| 文献情報 |
信学技報 |
| 資料番号 |
|
| 発行日 |
|
| ISSN |
|
| PDFダウンロード |
|