| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-01-20 15:00 ［ショートペーパー］Distillationを用いた半教師あり連合機械学習による少数ラウンドモデル訓練 ○吉田祐基（東工大）・板原壮平（京大）・西尾理志（東工大）  SeMI2021-65 |
|
| 抄録 | （和） | 本稿ではDistilationを用いた半教師あり連合機械学習(Distillation-based Semi-supervised federated learning: DS-FL)を用いたモデル訓練のラウンド数削減について検討する。連合機械学習(Federated Learning: FL)は、端末に保持されたデータを用いる機械学習手法であり、各端末が訓練したモデルを共有することでデータ自体の共有を行わずに協調的にモデルを訓練する。DS-FLでは、モデルの代わりにモデルの出力であるlogitを用いることで、一般的なFLと同等以上の精度を達成しつつ、通信トラヒックを大きく削減する。本検討では、DS-FLのlogit aggregationに着目し、DS-FLにおけるlogitの共有頻度を大きく低減できる可能性を実験的に示した。具体的には、通常5-10回程度に設定される各端末におけるモデル更新回数を大きく増加させることで、各端末のモデルをそれぞれの持つデータに過剰適合させ、特定のデータに対し高い精度で予測を行うモデルを生成する。これにより、学習の初期段階からAggregated logitの精度を向上させ、少ない学習ラウンド数でも高い予測精度を達成させる。画像分類タスクを用いた機械学習実験により、比較的簡単なタスクにおいてはDS-FLが5回以下のラウンド数で従来と同程度の精度のモデルを訓練可能であることを示した。 |
| （英） | This paper studies how to reduce the number of rounds in model training using Distillation-based Semi-supervised federated learning (DS-FL). Federated Learning (FL) is a machine learning framework that trains a model with data stored in devices without sharing the data by sharing parameters of the updated model. In DS-FL, the output of the model, logit, is used instead of the model, which significantly reduces the communication traffic while achieving comparable accuracy to the existing FL. In this study, we focus on the logit aggregation of DS-FL and experimentally show the possibility of significantly reducing the sharing frequency of logit in DS-FL. Specifically, by increasing the number of model updates at each device, which is usually set to 5-10 times, the models at each device are over-fitted to their own data to generate a model that can make predictions with high accuracy for specific data. This improves the accuracy of the aggregated logit from the initial stage of training and achieves high prediction accuracy even with a small number of training rounds. Through machine learning experiments using an image classification task, we have shown that DS-FL can train models with the same level of accuracy as conventional models in less than five rounds for relatively simple tasks. | |
| キーワード | （和） | 連合機械学習 / 半教師あり学習 / 知識蒸留 / non-iidデータ / 通信効率 / / / |
| （英） | Federated learning / Knowledge distillation / non-IID data / communication efficiency / Semi-supervised learning / / / | |
| 文献情報 | 信学技報, vol. 121, no. 333, SeMI2021-65, pp. 48-50, 2022年1月. | |
| 資料番号 | SeMI2021-65 | |
| 発行日 | 2022-01-13 (SeMI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SeMI2021-65 |
|
| 研究会情報 | |
| 研究会 | SeMI |
| 開催期間 | 2022-01-20 - 2022-01-21 |
| 開催地（和） | 野沢温泉スパリーナ コンベンションホール |
| 開催地（英） | |
| テーマ（和） | センシング，モビリティ，モバイル・ユビキタスコンピューティング，センサ・アドホック・モバイルネットワーク，アプリケーション，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SeMI |
| 会議コード | 2022-01-SeMI |
| 本文の言語 | 日本語 |
| タイトル（和） | Distillationを用いた半教師あり連合機械学習による少数ラウンドモデル訓練 |
| サブタイトル（和） | |
| タイトル（英） | Evaluation of Few Round Training with Distillation-Based Semi-Supervised Federated Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 連合機械学習 / Federated learning |
| キーワード(2)（和/英） | 半教師あり学習 / Knowledge distillation |
| キーワード(3)（和/英） | 知識蒸留 / non-IID data |
| キーワード(4)（和/英） | non-iidデータ / communication efficiency |
| キーワード(5)（和/英） | 通信効率 / Semi-supervised learning |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 吉田 祐基 / Yuki Yoshida / ヨシダ ユウキ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 板原 壮平 / Sohei Itahara / イタハラ ソウヘイ |
| 第2著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 西尾 理志 / Takayuki Nishio / ニシオ タカユキ |
| 第3著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-01-20 15:00:00 |
| 発表時間 | 10分 |
| 申込先研究会 | SeMI |
| 資料番号 | SeMI2021-65 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.333 |
| ページ範囲 | pp.48-50 |
| ページ数 | 3 |
| 発行日 | 2022-01-13 (SeMI) |
[研究会発表申込システムのトップページに戻る]