| 講演名 | 2021-03-15 マルチニューラルネットワークの新たな分散学習アルゴリズムの提案 原田 和明(岡山大), 右田 剛史(岡山大), 高橋 規一(岡山大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 異なる機関や地点で収集された訓練データを一か所に集約することなく，同一構造を有する多数のニューラルネットワーク(NN: Neural Network)に分散的に学習させる方法が提案されている．この方法は，各NNが，自身の訓練データに対する損失関数の最急降下方向と近傍のNNのパラメータ値の重み付き平均を組み合わせた方向にパラメータ値を更新することを繰り返すものであり，NN間の通信を表すグラフの構造や重みに関するいくつかの条件の下で，すべてのNNのパラメータ値が全訓練データに対する損失関数の同一の停留点に収束することが証明されている．しかしながら，訓練データがNNごとに大きくばらつき，かつNN間の通信を表すグラフが密でない場合には，学習精度の低下を招いてしまう．本報告では，そのような場合でも高精度の学習を実現する分散学習法を提案し，その有効性を実験的に評価する． |
| 抄録(英) | A method for multiple neural networks (NNs) with the same structure to learn multiple sets of training data collected at different institutions or places in a distributed manner without aggregating the data has recently been proposed. In this method, each NN iteratively updates the parameter values in the direction obtained by composing the direction of the steepest descent of the loss function for its own training data and the weighted average of the parameter values of its neighboring NNs. Under some conditions on the structure of the graph represening the communication between NNs and the weights for computing the average, it has been proved that the parameter values of all NNs converge to the same stationary point of the loss function for all training data. However, when the training data sets differ from NN to NN and the graph is not dense, it leads to decrease in learning accuracy. In this report, we propose a novel distributed learning method that prevents the degredation of learning accuracy even in such cases, and evaluate its effectiveness experimentally. |
| キーワード(和) | 分散学習 / ニューラルネットワーク / マルチエージェントネットワーク |
| キーワード(英) | distributed learning / neural network / multi-agent network |
| 資料番号 | NLP2020-58 |
| 発行日 | 2021-03-08 (NLP) |
| 研究会情報 | |
| 研究会 | NLP / MSS |
|---|---|
| 開催期間 | 2021/3/15(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | MSS，NLP，一般，およびWIP（MSSのみ） |
| テーマ（英） | MSS, NLP, Work In Progress (MSS only), and etc. |
| 委員長氏名（和） | 夏目 季代久(九工大) / 髙井 重昌(阪大) |
| 委員長氏名（英） | Kiyohisa Natsume(Kyushu Inst. of Tech.) / Shigemasa Takai(Osaka Univ.) |
| 副委員長氏名（和） | 高坂 拓司(中京大学) / 尾崎 敦夫(阪工大) |
| 副委員長氏名（英） | Takuji Kosaka(Chukyo Univ.) / Atsuo Ozaki(Osaka Inst. of Tech.) |
| 幹事氏名（和） | 立野 勝巳(九工大) / 松下 春奈(香川大) / 金澤 尚史(摂南大) / 小林 孝一(北大) |
| 幹事氏名（英） | Katsumi Tateno(Kyushu Inst. of Tech.) / Haruna Matsushita(Kagawa Univ.) / Takahumi Kanazawa(Setsunan Univ.) / Koichi Kobayashi(Hokkaido Univ.) |
| 幹事補佐氏名（和） | 佐村 俊和(山口大) / 加藤 秀行(大分大) / 林 直樹(阪大) |
| 幹事補佐氏名（英） | Toshikaza Samura(Yamaguchi Univ.) / Hideyuki Kato(Oita Univ.) / Naoki Hayashi(Osaka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Nonlinear Problems / Technical Committee on Mathematical Systems Science and its Applications |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | マルチニューラルネットワークの新たな分散学習アルゴリズムの提案 |
| サブタイトル（和） | |
| タイトル（英） | Proposal of Novel Distributed Learning Algorithms for Multi-Neural Networks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 分散学習 / distributed learning |
| キーワード(2)（和/英） | ニューラルネットワーク / neural network |
| キーワード(3)（和/英） | マルチエージェントネットワーク / multi-agent network |
| 第 1 著者 氏名（和/英） | 原田 和明 / Kazuaki Harada |
| 第 1 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 2 著者 氏名（和/英） | 右田 剛史 / Tsuyoshi Migita |
| 第 2 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 3 著者 氏名（和/英） | 高橋 規一 / Norikazu Takahashi |
| 第 3 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 発表年月日 | 2021-03-15 |
| 資料番号 | NLP2020-58 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | NLP-430 |
| ページ範囲 | pp.17-22(NLP), |
| ページ数 | 6 |
| 発行日 | 2021-03-08 (NLP) |