| 講演名 | 2002/12/6 PCクラスタシステムにおけるミニバッチ学習の概念を用いたニューラルネットワークの並列学習 堀崎 行太, 山中 教行, 竹内 一郎, 古橋 武, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 近年,ハードウェア,ネットワーク技術の発達により膨大な量のデータが蓄積されるようになってきた.ニューラルネットワークによりこのようなデータを処理する場合,学習に莫大な時間がかかってしまう.そこで本研究では,複数のCPUにタスクを分散し並列に学習を行うことによってこの問題を解決することを目指す.並列学習ではデータを分割し並列化したニューラルネットワークに割り当てる為,ミニバッチ学習の概念が必要となる.データを分割し並列に学習を行うと,データに冗長性が無い場合は学習精度が低下するが,データに冗長性がある場合は効率良く学習を並列化できる.すなわちデータの冗長性と並列化の有効性は深く関連している.本研究では大規模データが持つ冗長性を有効利用し,ミニバッチ学習の概念を用いてNNを並列化することによって,効率の良い並列学習を提案する.また,処理時間の並列化効率について比較検討した結果を報告する. |
| 抄録(英) | Due to the increasing development of hardware and network technology, it has become common to have a huge data set. When processing such data by neural networks, learning takes long time. In this paper, we propose parallel learning by distributing a task into two or more CPUs. In parallel learning, mini-batch learning schema is indespensable because we must divide the entire data set into subsets and allocate each of them to the parallelized neural network. In parallel learning, the redundancy of the data is a key concept. When there are no redundancy in data, learning accuracy might decrease by the existence of the bias in each subset. On the other hand, when the data has much redundancy, the bias in each subset would be small and parallel learning might yield high efficiency. In this paper, we study a parallel learning procedure using mini-batch learning schema and investigate the relationship between the efficiency of the parallel learning and the data redundancy. It is quite common for huge data sets to have some redundancy and we expect our procedure might work in a variety of applications. |
| キーワード(和) | ニューラルネットワーク / 並列処理 / ミニバッチ学習 / PCクラスタ / データの冗長性 |
| キーワード(英) | Neural Network / Parallel Learning / Minibatch Learning / PC-Cluster / Redundancy of Data |
| 資料番号 | NC2002-91 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2002/12/6(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | PCクラスタシステムにおけるミニバッチ学習の概念を用いたニューラルネットワークの並列学習 |
| サブタイトル（和） | |
| タイトル（英） | Parallel Learning of Neural Networks on PC-Cluster Systems Using Mini-Batch Learning Schema |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural Network |
| キーワード(2)（和/英） | 並列処理 / Parallel Learning |
| キーワード(3)（和/英） | ミニバッチ学習 / Minibatch Learning |
| キーワード(4)（和/英） | PCクラスタ / PC-Cluster |
| キーワード(5)（和/英） | データの冗長性 / Redundancy of Data |
| 第 1 著者 氏名（和/英） | 堀崎 行太 / Kohta HORISAKI |
| 第 1 著者 所属（和/英） | 三重大学工学部 Faculty of Engineering, Mie University |
| 第 2 著者 氏名（和/英） | 山中 教行 / Noriyuki YAMANAKA |
| 第 2 著者 所属（和/英） | 三重大学工学部 Faculty of Engineering, Mie University |
| 第 3 著者 氏名（和/英） | 竹内 一郎 / Ichiro TAKEUCHI |
| 第 3 著者 所属（和/英） | 三重大学工学部 Faculty of Engineering, Mie University |
| 第 4 著者 氏名（和/英） | 古橋 武 / Takeshi FURUHASHI |
| 第 4 著者 所属（和/英） | 三重大学工学部 Faculty of Engineering, Mie University |
| 発表年月日 | 2002/12/6 |
| 資料番号 | NC2002-91 |
| 巻番号（vol） | vol.102 |
| 号番号（no） | 508 |
| ページ範囲 | pp.- |
| ページ数 | 4 |
| 発行日 | |