| 講演名 | 2015-08-05 マスタ・ワーカ型パラメータサーバの実装とBESOMへの適用 黎 明曦(筑波大), 谷村 勇輔(産総研), 一杉 裕志(産総研), 中田 秀基(産総研), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 大脳皮質の計算論的モデルとしてBESOMを提案している。BESOMは最新の神経科学的な知見に基づいてベイジアンネットで大脳皮質をモデル化したもので、人間の脳の比較的忠実なモデルとなっていることから、科学的に興味深いだけではなく、工学的にも広い応用が期待できる。その一方、BESOMにおける学習には、近年注目を集めているニューラルネットによるディープラーニングよりもさらに計算量が大きいことから、並列化による実行速度向上が要請される。本稿では、汎用のマスタ・ワーカ型タスク実行フレームワークを用いて、学習パラメータを交換するパラメータサーバを構築し、複数のBESOMモデルが協調して並列に学習する環境を実現した。これに、計算機内でのスレッド並列を組み合わせることで、16台4スレッドを用いた場合で、最大40倍程度の高速化が可能であること、また、高速化の度合いは並列実行時のバッチサイズに依存することを確認した。 |
| 抄録(英) | We have been proposing a computational model of the cerebral cortex called BESOM. BESOMmodels the cerebral cortex as Bayesian network based on recent findings in the neuroscience area. Because of its (relatively) faithful modeling, BESOMis not only scientifically interesting but also expected to be practically useful. On the other hand, machine learning with BESOMis a quite computation intensive task, even compared with the deep learning with conventional neural networks, that attract public attention recently. This means that parallel computation with multiple node is essential for BESOM. In this paper we implement a parameter exchange mechanism, publically known as ’parameter server’, using a general-purpose master-worker task execution mechanism, and constructed multi-node BESOMexecution environment using it. We confirmed the it shows 40 times faster execution time with 16 nodes and 8 threads each. |
| キーワード(和) | BESOM / マスタ・ワーカ / パラメータサーバ |
| キーワード(英) | BESOM / Master-Worker / Parameter server |
| 資料番号 | CPSY2015-33 |
| 発行日 | 2015-07-28 (CPSY) |
| 研究会情報 | |
| 研究会 | CPSY / DC / IPSJ-ARC |
|---|---|
| 開催期間 | 2015/8/4(から3日開催) |
| 開催地（和） | ビーコンプラザ(別府) |
| 開催地（英） | B-Con Plaza (Beppu) |
| テーマ（和） | 並列／分散／協調とディペンダブルコンピューティングおよび一般 |
| テーマ（英） | Parallel, Distributed and Cooperative Processing |
| 委員長氏名（和） | 中島 康彦(奈良先端大) / 金川 信康(日立) |
| 委員長氏名（英） | Yasuhiko Nakashima(NAIST) / Nobuyasu Kanekawa(Hitachi) |
| 副委員長氏名（和） | 中野 浩嗣(広島大) / 入江 英嗣(東大) / 井上 美智子(奈良先端大) |
| 副委員長氏名（英） | Koji Nakano(Hiroshima Univ.) / Hidetsugu Irie(Univ. of Tokyo) / Michiko Inoue(NAIST) |
| 幹事氏名（和） | 三吉 貴史(富士通研) / 鯉渕 道紘(NII) / 岩田 浩司(鉄道総研) / 吉村 正義(京都産大) |
| 幹事氏名（英） | Takashi Miyoshi(Fujitsu Labs.) / Michihiro Koibuchi(NII) / Koji Iwata(RTRI) / Masayoshi Yoshimura(Kyoto Sangyo Univ.) |
| 幹事補佐氏名（和） | 高前田 伸也(奈良先端大) / 大川 猛(宇都宮大) |
| 幹事補佐氏名（英） | Shinya Takameda(NAIST) / Takeshi Ohkawa(Utsunomiya Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Computer Systems / Technical Committee on Dependable Computing / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | マスタ・ワーカ型パラメータサーバの実装とBESOMへの適用 |
| サブタイトル（和） | |
| タイトル（英） | An Implementation of the Master-Worker based Parameter Server and its Application to BESOM |
| サブタイトル（和） | |
| キーワード(1)（和/英） | BESOM / BESOM |
| キーワード(2)（和/英） | マスタ・ワーカ / Master-Worker |
| キーワード(3)（和/英） | パラメータサーバ / Parameter server |
| 第 1 著者 氏名（和/英） | 黎 明曦 / Meigi Rei |
| 第 1 著者 所属（和/英） | 筑波大学(略称：筑波大) University of Tsukuba(略称：U of Tsukuba) |
| 第 2 著者 氏名（和/英） | 谷村 勇輔 / Yusuke Tanimura |
| 第 2 著者 所属（和/英） | 産業技術総合研究所(略称：産総研) National Institute of Advanced Industrial Science and Technology(略称：AIST) |
| 第 3 著者 氏名（和/英） | 一杉 裕志 / Yuuji Ichisugi |
| 第 3 著者 所属（和/英） | 産業技術総合研究所(略称：産総研) National Institute of Advanced Industrial Science and Technology(略称：AIST) |
| 第 4 著者 氏名（和/英） | 中田 秀基 / Hidemoto Nakada |
| 第 4 著者 所属（和/英） | 産業技術総合研究所(略称：産総研) National Institute of Advanced Industrial Science and Technology(略称：AIST) |
| 発表年月日 | 2015-08-05 |
| 資料番号 | CPSY2015-33 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | CPSY-174 |
| ページ範囲 | pp.179-184(CPSY), |
| ページ数 | 6 |
| 発行日 | 2015-07-28 (CPSY) |