講演抄録/キーワード |
講演名 |
2017-12-21 15:45
大規模データ分散プラットフォームApache Sparkにおけるタスク並列化に関する検討 ○加藤香澄(お茶の水女子大)・竹房あつ子(NII)・中田秀基(産総研)・小口正人(お茶の水女子大) MoNA2017-40 |
抄録 |
(和) |
カメラやセンサの普及とクラウド技術により,一般家庭でライフログを取得してクラウドに送信し,ログ の解析を行うことが可能になった.しかし,非常に多数の家庭がデータをクラウドに送信すると,クラウドにおける 動画像解析の処理が膨大になる.そこで本研究では,ディープラーニングフレームワーク Chainer と Apache Spark を用いて分散データ解析処理の効率化を図る.本稿では,構築した Spark クラスタにおいてパラメータ調整を行うこ とで,並列データ処理の性能の調査を行う |
(英) |
The Spread of cameras and sensors and cloud technologies enable us to obtain life logs at ordinary homes and transmit the captured data to a cloud for life log analysis. However, the amount of processing for video data analysis in a cloud drastically increases when a very large number of homes send data to the cloud. In this research, we aim to improve the efficiency of distributed video data analysis processing by using the parallel deep learning framework Chainer and the distribution processing platform Apache Spark. In this paper, we construct a Spark cluster and investigate the performance of parallel data processing using Spark varying parameter settings. |
キーワード |
(和) |
分散処理 / 並列処理 / Spark / Chainer / / / / |
(英) |
distributed processing / parallel processing / Spark / Chainer / / / / |
文献情報 |
信学技報, vol. 117, no. 371, MoNA2017-40, pp. 65-69, 2017年12月. |
資料番号 |
MoNA2017-40 |
発行日 |
2017-12-14 (MoNA) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
MoNA2017-40 |