| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2012-10-12 15:30 PrefixSpan法のMapReduce実装の改良 中田秀基（産総研）・井上辰彦（産総研/創夢）・○小川宏高・工藤知宏（産総研）  CPSY2012-40 |
|
| 抄録 | （和） | 分散キーバリューストアをベースとし、Owner Computeルールで計算を実行することで、高速な繰り返し処理を可能とするMapReduce処理系SSSを開発している。このSSSの評価の一つとして、PrefixSpan法による系列パターン抽出を実世界アプリケーションとして利用して来た。しかし、既存の手法では大規模なデータに対しては十分な絶対性能が得られていなかった。本稿ではPrefixSpanをMapReduceで実装するための新たな手法を提案する。提案手法ではデータの流れを見直すことによって、これまでReduceで行なっていた処理を、Mapに移すことによって大幅な速度の向上を得た。具体的には4Mのソースコードのデータに対してSSSで約60倍、Hadoopで約3倍の高速化を実現した。 |
| （英） | We have been implementing a Key-Value Store based MapReduce System, called SSS, which enables quick MapReduce iteration by employing Owner-Compute Rule. We have been employing sequential pattern mining using PrefixSpan method as an evaluation target. The performance so far was not satisfactory for large sized data, however. This paper proposes a new implementation technique for PrefixSpan method over MapReduce. In the proposed method, we moved bound operation from Reducer to Mapper, eliminating data transfer cost between Mapper and Reducer. As a result we confirmed that the new technique showed 60 times speedup for SSS and 3 times speedup for Hadoop. | |
| キーワード | （和） | マップリデュース / キーバリューストア / 分散並列計算 / 系列パターンマイニング / PrefixSpan / / / |
| （英） | MapReduce / Key-Value Store / Distributed Parallel Computing / Sequential Pattern Mining / PrefixSpan / / / | |
| 文献情報 | 信学技報, vol. 112, no. 237, CPSY2012-40, pp. 55-60, 2012年10月. | |
| 資料番号 | CPSY2012-40 | |
| 発行日 | 2012-10-05 (CPSY) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2012-40 |
|
| 研究会情報 | |
| 研究会 | CPSY |
| 開催期間 | 2012-10-12 - 2012-10-12 |
| 開催地（和） | 広島大学 |
| 開催地（英） | |
| テーマ（和） | クラウド、ネットワークおよび一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2012-10-CPSY |
| 本文の言語 | 日本語 |
| タイトル（和） | PrefixSpan法のMapReduce実装の改良 |
| サブタイトル（和） | |
| タイトル（英） | Improvement of MapReduce implementation of PrefixSpan Method |
| サブタイトル（英） | |
| キーワード(1)（和/英） | マップリデュース / MapReduce |
| キーワード(2)（和/英） | キーバリューストア / Key-Value Store |
| キーワード(3)（和/英） | 分散並列計算 / Distributed Parallel Computing |
| キーワード(4)（和/英） | 系列パターンマイニング / Sequential Pattern Mining |
| キーワード(5)（和/英） | PrefixSpan / PrefixSpan |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 中田 秀基 / Hidemoto Nakada / ナカダ ヒデモト |
| 第1著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) Advanced Institute of Science and Technology (略称： AIST) |
| 第2著者 氏名（和/英/ヨミ） | 井上 辰彦 / Tatsuhiko Inoue / イノウエ タツヒコ |
| 第2著者 所属（和/英） | 産業技術総合研究所/株式会社創夢 (略称： 産総研/創夢) Advanced Institute of Science and Technology/Soum Corp. (略称： AIST/Soum) |
| 第3著者 氏名（和/英/ヨミ） | 小川 宏高 / Hirotaka Ogawa / オガワ ヒロタカ |
| 第3著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) Advanced Institute of Science and Technology (略称： AIST) |
| 第4著者 氏名（和/英/ヨミ） | 工藤 知宏 / Tomohiro Kudoh / クドウ トモヒロ |
| 第4著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) Advanced Institute of Science and Technology (略称： AIST) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第3著者 |
| 発表日時 | 2012-10-12 15:30:00 |
| 発表時間 | 20分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2012-40 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | no.237 |
| ページ範囲 | pp.55-60 |
| ページ数 | 6 |
| 発行日 | 2012-10-05 (CPSY) |
[研究会発表申込システムのトップページに戻る]