| 講演名 | 2015-05-22 低レイテンシ性を重視した大規模データ分析のための分散ストリーム処理システムの設計と実装 土橋 昌(NTTデータ), 吉田 耕陽(NTTデータ), 竹内 一弓(NTTデータ), 政谷 好伸(NII), 鈴木 亮平(NTTドコモ), 川崎 紀宏(NTTドコモ), 國頭 吾郎(NTTドコモ), 田中 聡(NTTドコモ), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | スマートフォンが広く普及し，ウエアラブルデバイスの浸透により，それらに付属したセンサからの多数の情報を統計処理し，可視化することによるアプリケーションが今後広く利用されるようになる．このようなアプリケーションでは，時々刻々と入力される大規模データを統計処理し，数分間隔で可視化することが必須である．一方，低レイテンシー性を重視した大規模データ処理基盤へのオープンソースの取り組みが活発である．その中でも，ストリーム処理システムであるStorm は，スケールアウトの効果を最大限活用して低いメンテナンス稼働と高い可用性の両立が可能である．本稿では，時々刻々と入力される情報を統計処理し，それを数分間隔で可視化して出力するようなサービスを想定し，それを処理可能なシステムをStorm 上で設計，実装した．本システムは，Storm，Kafka，HBaseを使って，スケールアウトを実現し，シミュレーションデータにより想定された大規模データの処理のフィージビリティを確認した． |
| 抄録(英) | Today, smart phone have became popular among people and wearable devices are getting to be usedmore widely. Analysis and visulalization of massive “sensor data” obtained from the devices will be actively sug-gested in near future. In response to such situations, we launched feasibility verification of streaming process system, which use Storm, Kafka and HBase. |
| キーワード(和) | Storm / 分散処理 / ストリーム処理 |
| キーワード(英) | |
| 資料番号 | NS2015-27 |
| 発行日 | 2015-05-14 (NS) |
| 研究会情報 | |
| 研究会 | NS |
|---|---|
| 開催期間 | 2015/5/21(から2日開催) |
| 開催地（和） | 東京大学 石橋信夫記念ホール |
| 開催地（英） | Tokyo Univ. |
| テーマ（和） | 高度プロトコル・ネットワーキング技術(IP及び高位レイヤルーチング・フィルタリング，マルチキャスト，品質・経路制御，IPNWの利用技術(P2P，P4P，オーバレイ，SIP，NGN)，ネットワークシステム関連技術(システム構成法，インタフェース，アーキテクチャ，ハードウェア・ソフトウェア・ミドルウェア)，一般 |
| テーマ（英） | |
| 委員長氏名（和） | 平松 淳(NTT-AT) |
| 委員長氏名（英） | Atsushi Hiramatsu(NTT-AT) |
| 副委員長氏名（和） | 戸出 英樹(阪府大) |
| 副委員長氏名（英） | Hideki Tode(Osaka Pref. Univ.) |
| 幹事氏名（和） | 橘 拓至(福井大) / 柴田 哲良(NTT) |
| 幹事氏名（英） | Takuji Tachibana(Univ. of Fukui) / Akira Shibata(NTT) |
| 幹事補佐氏名（和） | 太田 正純(NTT) / 鎌村 星平(NTT) |
| 幹事補佐氏名（英） | Masazumi Oota(NTT) / Syouhei Kamamura(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Network Systems |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 低レイテンシ性を重視した大規模データ分析のための分散ストリーム処理システムの設計と実装 |
| サブタイトル（和） | |
| タイトル（英） | Design and Evaluation of the distributed streaming system for low latency applications |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Storm |
| キーワード(2)（和/英） | 分散処理 |
| キーワード(3)（和/英） | ストリーム処理 |
| 第 1 著者 氏名（和/英） | 土橋 昌 / Masaru Dobashi |
| 第 1 著者 所属（和/英） | 株式会社NTTデータ(略称：NTTデータ) NTT Data(略称：NTT Data) |
| 第 2 著者 氏名（和/英） | 吉田 耕陽 / Koyo Yoshida |
| 第 2 著者 所属（和/英） | 株式会社NTTデータ(略称：NTTデータ) NTT Data(略称：NTT Data) |
| 第 3 著者 氏名（和/英） | 竹内 一弓 / Kazumi Takeuchi |
| 第 3 著者 所属（和/英） | 株式会社NTTデータ(略称：NTTデータ) NTT Data(略称：NTT Data) |
| 第 4 著者 氏名（和/英） | 政谷 好伸 / Yoshinobu Masatani |
| 第 4 著者 所属（和/英） | 国立情報学研究所(略称：NII) NII(略称：NII) |
| 第 5 著者 氏名（和/英） | 鈴木 亮平 / Ryohei Suzuki |
| 第 5 著者 所属（和/英） | 株式会社NTTドコモ(略称：NTTドコモ) NTT DOCOMO, INC.(略称：NTT DOCOMO) |
| 第 6 著者 氏名（和/英） | 川崎 紀宏 / Norihiro Kawasaki |
| 第 6 著者 所属（和/英） | 株式会社NTTドコモ(略称：NTTドコモ) NTT DOCOMO, INC.(略称：NTT DOCOMO) |
| 第 7 著者 氏名（和/英） | 國頭 吾郎 / Goro Kunito |
| 第 7 著者 所属（和/英） | 株式会社NTTドコモ(略称：NTTドコモ) NTT DOCOMO, INC.(略称：NTT DOCOMO) |
| 第 8 著者 氏名（和/英） | 田中 聡 / Satoshi Tanaka |
| 第 8 著者 所属（和/英） | 株式会社NTTドコモ(略称：NTTドコモ) NTT DOCOMO, INC.(略称：NTT DOCOMO) |
| 発表年月日 | 2015-05-22 |
| 資料番号 | NS2015-27 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | NS-41 |
| ページ範囲 | pp.69-74(NS), |
| ページ数 | 6 |
| 発行日 | 2015-05-14 (NS) |