電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2018-03-01 10:50
LHD大容量データの遠隔レプリケーション ~ MMCFTPとパイプライン化レプリケーションによる145TBデータの4Gbps移送 ~
山中顕次郎総研大/NII)・中西秀哉自然科学研究機構)・小関隆久量研機構)・阿部俊二漆谷重雄総研大/NII)・山本孝志江本雅彦中島徳嘉自然科学研究機構
抄録 (和) 先端科学技術分野で国際共有される大容量データは,多数の小さなファイルで構成されることが多い.小さなファイルのままファイル転送を多数回行うと,転送効率が低い.アーカイブ化してからファイル転送すると,転送効率は上がるものの,アーカイブ生成・解凍の時間が余計に掛る,アーカイブファイルを置くストレージ領域が別途必要,との課題がある.NIFSの大型プラズマ装置LHDの計測データをITER遠隔実験センターに遠隔複製する実験でも,この点が課題であった.そこで,転送対象データ約145TBをLHD実験番号に基づき約13000に分割し,アーカイブ生成とファイル転送をパイプライン処理した.アーカイブ作成と転送が並列に行われるので,アーカイブ化時間はスループットには影響しない.また,転送終了次第アーカイブファイルは消去するので,大きなストレージは必要ない.このストレージには,読み書き同時で転送速度の2倍の負荷が掛かり,転送性能のボトルネックに成りやすい.現在では,高速レプリケーションの主制約はストレージ性能に有り,通信距離には無い. 
(英) Large volumes of data shared internationally in advanced research projects are often composed of many small files. Transfer efficiency is low when file transfer is performed many times while keeping a small file. Although transfer efficiency is improved when archiving and transferring files, there is a problem that it takes extra time for archiving / decompression, storage space for storing archive files is required separately. This point was also an issue in the experiment of remotely replicating measurement data of NIFS’s Large Helical Device (LHD) to the ITER remote experiment centre. Therefore, about 145 TB of data to be transferred was divided into about 13000 based on the LHD experiment number, and archiving and file transfer were pipelined. Since archive creation and transfer are done in parallel, archiving time does not affect throughput. Also, since the archive file is erased after the transfer, large storage is unnecessary. This storage requires two times the transfer speed at the same time as reading and writing, making it easier to become a bottleneck. Currently, the main constraint of high-speed replication is in storage performance, not in communication distance.
キーワード (和) MMCFTP / LHD / LOSF問題 / 遠隔複製 / パイプライン処理 / / /  
(英) MMCFTP / Large Helical Device (LHD) / The lot of small files (LOSF) problem / Remote replication / Pipelining / / /  
文献情報 信学技報, vol. 117, no. 459, NS2017-180, pp. 73-78, 2018年3月.
資料番号 NS2017-180 
発行日 2018-02-22 (NS) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380

研究会情報
研究会 NS IN  
開催期間 2018-03-01 - 2018-03-02 
開催地(和) フェニックス・シーガイア・リゾート 
開催地(英) Phoenix Seagaia Resort 
テーマ(和) 一般 
テーマ(英) General 
講演論文情報の詳細
申込み研究会 NS 
会議コード 2018-03-NS-IN 
本文の言語 日本語 
タイトル(和) LHD大容量データの遠隔レプリケーション 
サブタイトル(和) MMCFTPとパイプライン化レプリケーションによる145TBデータの4Gbps移送 
タイトル(英) Remote replication for LHD's large data 
サブタイトル(英) 4 Gbps data transfer of 145 TB data using MMCFTP and piplelined replication 
キーワード(1)(和/英) MMCFTP / MMCFTP  
キーワード(2)(和/英) LHD / Large Helical Device (LHD)  
キーワード(3)(和/英) LOSF問題 / The lot of small files (LOSF) problem  
キーワード(4)(和/英) 遠隔複製 / Remote replication  
キーワード(5)(和/英) パイプライン処理 / Pipelining  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 山中 顕次郎 / Kenjiro Yamanaka / ヤマナカ ケンジロウ
第1著者 所属(和/英) 総合研究大学院大学/国立情報学研究所 (略称: 総研大/NII)
SOKENDAI/NII (略称: SOKENDAI/NII)
第2著者 氏名(和/英/ヨミ) 中西 秀哉 / Hideya Nakanishi / ナカニシ ヒデヤ
第2著者 所属(和/英) 核融合科学研究所 (略称: 自然科学研究機構)
National Institute for Fusion Science (略称: NIFS)
第3著者 氏名(和/英/ヨミ) 小関 隆久 / Takahisa Ozeki / オゼキ タカヒサ
第3著者 所属(和/英) 量子科学技術研究開発機構 (略称: 量研機構)
National Institutes for Quantum and Radiological Science and Technology (略称: QST)
第4著者 氏名(和/英/ヨミ) 阿部 俊二 / Shunji ABE / アベ シュンジ
第4著者 所属(和/英) 総合研究大学院大学/国立情報学研究所 (略称: 総研大/NII)
SOKENDAI/NII (略称: SOKENDAI/NII)
第5著者 氏名(和/英/ヨミ) 漆谷 重雄 / Shigeo Urushidani /
第5著者 所属(和/英) 総合研究大学院大学/国立情報学研究所 (略称: 総研大/NII)
SOKENDAI/NII (略称: SOKENDAI/NII)
第6著者 氏名(和/英/ヨミ) 山本 孝志 / Takashi Yamamoto / ヤマモト タカシ
第6著者 所属(和/英) 核融合科学研究所 (略称: 自然科学研究機構)
National Institute for Fusion Science (略称: NIFS)
第7著者 氏名(和/英/ヨミ) 江本 雅彦 / Masahiko Emoto / エモト マサヒコ
第7著者 所属(和/英) 核融合科学研究所 (略称: 自然科学研究機構)
National Institute for Fusion Science (略称: NIFS)
第8著者 氏名(和/英/ヨミ) 中島 徳嘉 / Noriyoshi Nakajima / ナカジマ ノリヨシ
第8著者 所属(和/英) 核融合科学研究所 (略称: 自然科学研究機構)
National Institute for Fusion Science (略称: NIFS)
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2018-03-01 10:50:00 
発表時間 20 
申込先研究会 NS 
資料番号 IEICE-NS2017-180 
巻番号(vol) IEICE-117 
号番号(no) no.459 
ページ範囲 pp.73-78 
ページ数 IEICE-6 
発行日 IEICE-NS-2018-02-22 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会