| 講演名 | 2021-07-21 DPDKを用いた分散深層強化学習における経験サンプリングの高速化 古川 雅輝(慶大), 松谷 宏紀(慶大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | DQN(Deep Q-Network)に代表される深層強化学習の性能を向上させるため、分散深層強化学習では、複数の計算機をネットワーク接続した計算機クラスタが用いられる。計算機クラスタを用いた分散深層強化学習では、環境空間の探索により経験を獲得するActorと深層学習モデルを最適化するLearnerの間で、経験サイズやActor数に応じたデータ転送が頻繁に発生するため、通信コストが分散学習の性能向上を妨げる。そこで、本研究では40GbE(40Gbit Ethernet)ネットワークで接続されたActorとLearnerの間に、DPDKによって低遅延化されたインメモリデータベースや経験再生メモリを導入することで、分散深層強化学習における通信コストの削減を図る。DPDKを用いたカーネルバイパスによるネットワーク最適化によって、共有メモリへのアクセス遅延は32.7%〜58.9%削減された。また、DPDKベースの優先度付き経験再生メモリをネットワーク上に実装することで、経験再生メモリへのアクセス遅延は11.7%〜28.1%改善し、優先度付き経験サンプリングにおける通信遅延は21.9%〜29.1%削減された。 |
| 抄録(英) | |
| キーワード(和) | 分散深層強化学習 / DPDK / DQN |
| キーワード(英) | |
| 資料番号 | CPSY2021-6,DC2021-6 |
| 発行日 | 2021-07-13 (CPSY, DC) |
| 研究会情報 | |
| 研究会 | CPSY / DC / IPSJ-ARC |
|---|---|
| 開催期間 | 2021/7/20(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | SWoPP2021: 並列／分散／協調システムとディペンダブルコンピューティングおよび一般 |
| テーマ（英） | SWoPP2021: Parallel, Distributed and Cooperative Processing Systems and Dependable Computing |
| 委員長氏名（和） | 鯉渕 道紘(NII) / 高橋 寛(愛媛大) / 井上 弘士(九大) |
| 委員長氏名（英） | Michihiro Koibuchi(NII) / Hiroshi Takahashi(Ehime Univ.) / Hiroshi Inoue(Kyushu Univ.) |
| 副委員長氏名（和） | 中島 耕太(富士通研) / 津邑 公暁(名工大) / 土屋 達弘(阪大) |
| 副委員長氏名（英） | Kota Nakajima(Fujitsu Lab.) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Tatsuhiro Tsuchiya(Osaka Univ.) |
| 幹事氏名（和） | 井口 寧(北陸先端大) / 小川 周吾(日立) / 新井 雅之(日大) / 難波 一輝(千葉大) / 近藤 正章(東大) / 塩谷 亮太(名大) / 田中 美帆(富士通研) / 長谷川 揚平(東芝メモリ) |
| 幹事氏名（英） | Yasushi Inoguchi(JAIST) / Shugo Ogawa(Hitachi) / Masayuki Arai(Nihon Univ.) / Kazuteru Namba(Chiba Univ.) / Masaaki Kondo(Univ. of Tokyo) / Ryota Shioya(Nagoya Univ.) / Miho Tanaka(Fujitsu Labs.) / Yohei Hasegawa(Toshiba Memory) |
| 幹事補佐氏名（和） | 小林 諒平(筑波大) / 宮島 敬明(明大) |
| 幹事補佐氏名（英） | Ryohei Kobayashi(Tsukuba Univ.) / Takaaki Miyajima(Meiji Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Computer Systems / Technical Committee on Dependable Computing / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | DPDKを用いた分散深層強化学習における経験サンプリングの高速化 |
| サブタイトル（和） | |
| タイトル（英） | A DPDK-Based Acceleration Method for Experience Sampling of Distributed Reinforcement Learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 分散深層強化学習 |
| キーワード(2)（和/英） | DPDK |
| キーワード(3)（和/英） | DQN |
| 第 1 著者 氏名（和/英） | 古川 雅輝 / Masaki Furukawa |
| 第 1 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 2 著者 氏名（和/英） | 松谷 宏紀 / Hiroki Matsutani |
| 第 2 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 発表年月日 | 2021-07-21 |
| 資料番号 | CPSY2021-6,DC2021-6 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | CPSY-116,DC-117 |
| ページ範囲 | pp.31-36(CPSY), pp.31-36(DC), |
| ページ数 | 6 |
| 発行日 | 2021-07-13 (CPSY, DC) |