| 講演名 | 2023-12-14 ICTシステム設計自動化のためのDouble DQNとNoisy Networkの適用と評価 方違 紘之(上智大), 八鍬 豊(NEC), 岡村 夏希(上智大), シュウ テンシン(上智大), 黒田 貴之(NEC), 矢入 郁子(上智大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本稿は ICT システム自動設計のための有効な強化学習アルゴリズムの検討の取り組みを報告する. ICT システム設計の状態空間は，膨大かつ複雑であるうえに，探索による設計プロセスで得られる報酬が疎である という問題がある.本研究はこの問題に，強化学習アルゴリズムを組み合わせる方法でアプローチする.本稿は 「Weaver」と呼ばれる Graph Neural Network(GNN)を用いた ICT システムの自動設計技術に Double DQN と Noisy Network を組み合わせて適用することを提案する.Q 学習をベースとした DQN の学習効率を改善する手法である Double DQN と，GNN にノイズの層を加えた Noisy Network の構造を実装し，両者がネットワークの過大評価を抑 制して探索の効率化を促進しうるかどうかを評価した. その結果，提案手法の適用が設計の学習完了までにかかる 学習時間を短縮する効果があることが確認された. |
| 抄録(英) | This paper introduces an efficient reinforcement learning method for the ICT system design process. Since the state space of the designing process is enormous and complex. Also, rewards obtained in the design process are significantly sparse. The proposed method aims to improve the automation of ICT System Design by combining reinforcement learning algorithms. This paper applied DoubleDQN, a reinforcement learning algorithm, and a noisy network, the structure of the graph neural network added a noisy layer in an automated design technology for ICT systems called Weaver. The former is an approach to improve the efficiency of Multi-Step Q-learning. The latter is parametric noise applied to the network, and this helps to reduce harmful overestimation from the network and aids the efficiency of exploration for Weaver. The evaluation result showed that applying both for Weaver could shorten the number of steps to design in a shorter time, stabilize learning, and improve the design accuracy of ICT systems. |
| キーワード(和) | |
| キーワード(英) | |
| 資料番号 | NS2023-134 |
| 発行日 | 2023-12-07 (NS) |
| 研究会情報 | |
| 研究会 | NS / RCS |
|---|---|
| 開催期間 | 2023/12/14(から2日開催) |
| 開催地（和） | 九州工業大学 戸畑キャンパス＋オンライン開催 |
| 開催地（英） | Kyushu Institute of Technology Tobata campus, and Online |
| テーマ（和） | マルチホップ／リレー／協調，耐災害無線ネットワーク，センサ・メッシュネットワーク，アドホックネットワーク，D2D・M2M，無線ネットワークコーディング，ハンドオーバ/AP切替/接続セル制御/基地局間負荷分散/モバイルNW動的再構成，QoS・QoE保証，無線VoIP，IoT，エッジコンピューティング，一般 |
| テーマ（英） | Multi-hop/Relay/Cooperation, Disaster-resistant wireless network, Sensor/Mesh network, Ad-hoc network, D2D/M2M, Wireless network coding, Handover/AP switching/Connected cell control/Load balancing among base stations/Mobile network dynamic reconfiguration, QoS/QoE assurance, Wireless VoIP, IoT, Edge computing, etc. |
| 委員長氏名（和） | 大石 哲矢(NTT) / 樋口 健一(東京理科大) |
| 委員長氏名（英） | Tetsuya Oishi(NTT) / Kenichi Higuchi(Tokyo Univ. of Science) |
| 副委員長氏名（和） | 三好 匠(芝浦工大) / 児島 史秀(NICT) / 牟田 修(九大) / 石井 直人(NEC) |
| 副委員長氏名（英） | Takumi Miyoshi(Shibaura Inst. of Tech.) / Fumihide Kojima(NICT) / Osamu Muta(Kyushu Univ.) / Naoto Ishii(NEC) |
| 幹事氏名（和） | 島崎 大作(NTT) / 山口 実靖(工学院大) / 安達 宏一(電通大) / 中村 理(シャープ) / 酒井 学(三菱電機) |
| 幹事氏名（英） | Daisaku Shimazaki(NTT) / Saneyasu Yamaguchi(Kogakuin Univ.) / Koichi Adachi(Univ. of Electro-Comm) / Osamu Nakamura(Sharp) / Manabu Sakai(Mitsubishi Electric) |
| 幹事補佐氏名（和） | 山本 宏(NTT) / 岩渕 匡史(NTT) / 菅野 一生(KDDI総合研究所) / 張 裕淵(東工大) / 丸田 一輝(東京理科大) / 立石 貴一(NTTドコモ) |
| 幹事補佐氏名（英） | Hiroshi Yamamoto(NTT) / Masashi Iwabuchi(NTT) / Issei Kanno(KDDI Research) / Yuyuan Chang(Tokyo Inst. of Tech) / Kazuki Maruta(Tokyo Univ. of Science) / Kiichi Tateishi(NTT Docomo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Network Systems / Technical Committee on Radio Communication Systems |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ICTシステム設計自動化のためのDouble DQNとNoisy Networkの適用と評価 |
| サブタイトル（和） | |
| タイトル（英） | Implementation and evaluation of Double DQN and Noisy Network to Reinforcement learning for Automation of ICT System Design |
| サブタイトル（和） | |
| キーワード(1)（和/英） | |
| 第 1 著者 氏名（和/英） | 方違 紘之 / Hiroyuki Hochigai |
| 第 1 著者 所属（和/英） | 上智大学(略称：上智大) Sophia University(略称：Sophia Univ.) |
| 第 2 著者 氏名（和/英） | 八鍬 豊 / Yutaka Yakuwa |
| 第 2 著者 所属（和/英） | 日本電気株式会社(略称：NEC) NEC Corporation(略称：NEC) |
| 第 3 著者 氏名（和/英） | 岡村 夏希 / Natsuki Okamura |
| 第 3 著者 所属（和/英） | 上智大学(略称：上智大) Sophia University(略称：Sophia Univ.) |
| 第 4 著者 氏名（和/英） | シュウ テンシン / Zhou Tianchen |
| 第 4 著者 所属（和/英） | 上智大学(略称：上智大) Sophia University(略称：Sophia Univ.) |
| 第 5 著者 氏名（和/英） | 黒田 貴之 / Takayuki Kuroda |
| 第 5 著者 所属（和/英） | 日本電気株式会社(略称：NEC) NEC Corporation(略称：NEC) |
| 第 6 著者 氏名（和/英） | 矢入 郁子 / Ikuko Eguchi Yairi |
| 第 6 著者 所属（和/英） | 上智大学(略称：上智大) Sophia University(略称：Sophia Univ.) |
| 発表年月日 | 2023-12-14 |
| 資料番号 | NS2023-134 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | NS-307 |
| ページ範囲 | pp.48-53(NS), |
| ページ数 | 6 |
| 発行日 | 2023-12-07 (NS) |