| 講演名 | 2018-02-27 ミリ波路車間通信のカバレッジ拡大のための深層強化学習による車両移動制御 田谷 昭仁(京大), 西尾 理志(京大), 守倉 正博(京大), 山本 高至(京大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | コネクテッドカーにおける高速通信を実現するため，広帯域を利用可能なミリ波帯が注目されているが，ミリ波帯の電波はマイクロ波帯に比べて距離減衰が大きいためカバレッジが狭くなる問題がある．少ない路上基地局（RSU：Road Side Unit）だけでカバレッジを確保する手法として，マルチホップ通信が検討されているが，ミリ波通信でマルチホップ通信を利用するためには，遮蔽による通信品質の劣化への対処が課題となる．本稿では，自動運転が可能なコネクテッドカーを想定し，RSU までミリ波マルチホップで接続可能な範囲を拡大するため，LOS/NLOS（Non Line of Sight）を考慮しながら車両自身が移動して長いマルチホップリレーを構成する手法を提案する．自走ロボットによる無線センサネットワークでは移動制御にVFA（Virtual Force Algorithm）がよく使用されるが，VFAは通信品質が距離に対して単調減少する単純なモデルを前提とするため，遮蔽による電力減衰が大きいミリ波通信ではVFA の前提が成立せず，カバレッジ拡大は困難である．提案手法は強化学習を用いることで，複雑なミリ波通信品質のモデル化が困難であっても，車両自らが試行錯誤することで，カバレッジを拡大する移動方策を学修することが可能である．また，強化学習の状態定義として，リレー長の情報を含めることで性能を向上する．シミュレーション評価により，提案手法は一部の車両のみが移動制御対象の場合でもカバレッジを拡大でき，勾配法による移動制御よりもカバレッジを拡大できることを示す． |
| 抄録(英) | The small coverage of road side units (RSUs) is one of the challenges in millimeter wave (mmWave) communications for autonomous vehicles. A key concept of this paper is leveraging vehicles’ position controllability to increase the coverages of RSUs by creating long multi-hop relays. Vehicles should be positioned where they can communicate with each other in line-of-sight (LOS) paths because the blockages of LOS paths is a crucial problem in mmWave communications. In this paper, a vehicle position control method based on reinforcement learning (RL) is proposed to avoid blockage and create long relays in order to increase coverage. RL enables vehicles to predict the future coverages achieved by their subsequent actions and therefore, its performance exceeds that of a conventional strategy which is used for moving control of wireless sensor networks. This paper also proposes state designs with information of relay length to improve the performance of increasing coverages. Simulation results confirm that the proposed method increase coverages even when not all the vehicles’ positions are controllable. In addition, it is shown that a RL-based strategy achieves higher performances than gradient-based strategies. |
| キーワード(和) | コネクテッドカー / ミリ波通信 / マルチホップ / 深層強化学習 |
| キーワード(英) | Vehicular Communications / MmWave Communications / Multihop / Deep Reinforcement Learning |
| 資料番号 | MoNA2017-69 |
| 発行日 | 2018-02-19 (MoNA) |
| 研究会情報 | |
| 研究会 | MoNA / ASN / IPSJ-MBL / IPSJ-UBI |
|---|---|
| 開催期間 | 2018/2/26(から2日開催) |
| 開催地（和） | 上智大学 |
| 開催地（英） | Sophia University |
| テーマ（和） | ユビキタスシステム、知的環境、モバイル時代を支える次世代無線技術、モバイルネットワーク、および一般 |
| テーマ（英） | Ubiquitous system, Ambient intelligence, Next generation wireless communicasion, Mobile network, etc. |
| 委員長氏名（和） | 新熊 亮一(京大) / 岡田 啓(名大) / 河口 信夫(名大) / 寺田 努(神戸大) |
| 委員長氏名（英） | Ryoichi Shinkuma(Kyoto Univ.) / Hiraku Okada(Nagoya Univ.) / 河口 信夫(名大) / 寺田 努(神戸大) |
| 副委員長氏名（和） | 田頭 茂明(関大) / 北形 元(東北大) / 塩川 茂樹(神奈川工科大) / 中澤 仁(慶大) / 山野 悟(NEC) / 深澤 佑介(ドコモ) / 久保 健(KDDI) / 北村 操代(三菱電気) |
| 副委員長氏名（英） | Shigeaki Tagashira(Kansai Univ.) / Gen Kitagata(Tohoku Univ.) / Shigeki Shiokawa(KAIT) / Jin Nakazawa(Keio Univ.) / Satoru Yamano(NEC) / 深澤 佑介(ドコモ) / 久保 健(KDDI) / 北村 操代(三菱電気) |
| 幹事氏名（和） | 石田 繁巳(九大) / 倉沢 央(NTT) / 二瓶 浩一(NEC) / 大和田 泰伯(NICT) / 萬代 雅希(上智大) / 梶 克彦(愛知工大) / 内山 彰(阪大) / 大村 廉(豊橋技科大) / 岸野 泰恵(NTT) / 藤波 香織(東京農工大) / 村尾 和哉(立命館大) / 米澤 拓郎(慶大) |
| 幹事氏名（英） | Shigemi Ishida(Kyushu Univ.) / Hisashi Kurasawa(NTT) / Koichi Nihei(NEC) / Yasunori Owada(NICT) / Masaki Bandai(Sophia Univ.) / 梶 克彦(愛知工大) / 内山 彰(阪大) / 大村 廉(豊橋技科大) / 岸野 泰恵(NTT) / 藤波 香織(東京農工大) / 村尾 和哉(立命館大) / 米澤 拓郎(慶大) |
| 幹事補佐氏名（和） | 西尾 理志(京大) / 齊藤 隆仁(NTTドコモ) / 間 博人(同志社大) / 大田 知行(広島市立大) / 菊月 達也(富士通研) / 中野 亮(日立) / 堀田 善文(三菱電機) |
| 幹事補佐氏名（英） | Takayuki Nishio(Kyoto Univ.) / Takato Saito(NTT) / Hiroto Aida(Doshisha Univ.) / Tomoyuki Ota(Hiroshima City Univ.) / Tatsuya Kikuzuki(Fujitu Lab.) / Ryo Nakano(HITACHI) / Yoshifumi Hotta(Mitsubishi Electric) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Mobile Network and Applications / Technical Committee on Ambient intelligence and Sensor Networks / Special Interest Group on Mobile Computing and Pervasive Systems / Special Interest Group on Ubiquitous Computing System |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ミリ波路車間通信のカバレッジ拡大のための深層強化学習による車両移動制御 |
| サブタイトル（和） | |
| タイトル（英） | Coverage Expansion in mmWave V2I Communications by Deep Reinforcement Learning Based Vehicle Re-deployment |
| サブタイトル（和） | |
| キーワード(1)（和/英） | コネクテッドカー / Vehicular Communications |
| キーワード(2)（和/英） | ミリ波通信 / MmWave Communications |
| キーワード(3)（和/英） | マルチホップ / Multihop |
| キーワード(4)（和/英） | 深層強化学習 / Deep Reinforcement Learning |
| 第 1 著者 氏名（和/英） | 田谷 昭仁 / Akihito Taya |
| 第 1 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 第 2 著者 氏名（和/英） | 西尾 理志 / Takayuki Nishio |
| 第 2 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 第 3 著者 氏名（和/英） | 守倉 正博 / Masahiro Morikura |
| 第 3 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 第 4 著者 氏名（和/英） | 山本 高至 / Koji Yamamoto |
| 第 4 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 発表年月日 | 2018-02-27 |
| 資料番号 | MoNA2017-69 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | MoNA-450 |
| ページ範囲 | pp.317-322(MoNA), |
| ページ数 | 6 |
| 発行日 | 2018-02-19 (MoNA) |