| 講演名 | 2020-03-04 深層強化学習を用いたフリージングモデルによる冗長性を有する倒立振子制御 平河 恒樹(豊橋技科大), 福村 直博(豊橋技科大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，様々な知能ロボットが研究・開発されており，巧みにタスクを行う多自由度ロボットの実現が期待されている．その実現にはロボットが自ら実環境で動作を行う必要があり，CPUやロボット性能の向上だけでなく，学習回数の削減が求められる．ヒトを含めた生体は多くの関節を持っているため，運動学習を行う際に学習進度に合わせて学習に使用する関節を増やすといったフリージング仮説が提案されている．先行研究では自由度の異なる複数のモジュールで再現したフリージングモデルの学習効率上昇が確認された．本研究では先行研究で使用された強化学習を深層強化学習へ変更し，より実ロボットに近いシミュレーション環境においてフリージングモデルが有効であるかを検証した．ロボットアームの先端に取り付けた倒立振子を2関節アームで制御するシミュレーションの結果から，深層強化学習によって学習はより容易になることを確認し，自由度の異なるモジュール同士を競合させた競合学習において選択確率を制御する逆温度パラメータを変更させた時の影響を検証した． |
| 抄録(英) | In recent years, various intelligent robots have been researched and developed, and multi-degree-of-freedom robots that can perform skillful tasks is expected. In order to learn tasks, the robot needs to operate in the real environment by itself, and it is necessary to reduce the number of learning trials. Since the living body including humans has many joints, the freezing hypothesis has been proposed that increases the number of joints used for motor task according to the learning progress during motor learning. In previous research, it was confirmed that the learning efficiency of the freezing model including multiple modules with different degrees of freedom increased. In this research, we introduce a deep reinforcement learning to the freezing model, and verify whether the model is effective in a simulation environment closer to a real robot. From the results of simulation experiment to control an inverted pendulum attached to the tip of the robot arm, we confirm that the deep reinforcement learning is effective to learn the control rule and verify the effect of the parameter for the selection probability in competitive learning. |
| キーワード(和) | フリージングモデル / 深層強化学習 / 倒立振子制御 / ROS |
| キーワード(英) | Freezing model / Deep reinforcement learning / Inverted pendulum control / ROS |
| 資料番号 | NC2019-76 |
| 発行日 | 2020-02-26 (NC) |
| 研究会情報 | |
| 研究会 | NC / MBE |
|---|---|
| 開催期間 | 2020/3/4(から3日開催) |
| 開催地（和） | 電気通信大学 |
| 開催地（英） | University of Electro Communications |
| テーマ（和） | NC, ME, 一般 |
| テーマ（英） | Neuro Computing, Medical Engineering, etc. |
| 委員長氏名（和） | 庄野 逸(電通大) / 野村 泰伸(阪大) |
| 委員長氏名（英） | Hayaru Shouno(UEC) / Taishin Nomura(Osaka Univ.) |
| 副委員長氏名（和） | 鮫島 和行(玉川大) / 渡邊 高志(東北大) |
| 副委員長氏名（英） | Kazuyuki Samejima(Tamagawa Univ) / Takashi Watanabe(Tohoku Univ.) |
| 幹事氏名（和） | 吉本 潤一郎(奈良先端大) / 安部川 直稔(NTT) / 伊良皆 啓治(九大) |
| 幹事氏名（英） | Junichiro Yoshimoto(NAIST) / Naotoshi Abekawa(NTT) / Keiji Iramina(Kyushu Univ.) |
| 幹事補佐氏名（和） | 篠崎 隆志(NICT) / 瀧山 健(東京農工大) / 鈴木 康之(阪大) / 辛島 彰洋(東北工大) |
| 幹事補佐氏名（英） | Takashi Shinozaki(NICT) / Ken Takiyama(TUAT) / Yasuyuki Suzuki(Osaka Univ.) / Akihiro Karashima(Tohoku Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on ME and Bio Cybernetics |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 深層強化学習を用いたフリージングモデルによる冗長性を有する倒立振子制御 |
| サブタイトル（和） | |
| タイトル（英） | Inverted pendulum control with redundancy by freezing model using deep reinforcement learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | フリージングモデル / Freezing model |
| キーワード(2)（和/英） | 深層強化学習 / Deep reinforcement learning |
| キーワード(3)（和/英） | 倒立振子制御 / Inverted pendulum control |
| キーワード(4)（和/英） | ROS / ROS |
| 第 1 著者 氏名（和/英） | 平河 恒樹 / Koki Hirakawa |
| 第 1 著者 所属（和/英） | 豊橋技術科学大学(略称：豊橋技科大) Toyohashi University of Technology(略称：Toyohashi Univ. of Tech) |
| 第 2 著者 氏名（和/英） | 福村 直博 / Naohiro Fukumura |
| 第 2 著者 所属（和/英） | 豊橋技術科学大学(略称：豊橋技科大) Toyohashi University of Technology(略称：Toyohashi Univ. of Tech) |
| 発表年月日 | 2020-03-04 |
| 資料番号 | NC2019-76 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | NC-453 |
| ページ範囲 | pp.3-8(NC), |
| ページ数 | 6 |
| 発行日 | 2020-02-26 (NC) |