| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-03-05 14:30 学習率に依存しない人工神経回路網における適応的最適化手法 ○佐藤哲哉・山内ゆかり（日大）  NC2020-72 |
|
| 抄録 | （和） | 機械学習でどのような最適化手法を用いるかは重要な問題であるSGDは精度は高いが収束が遅く安定性がない．そこでAdamのように収束が早く安定性のある最適化手法が研究された．しかしAdamは精度がSGDに及ばず，またSGDと同様に学習率の設定に敏感である．そこで本研究では複数の最適化手法を組合せ，学習率に依存せず精度が高く収束が早い手法を提案する．実験の結果，提案手法は学習率の大小に依存せず高い精度を達成できる． |
| （英） | What kind of optimizer is used in machine learning is an important issue. SGD has high accuracy but slow convergence and is not stable. Therefore, optimizers like Adam, which converges quickly and is stable, has been studied. However, Adam is not as accurate as SGD and is as sensitive to learning rate settings as SGD. Therefore, in this study we propose a method that combines multiple optimizer and has high accuracy and quick convergence without depending on learning rate. As a result of the experiment, the proposed method can achieve high accuracy regardless of size on learning rate. | |
| キーワード | （和） | 最適化手法 / 適応学習率 / Adam / RAdam / AdaBound / AdaBelief / / |
| （英） | Optimizer / Adaptive Learning Rate / Adam / RAdam / AdaBound / AdaBelief / / | |
| 文献情報 | 信学技報, vol. 120, no. 403, NC2020-72, pp. 169-173, 2021年3月. | |
| 資料番号 | NC2020-72 | |
| 発行日 | 2021-02-24 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2020-72 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2021-03-03 - 2021-03-05 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME, 一般 |
| テーマ（英） | Neuro Computing, Medical Engineering, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2021-03-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | 学習率に依存しない人工神経回路網における適応的最適化手法 |
| サブタイトル（和） | |
| タイトル（英） | Adaptive Optimization Method in Artificial Neural Network that Independ on Learning Rate |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 最適化手法 / Optimizer |
| キーワード(2)（和/英） | 適応学習率 / Adaptive Learning Rate |
| キーワード(3)（和/英） | Adam / Adam |
| キーワード(4)（和/英） | RAdam / RAdam |
| キーワード(5)（和/英） | AdaBound / AdaBound |
| キーワード(6)（和/英） | AdaBelief / AdaBelief |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 佐藤 哲哉 / Tetsuya Sato / サトウ テツヤ |
| 第1著者 所属（和/英） | 日本大学大学院 (略称： 日大) Nihon University (略称： Nihon Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 山内 ゆかり / Yukari Yamauti / ヤマウチ ユカリ |
| 第2著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： Nihon Univ.) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-03-05 14:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2020-72 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.403 |
| ページ範囲 | pp.169-173 |
| ページ数 | 5 |
| 発行日 | 2021-02-24 (NC) |
[研究会発表申込システムのトップページに戻る]