| 講演名 | 2016-09-05 ［ショートペーパー］ディープニューラルネットワークのための勾配上のノイズを考慮した効率的な確率的勾配降下法 井田 安俊(NTT), 藤原 靖宏(NTT), 岩村 相哲(NTT), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ディープニューラルネットワークは画像・音声認識をはじめとした広い分野で使われるモデルである．確率的勾配降下法は，モデルのパラメータに関する一次勾配を用いて損失関数を最小化するアルゴリズムであり，ディープニューラルネットワークの学習アルゴリズムとして広く用いられている．ディープニューラルネットワークの損失関数はパラメータに関して多くの鞍点を持つことが示唆されている．一次勾配のノルムは鞍点付近で小さくなる傾向にあるため，効率的に学習を行うためには鞍点から素早く抜け出す必要がある．既存手法の一つとして，一次勾配にある分散を持ったノイズを加えて確率的にパラメータを探索することで，鞍点を抜け出す手法がある．しかし，既存手法では入力の変動によって加わるノイズの分散が考慮されておらず，パラメータ探索を過剰に行ってしまう可能性がある．そこで本稿では，一次勾配をスケーリングすることで，入力の変動によって加わるノイズの分散を一定値に抑え，探索の積極性を制御する手法を提案する． |
| 抄録(英) | |
| キーワード(和) | ディープニューラルネットワーク / 確率的勾配降下法 |
| キーワード(英) | |
| 資料番号 | PRMU2016-64,IBISML2016-19 |
| 発行日 | 2016-08-29 (PRMU, IBISML) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM / IBISML |
|---|---|
| 開催期間 | 2016/9/5(から2日開催) |
| 開催地（和） | 富山大学 |
| 開催地（英） | |
| テーマ（和） | パターン認識・機械学習基盤技術及び一人称視点・注視情報と行動理解 |
| テーマ（英） | |
| 委員長氏名（和） | 前田 英作(NTT) / / 福水 健次(統計数理研) |
| 委員長氏名（英） | Eisaku Maeda(NTT) / / Kenji Fukumizu(ISM) |
| 副委員長氏名（和） | 内田 誠一(九大) / 藤吉 弘亘(中部大) / / 杉山 将(東大) / 鹿島 久嗣(京大) |
| 副委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) / Hironobu Fujiyoshi(Chubu Univ.) / / Masashi Sugiyama(Univ. of Tokyo) / Hisashi Kashima(Kyoto Univ.) |
| 幹事氏名（和） | 近藤 一晃(京大) / 木村 昭悟(NTT) / / 津田 宏治(東大) / 竹内 一郎(名工大) |
| 幹事氏名（英） | Kazuaki Kondo(Kyoto Univ.) / Akisato Kimura(NTT) / / Koji Tsuda(Univ. of Tokyo) / Ichiro Takeuchi(Nagoya Inst. of Tech.) |
| 幹事補佐氏名（和） | 大西 正輝(産総研) / 舩冨 卓哉(奈良先端大) / / 神嶌 敏弘(産総研) / 岩田 具治(NTT) |
| 幹事補佐氏名（英） | Masaki Oonishi(AIST) / Takuya Funatomi(NAIST) / / Toshihiro Kamishima(AIST) / Tomoharu Iwata(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media / Technical Committee on Infomation-Based Induction Sciences and Machine Learning |
|---|---|
| 本文の言語 | JPN-ONLY |
| タイトル（和） | ［ショートペーパー］ディープニューラルネットワークのための勾配上のノイズを考慮した効率的な確率的勾配降下法 |
| サブタイトル（和） | |
| タイトル（英） | |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ディープニューラルネットワーク |
| キーワード(2)（和/英） | 確率的勾配降下法 |
| 第 1 著者 氏名（和/英） | 井田 安俊 / Yasutoshi Ida |
| 第 1 著者 所属（和/英） | 日本電信電話株式会社(略称：NTT) Nippon Telegraph and Telephone Corporation(略称：NTT) |
| 第 2 著者 氏名（和/英） | 藤原 靖宏 / Yasuhiro Fujiwara |
| 第 2 著者 所属（和/英） | 日本電信電話株式会社(略称：NTT) Nippon Telegraph and Telephone Corporation(略称：NTT) |
| 第 3 著者 氏名（和/英） | 岩村 相哲 / Sotetsu Iwamura |
| 第 3 著者 所属（和/英） | 日本電信電話株式会社(略称：NTT) Nippon Telegraph and Telephone Corporation(略称：NTT) |
| 発表年月日 | 2016-09-05 |
| 資料番号 | PRMU2016-64,IBISML2016-19 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | PRMU-208,IBISML-209 |
| ページ範囲 | pp.93-94(PRMU), pp.93-94(IBISML), |
| ページ数 | 2 |
| 発行日 | 2016-08-29 (PRMU, IBISML) |