| 大会名称 |
|---|
| 2018年 情報科学技術フォーラム(FIT) |
| 大会コ－ド |
| F |
| 開催年 |
| 2018 |
| 発行日 |
| 2018-09-12 |
| セッション番号 |
| 3b |
| セッション名 |
| 高性能計算 |
| 講演日 |
| 2018/09/19 |
| 講演場所(会議室等) |
| C棟C33 |
| 講演番号 |
| B-005 |
| タイトル |
| 自然勾配近似法を用いた大規模並列深層学習におけるハイパーパラメータ最適化 |
| 著者名 |
| 長沼大樹, 岩瀬 駿, 郭 林昇, 中田 光, 横田理央, |
| キーワード |
| 分散深層学習, 自然勾配法, K-FAC, ハイパーパラメータチューニング |
| 抄録 |
|
深層学習では極めて冗長な数のパラメータを持つDNNを膨大な学習データを用いて学習することで他の機械学習手法を圧倒する高い性能を発揮している。 一方で，DNNの学習には膨大な計算時間がかかるため、大規模並列化によって学習時間を短縮するのが喫緊の課題である。 深層学習で従来用いられてきた確率的勾配降下法(SGD)では、大規模並列化に伴うバッチサイズの増加により汎化性能が劣化することが報告されている。 Martensらによる自然勾配法を近似した手法であるK-FACでは、バッチサイズの増加が汎化性能に影響しないことが示されている。 大規模並列学習において、SGDとK-FACを用いた場合の学習速度や収束速度をそれぞれの最高性能で比較するため、依存するハイパーパラメータの最適化を行い比較検討を行なった。 |
| 本文pdf |
| PDF download (556.5KB) |