| 講演名 | 2022-06-27 ニューラルアーキテクチャ探索におけるガウス過程回帰の精度向上のためのバギング手法 羽田 遼音(阪大), 置田 真生(阪大), 伊野 文彦(阪大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究の目的は，ガウス過程回帰によるベイズ最適化を用いたNAS（Neural Architecture Search）における，ニューラルネットワークアーキテクチャに対する性能推定の向上である．その実現のために，本報告は，過学習を抑制することでガウス過程回帰の精度を高めることのできるバギング手法を提案する．提案手法は，ガウス過程回帰の推定誤差を軽減するために，既存のNAS手法におけるベイズ最適化の獲得関数を拡張する．この獲得関数は異なる教師データセットを用いて候補アーキテクチャの推論精度を繰り返し推定し，その中央値を返す．さらに，提案手法は既存手法と同様に，実際に訓練するアーキテクチャを，ベイズ最適化によって精度が高いと推定されたアーキテクチャのみに限定することで，効率的にアーキテクチャを探索する．実験の結果，提案手法は，100個のアーキテクチャの推論精度に関する推定順位と真の順位とのスピアマンの順位相関係数を，0.772から0.829に向上した．したがって，提案手法はニューラルアーキテクチャの推論精度を高い精度で推定するために有用であると考える． |
| 抄録(英) | The goal of this study is to improve performance estimation for neural network architectures in neural architecture search (NAS), which leverages Bayesian optimization with Gaussian process regression. To achieve this goal, we propose a bagging method to boost the accuracy of Gaussian process regression by controlling over-fitting. Aiming to reduce the estimation error with Gaussian process regression, the proposed method extends the acquire function for Bayesian optimization in an existing NAS method: the extended acquire function iteratively estimates the inference accuracy of the target architecture with different supervised datasets and returns the median accuracy. For the rest, as with the existing method, the proposed method searches neural architectures efficiently by limiting the architectures to be actually trained only to those estimated to show high inference accuracy by Bayesian optimization. Experimental results show that the proposed method increased Spearman's rank correlation coefficient between an estimated ranking and the true ranking of inference accuracy for 100 neural architectures from 0.772 to 0.829. This indicates that the proposed method is useful for precisely estimating the inference accuracy of neural architectures. |
| キーワード(和) | NAS（neural architecture search） / 代理モデル / ベイズ最適化 / ガウス過程回帰 / 過学習 / バギング（bootstrap aggregating） |
| キーワード(英) | NAS (neural architecture search) / surrogate model / Bayesian optimization / Gaussian process regression / overfitting / bagging (bootstrap aggregating) |
| 資料番号 | NC2022-2,IBISML2022-2 |
| 発行日 | 2022-06-20 (NC, IBISML) |
| 研究会情報 | |
| 研究会 | NC / IBISML / IPSJ-BIO / IPSJ-MPS |
|---|---|
| 開催期間 | 2022/6/27(から3日開催) |
| 開催地（和） | 琉球大学50周年記念館 |
| 開催地（英） | |
| テーマ（和） | 機械学習によるバイオデータマイニング、一般 |
| テーマ（英） | |
| 委員長氏名（和） | 山川 宏(東大) / 杉山 将(東大) |
| 委員長氏名（英） | Hiroshi Yamakawa(Univ of Tokyo) / Masashi Sugiyama(Univ. of Tokyo) |
| 副委員長氏名（和） | 田中 宏和(東京都市大学) / 神嶌 敏弘(産総研) / 津田 宏治(東大) |
| 副委員長氏名（英） | Hirokazu Tanaka(Tokyo City Univ.) / Toshihiro Kamishima(AIST) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 寺島 裕貴(NTT) / 西田 知史(NICT) / 岩田 具治(NTT) / 中村 篤祥(北大) |
| 幹事氏名（英） | Hiroki Terashima(NTT) / Satoshi Nishida(NICT) / Tomoharu Iwata(NTT) / Atsuyoshi Nakamura(Hokkaido Univ.) |
| 幹事補佐氏名（和） | 田和辻 可昌(早大) / 栗川 知己(関西医科大) / 河原 吉伸(阪大) / 鈴木 大慈(東工大) |
| 幹事補佐氏名（英） | Yoshimasa Tawatsuji(Waseda Univ.) / Tomoki Kurikawa(KMU) / Yoshinobu Kawahara(Osaka Univ.) / Taiji Suzuki(Tokyo Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on Infomation-Based Induction Sciences and Machine Learning / Special Interest Group on Bioinformatics and Genomics / Special Interest Group on Mathematical Modeling and Problem Solving |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ニューラルアーキテクチャ探索におけるガウス過程回帰の精度向上のためのバギング手法 |
| サブタイトル（和） | |
| タイトル（英） | A Bagging Method to Improve the Accuracy of Gaussian Process Regression for Neural Architecture Search |
| サブタイトル（和） | |
| キーワード(1)（和/英） | NAS（neural architecture search） / NAS (neural architecture search) |
| キーワード(2)（和/英） | 代理モデル / surrogate model |
| キーワード(3)（和/英） | ベイズ最適化 / Bayesian optimization |
| キーワード(4)（和/英） | ガウス過程回帰 / Gaussian process regression |
| キーワード(5)（和/英） | 過学習 / overfitting |
| キーワード(6)（和/英） | バギング（bootstrap aggregating） / bagging (bootstrap aggregating) |
| 第 1 著者 氏名（和/英） | 羽田 遼音 / Rion Hada |
| 第 1 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 2 著者 氏名（和/英） | 置田 真生 / Masao Okita |
| 第 2 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 3 著者 氏名（和/英） | 伊野 文彦 / Fumihiko Ino |
| 第 3 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 発表年月日 | 2022-06-27 |
| 資料番号 | NC2022-2,IBISML2022-2 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | NC-89,IBISML-90 |
| ページ範囲 | pp.6-13(NC), pp.6-13(IBISML), |
| ページ数 | 8 |
| 発行日 | 2022-06-20 (NC, IBISML) |