ニューラルアーキテクチャ探索におけるガウス過程回帰の精度向上のためのバギング手法

• Item type: SIG Technical Reports(1)
• 公開日: 2022-06-20
• タイトル: ニューラルアーキテクチャ探索におけるガウス過程回帰の精度向上のためのバギング手法
• タイトル / 言語: en
• タイトル: A Bagging Method to Improve the Accuracy of Gaussian Process Regression for Neural Architecture Search
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Osaka University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Osaka University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Osaka University
• 著者名: 羽田, 遼音; 置田, 真生; 伊野, 文彦
• 著者名(英): Rion, Hada; Masao, Okita; Fumihiko, Ino
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究の目的は，ガウス過程回帰によるベイズ最適化を用いた NAS（Neural Architecture Search）における，ニューラルネットワークアーキテクチャに対する性能推定の向上である．その実現のために，本報告は，過学習を抑制することでガウス過程回帰の精度を高めることのできるバギング手法を提案する．提案手法は，ガウス過程回帰の推定誤差を軽減するために，既存の NAS 手法におけるベイズ最適化の獲得関数を拡張する．この獲得関数は異なる教師データセットを用いて候補アーキテクチャの推論精度を繰り返し推定し，その中央値を返す．さらに，提案手法は既存手法と同様に，実際に訓練するアーキテクチャを，ベイズ最適化によって精度が高いと推定されたアーキテクチャのみに限定することで，効率的にアーキテクチャを探索する．実験の結果，提案手法は，100 個のアーキテクチャの推論精度に関する推定順位と真の順位とのスピアマンの順位相関係数を，0.772 から 0.829 に向上した．したがって，提案手法はニューラルアーキテクチャの推論精度を高い精度で推定するために有用であると考える．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The goal of this study is to improve performance estimation for neural network architectures in neural architecture search (NAS), which leverages Bayesian optimization with Gaussian process regression. To achieve this goal, we propose a bagging method to boost the accuracy of Gaussian process regression by controlling over-fitting. Aiming to reduce the estimation error with Gaussian process regression, the proposed method extends the acquire function for Bayesian optimization in an existing NAS method: the extended acquire function iteratively estimates the inference accuracy of the target architecture with different supervised datasets and returns the median accuracy. For the rest, as with the existing method, the proposed method searches neural architectures efficiently by limiting the architectures to be actually trained only to those estimated to show high inference accuracy by Bayesian optimization. Experimental results show that the proposed method increased Spearman’s rank correlation coefficient between an estimated ranking and the true ranking of inference accuracy for 100 neural architectures from 0.772 to 0.829. This indicates that the proposed method is useful for precisely estimating the inference accuracy of neural architectures.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10505667
• 書誌情報: 研究報告数理モデル化と問題解決（MPS）; 巻 2022-MPS-138, 号 3, p. 1-8, 発行日 2022-06-20
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8833
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会