レプリカ交換モンテカルロ法を用いたMixture of Expertsモデルにおけるベイズ推論

• Item type: Trans(1)
• 公開日: 2019-12-23
• タイトル: レプリカ交換モンテカルロ法を用いたMixture of Expertsモデルにおけるベイズ推論
• タイトル / 言語: en
• タイトル: Bayesian Inference for Mixture of Experts Using Replica Exchange Monte Carlo Method
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [オリジナル論文] ベイズ推論，Mixture of Experts，正規化ガウス関数ネットワーク，レプリカ交換モンテカルロ法，特異モデル
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 東京大学大学院新領域創成科学研究科
• 著者所属: 国立研究開発法人産業技術総合研究所，人工知能研究センター/JSTさきがけ
• 著者所属: 東京大学大学院新領域創成科学研究科
• 著者所属: 東京大学大学院新領域創成科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Frontier Science, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology/JST PRESTO
• 著者所属(英): en
• 著者所属(英): Graduate School of Frontier Science, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Graduate School of Frontier Science, The University of Tokyo
• 著者名: 松平, 京介; 永田, 賢二; 本武, 陽一; 岡田, 真人
• 著者名(英): Kyosuke, Matsudaira; Kenji, Nagata; Yoh-ichi, Mototake; Masato, Okada
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文での目的は，レプリカ交換モンテカルロ法（REMC法）を利用することで，Mixture of Experts（ME）モデルにおけるベイズ推論を実現し，事後分布を可視化することで，MEモデルの特異構造を評価することである．MEモデルは，多層ニューラルネットワークモデルや混合ガウスモデル，隠れマルコフモデルなどと同じく，特異モデルと呼ばれるモデルに属し，特異モデルにおいては，ベイズ推定が最尤推定に比べて推定精度の観点で優れていると考えられている．これまで，MEモデルにおけるベイズ推論では，主に変分ベイズ法による推定が行われてきたが，計算の都合上，近似事後分布をガウス分布に近似する方法や，ラベルと入力データの生成過程を強引に変更する方法などが提案されている．本論文では，REMC法を利用することで，MEモデルの1種として知られる正規化ガウス関数ネットワーク（NGnet）に対して近似を用いることなくベイズ推論を実現し，数値シミュレーションを通じて事後分布の可視化やモデル選択の振舞いを見ることでNGnetの性質を明らかにする．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The purpose of this paper is to realize the Bayesian inference for Mixture of Experts (ME) with replica exchange Monte Carlo (REMC) method, and to evaluate the singular structure of ME by analyzing posterior distribution through numerical simulation. ME belongs to the singular statistical model such as the multilayer neural network, the mixture of Gaussian model, the hidden Markov model and so on. In the singular statistical model, The Bayesian estimation is superior to the Maximum likelihood method from the viewpoint of generalization performance. Variational Bayes method has been mainly used for estimation of ME. To avoid the difficulty of analytical treatment, one previous research proposed the method to approximate posterior distribution to Gaussian distribution, and another study forcefully changed the generation process of label and input data. In this paper, we realize the Bayesian inference without approximation for Normalized Gaussian network(NGnet) which is one type of ME by using REMC, and we investigated the property of NGnet by analyzing the result of model selection and posterior distributions.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464803
• 書誌情報: 情報処理学会論文誌数理モデル化と応用（TOM）; 巻 12, 号 3, p. 37-45, 発行日 2019-12-23
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7780
• 出版者 / 言語: ja
• 出版者: 情報処理学会