ダイバージェンスに基づくNMFを用いた転移学習

• Item type: SIG Technical Reports(1)
• 公開日: 2011-09-08
• タイトル: ダイバージェンスに基づくNMFを用いた転移学習
• タイトル / 言語: en
• タイトル: Topic Graph based Transfer Learning via generalized KL divergence based NMF
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 北海道大学工学部
• 著者所属: 北海道大学大学院情報科学研究科
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Hokkaido University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Hokkaido University
• 著者名: 木村, 圭吾; 吉田, 哲也
• 著者名(英): Keigo, Kimura; Tetsuya, Yoshida
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿では，トピックグラフに基づく転移学習法を拡張し，一般化 KL (Kullback-Leibler) ダイバージェンスに基づく NMF (Non-negative Matrix Factorization) を用いた転移学習法を提案する．ダイバージェンスを通じた転移学習の確率的な解釈を目指して，フロベニウスノルムに基いてトピックの関係 （トピックグラフ） を活用する転移学習法を拡張し，転移学習を一般化KLダイバージェンスに基づく最適化問題として定式化する．最適化規準に対する補助関数を定義し，補助関数から最適化アルゴリズムを導出し，その収束性を示す．提案法を文書クラスタリングに適用し，他手法との比較を通じて提案法の有効性を示す．特に，提案法による転移学習を通じてダイバージェンスを用いた場合でも精度向上を実現できることを示す．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We propose a topic graph based transfer learning method based on Non-negative Matrix Factorization (NMF) with generalized Kullback-Leibler (KL) divergence. In this paper we extend the previous NMF based transfer learning method by utilizing generalized KL divergence based NMF so that better probabilistic interpretation can be obtained with the divergence. The proposed method is formalized as the minimization of an objective function under the divergence, and an auxiliary function for the objective function is defined. From the auxiliary function, we derive a learning algorithm with multiplicative update rules, which are guaranteed to converge. The proposed method is evaluated in terms of document clustering over several well-known benchmark datasets. Especially, one drawback of generalized KL divergence based NMF algorithms is performance degradation compared with Frobenius based ones. The experimental results show that, by utilizing the topic graph, the proposed method enables to boost up the performance even with KL divergence based NMF through transfer learning.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10505667
• 書誌情報: 研究報告数理モデル化と問題解決（MPS）; 巻 2011-MPS-85, 号 3, p. 1-6, 発行日 2011-09-08
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会