特徴の出現回数に応じた<i>L</i>₁正則化を実現する教師ありオンライン学習手法

• Item type: SIG Technical Reports(1)
• 公開日: 2011-02-28
• タイトル: 特徴の出現回数に応じた<i>L</i>₁正則化を実現する教師ありオンライン学習手法
• タイトル / 言語: en
• タイトル: <i>L</i>₁ regularized online supervised learning using feature frequency
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学
• 著者所属: 東京大学
• 著者所属: 東京大学
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者名: 大岩, 秀和; 松島, 慎; 中川, 裕志
• 著者名(英): Hidekazu, Oiwa; Shin, Matsushima; Hiroshi, Nakagawa
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: オンライン学習 （逐次学習) とは，訓練データを 1 つ受け取るたびに逐次的に学習を行う手法であり，大規模な訓練集合からの学習が効率化される．L1 正則化とは，学習上不要なパラメータを零化する手法で，学習の高速化やメモリ効率の改善が期待される．2009 年に提案された FOBOS7) は上記の二手法を組み合わせた，教師あり学習のための L1 正則化付きオンライン学習手法である．しかし FOBOS では，特徴の出現回数が不均一な訓練集合では，低頻度の特徴が排除されやすい性質を持つ．FOBOS では各特徴の出現頻度やパラメータの累積更新幅とは無関係に全特徴に共通の零化を施すためである．しかし既存の L1 正則化付きオンライン学習アルゴリズムでは，この性質は分析されてこなかった．本稿では，特徴の出現回数の情報を用いた L1 正則化を導入した教師あり学習のためのオンライン学習手法 (HF-FOBOS) を提案する．さらに，HF-FOBOS は既存手法と同様の計算コスト．収束速度でパラメータの累積更新幅に応じた L1 正則化を実現する学習手法である事を確認する．また，HF-FOBOS と FOBOS に対して実問題に基づく実験を行い，出現頻度を利用した L1 正則化が精度向上へ寄与することを示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Online learning is a method that updates parameters whenever it receives a single data. Online learning can learn efficiently from large data set. L1 regularization is used for inducing sparsity into parameters and exclude unnecessary parameters. FOBOS7) combines these two methods described above and presented a supervised online learning method with an efficient L1 regularization. FOBOS has the property the parameters of low frequency features are zeros in a heterogeneous data set. However, this property is not analyzed enough in the field of online learning. In this paper, we presented a new online supervised learning method with L1 regularization based on the number of occurrences of feature, named Heterogeneous Frequency FOBOS (HF-FOBOS). HF-FOBOS can solve optimization problems at same computational costs and convergence rate as FOBOS. Moreover, we examined the performance of our algorithms with classification tasks, and confirmed L1 regularization based on the frequency of features improve accuracy.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10505667
• 書誌情報: 研究報告数理モデル化と問題解決（MPS）; 巻 2011-MPS-82, 号 18, p. 1-6, 発行日 2011-02-28
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会