2024-03-28T19:33:01Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:001424852023-04-27T10:00:04Z01164:05352:08218:08281
MDL理論によるlassoのリスク上界Risk Bound of Lasso Based on MDL Theoryjpnhttp://id.nii.ac.jp/1001/00142421/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=142485&item_no=1&attribute_id=1&file_no=1Copyright (c) 2015 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.九州大学大学院システム情報科学研究院九州大学大学院システム生命科学府九州大学大学院システム情報科学研究院川喜田, 雅則豊暉原, 侑心竹内, 純一無作為計画線形回帰問題における lasso の情報理論的リスク上界を導出する.罰則付き最尤推定は二段階符号化の手続きと解釈することができて,その二段階符号の冗長度によりリスクが上から押さえられることが知られている.しかしこのテクニックを使うためにはパラメータ空間の量子化が必要であった.この量子化を避けるために Barron らはリスク妥当性という新しい概念を導入し,固定計画線形回帰問題において lasso の冗長度リスク上界を導出した.しかし汎化誤差を評価するためには固定計画では十分ではなく,無作為計画で議論する必要がある.無作為計画の場合に Barron らの理論を適用することは固定計画のときより遥かに難しい.そこで我々は最初の一歩として共変量が正規分布に従う場合について lasso の冗長度リスク上界の導出を試みた.結果的に固定計画のときの上界と大きくは変わらない上界を導くことに成功した.また損失関数が確率的に二段階符号のリグレットにより押さえられることも示した.さらに数値実験によりリグレット上界の振る舞いも例証した.We derive a risk bound of lasso in random design linear regression. Past works of MDL principle revealed that penalized maximum likelihood methods can be interpreted as a two stage coding procedure and have a redundancy risk bound. Barron et. al. derived a risk bound of lasso in fixed design linear regression by extending those past works. To assess the generalization error, however, we need to consider the random design setting, which is much more difficult. We give a risk bound (and a regret bound) of lasso in random design cases under normality of covariates as a first step.AA12055912研究報告バイオ情報学(BIO)2015-BIO-4216172015-06-162188-85902015-06-12