WEKO3
アイテム
宝くじ仮説を用いた継続学習における破滅的忘却の抑制
https://ipsj.ixsq.nii.ac.jp/records/217841
https://ipsj.ixsq.nii.ac.jp/records/21784186f10f1d-2998-440b-9012-3416d84eaac9
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-CVIM22230028.pdf (906.2 kB)
|
Copyright (c) 2022 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-05-05 | |||||||||||
| タイトル | ||||||||||||
| タイトル | 宝くじ仮説を用いた継続学習における破滅的忘却の抑制 | |||||||||||
| タイトル | ||||||||||||
| 言語 | en | |||||||||||
| タイトル | Lottery Ticket Hypothesis for Overcoming Forgetting on continual Learning | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | 卒論スポットライトセッション | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 現在，大阪公立大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 現在，大阪公立大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 現在，大阪公立大学 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Presently with Osaka Metropolitan University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Presently with Osaka Metropolitan University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Presently with Osaka Metropolitan University | ||||||||||||
| 著者名 |
城居, 巧
× 城居, 巧
× 岩村, 雅一
× 黄瀬, 浩一
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 継続学習では，識別器が複数のタスクを順に学習する．識別器にニューラルネットワークを用いる場合には，学習を重ねる度に先に学習したタスクの知識が失われる破滅的忘却が起こる．それを軽減する従来手法が提案されているが，タスクが多い場合は精度が著しく低下する．これは従来手法ではパラメータが不足するためと考えられる．本稿では，宝くじ仮説を用いることで使用するパラメータを削減する．宝くじ仮説により，従来手法の破滅的忘却を抑制する効果を維持しつつ，タスクが多い場合に精度が著しく低下する問題を改善する．50 個のタスクの継続学習の実験で，提案手法は従来手法 HAT の精度を最大 14.70% 改善することを確認した． | |||||||||||
| 論文抄録(英) | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | Catastrophic forgetting occurs when a neural network loses the information learned in a previous task after training on subsequent tasks. Conventional methods have been proposed to mitigate catastrophic forgetting, but their effectiveness is significantly reduced when the number of tasks is large. In this paper, we improve this problem by using The Lottery Ticket Hypothesis. We show the proposed method improves the accuracy of the conventional method HAT by 14.70% with experiments on continuous learning of 50 tasks. | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AA11131797 | |||||||||||
| 書誌情報 |
研究報告コンピュータビジョンとイメージメディア（CVIM） 巻 2022-CVIM-230, 号 28, p. 1-8, 発行日 2022-05-05 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8701 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
