CNNの学習過程における概念獲得について

• Item type: SIG Technical Reports(1)
• 公開日: 2024-11-22
• タイトル: CNNの学習過程における概念獲得について
• タイトル / 言語: en
• タイトル: Concept acquisition in the CNN learning process
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京電機大学
• 著者所属: 東京電機大学
• 著者所属: 東京電機大学
• 著者所属: 東京電機大学
• 著者所属(英): en
• 著者所属(英): Tokyo Denki University
• 著者所属(英): en
• 著者所属(英): Tokyo Denki University
• 著者所属(英): en
• 著者所属(英): Tokyo Denki University
• 著者所属(英): en
• 著者所属(英): Tokyo Denki University
• 著者名: 岩瀬, 俊; 平本, 麗弥; 小林, 慧音; 前田, 英作
• 著者名(英): Shun, Iwase; Reiya, Hiramoto; Keito, Kobayashi; Eisaku, Maeda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 深層学習が示す高い汎化性能の根本的理由は未解明であるが，近年報告された二重降下（DD）や grokking などの現象と汎化との関係が関心を集めている．我々は以前，CNN の shape/texture bias（STB）の時間変化が DD 生起条件下における汎化性能の変化と同期することを発見した．しかし，形状とテクスチャの概念はデータセットから帰納的に定義されており，CNN がどのようにこれらを学習するかの分析が困難であった．本研究では明確な「数字」と「色」の 2 つの概念に着目し，EMNIST Digits に 10 クラスの色情報を付加し，100 クラスの分類タスクを設計した．DD 生起条件であるラベルノイズ付加下で，CNN の学習過程を分析し，ラベルノイズ有無サンプルに対する性能の変化を異なる容量の CNN で観察した．その結果，概念獲得の難易度により学習タイミングが異なること，異なる概念学習間に相互作用があることを明らかにした．これらの結果は深層学習における画像概念の学習過程の理解につながるとともに，こうした分析手法は画像以外のタスクにも適用可能であり，深層学習全般の原理解明にもつながると期待される．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: While the fundamental reason for deep learning’s high generalization performance remains unclear, phenomena like double descent (DD) and grokking have gained attention. We designed a 100-class classification task by adding color information to EMNIST Digits to analyze how CNNs learn distinct concepts of ”numbers” and ”colors.” Under label noise conditions that trigger DD, we observed learning processes across CNNs of different capacities. Results revealed that concept acquisition timing varies by difficulty and concepts interact during learning. This approach provides insights into deep learning mechanisms and can be applied to non-image tasks.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2024-CVIM-239, 号 12, p. 1-6, 発行日 2024-11-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会