Vision Transformerから畳み込みニューラルネットワークへの知識蒸留手法の提案

• Item type: SIG Technical Reports(1)
• 公開日: 2024-09-19
• タイトル: Vision Transformerから畳み込みニューラルネットワークへの知識蒸留手法の提案
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 機械学習・知識蒸留手法
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学大学院工学系研究科
• 著者所属: 東京大学大学院工学系研究科
• 著者所属: 東京大学大学院工学系研究科
• 著者名: 前羽, 利治; 河野, 慎; 松尾, 豊
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Vision Transformer (ViT) は畳み込みニューラルネットワーク (CNN) に比べ，高いパフォーマンスを発揮するが，学習や推論にかかる計算コストが大きい．一方，CNN は軽量・低コストであるため，コンピュータビジョンタスクで広く使われている．このため，知識蒸留により，ViT の性能を CNN に転移することは有用であるが，異なる構造のモデル間の知識蒸留は既存の手法では効果が低いことが知られている．改善のため，Attention 機構を模した変換を導入することで最先端の性能を実現する手法が提案されているが，既存手法に比べて複雑な操作を必要とするため，再現や利活用が難しい．そこで本研究においては，ViT と CNN が持つ特徴に注目することで，異なる構造のモデル間の知識蒸留を行うための指針を示し，PyTorch ライブラリで実装可能な中間層の出力に 2 次元フーリエ変換を施した知識蒸留手法を提案する．実験を通じて，Attention 機構を模した変換を用いる手法に効果は劣るものの，それ以外の既存手法より効果が高く，エッジ機器で使われる MobileNet にも効果があることを示す．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12628327
• 書誌情報: 研究報告コンシューマ・デバイス＆システム（CDS）; 巻 2024-CDS-41, 号 4, p. 1-7, 発行日 2024-09-19
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8604
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会