MLP-MixerにおけるNode Fusionの提案

• Item type: SIG Technical Reports(1)
• 公開日: 2024-06-13
• タイトル: MLP-MixerにおけるNode Fusionの提案
• タイトル / 言語: en
• タイトル: Proposal of Node Fusion in MLP-Mixer
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ニューロコンピューティング1
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 日本大学大学院生産工学研究科
• 著者所属: 日本大学生産工学部
• 著者所属(英): en
• 著者所属(英): Graduate School of Industrial Engineering, Nihon University
• 著者所属(英): en
• 著者所属(英): College of Industrial Technology, Nihon University
• 著者名: 種田, 祥吾; 山内, ゆかり
• 著者名(英): Shogo, Taneda; Yukari, Yamauchi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Deep Learning のアーキテクチャは与えられた空間的位置と異なる空間的位置に関係する層で構成されている．Ilya らは位置と空間情報の 2 種類に関して MLP を適用し，畳み込み処理を使用しない MLP-Mixer を提案した．種田らは MLP の隠れ層において，正則化により結合強度がほぼ０になる重要度の低いノードを，他に付加し融合する Node Fusion を提案した．本研究では MLP-Mixer における Mixer Layer 内の 2 種類の MLP に対して L1 正則化を導入し，重要度の低くなったノードを Node Fusion で他のノードと融合する．Node Fusion を組み込むことで，計算量の削減しながら精度の維持を目指す．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Deep learning architectures are composed of layers that relate to given spatial positions and different spatial positions. Ilya et al. proposed MLP-Mixer, which applies MLPs to two types of information: positional and spatial, without using convolutional processing. Taneda et al. proposed Node Fusion, which adds and merges less important nodes with near-zero connection strengths due to regularization in the hidden layers of MLPs. In this study, we introduce L1 regularization to the two types of MLPs within the Mixer Layer of the MLP-Mixer and merge the less important nodes with other nodes using Node Fusion. By incorporating Node Fusion, we aim to reduce the computational load while maintaining accuracy.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12055912
• 書誌情報: 研究報告バイオ情報学（BIO）; 巻 2024-BIO-78, 号 30, p. 1-4, 発行日 2024-06-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8590
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会