@techreport{oai:ipsj.ixsq.nii.ac.jp:00234917,
 author = {種田, 祥吾 and 山内, ゆかり and Shogo, Taneda and Yukari, Yamauchi},
 issue = {30},
 month = {Jun},
 note = {Deep Learning のアーキテクチャは与えられた空間的位置と異なる空間的位置に関係する層で構成されている．Ilya らは位置と空間情報の 2 種類に関して MLP を適用し，畳み込み処理を使用しない MLP-Mixer を提案した．種田らは MLP の隠れ層において，正則化により結合強度がほぼ０になる重要度の低いノードを，他に付加し融合する Node Fusion を提案した．本研究では MLP-Mixer における Mixer Layer 内の 2 種類の MLP に対して L1 正則化を導入し，重要度の低くなったノードを Node Fusion で他のノードと融合する．Node Fusion を組み込むことで，計算量の削減しながら精度の維持を目指す．, Deep learning architectures are composed of layers that relate to given spatial positions and different spatial positions. Ilya et al. proposed MLP-Mixer, which applies MLPs to two types of information: positional and spatial, without using convolutional processing. Taneda et al. proposed Node Fusion, which adds and merges less important nodes with near-zero connection strengths due to regularization in the hidden layers of MLPs. In this study, we introduce L1 regularization to the two types of MLPs within the Mixer Layer of the MLP-Mixer and merge the less important nodes with other nodes using Node Fusion. By incorporating Node Fusion, we aim to reduce the computational load while maintaining accuracy.},
 title = {MLP-MixerにおけるNode Fusionの提案},
 year = {2024}
}