線型モデルから全結合型ニューラルネットワークに対する学習重みの知識転移

• Item type: SIG Technical Reports(1)
• 公開日: 2023-03-02
• タイトル: 線型モデルから全結合型ニューラルネットワークに対する学習重みの知識転移
• タイトル / 言語: en
• タイトル: Knowledge Transfer from Linear Model into Fully-connected Neural Network via the Trained weights
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 産業技術総合研究所人工知能研究センター
• 著者名: 鈴木, 藍雅
• 著者名(英): Aiga, Suzuki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 深層学習に用いられるほとんどの深層ニューラルネットワークモデルは，入力されたベクトル信号の Affine 変換によって異なるベクトル信号の中間表現に変換する，全結合層をその伝播規則に持つ．近年では画像認識の分野において Vision Transformer や MLP Mixer などに代表されるような，畳み込みによらず全結合層のみを用いて特徴表現の獲得を行うパッチベースのモデルが台頭していることからも，深層学習の文脈における全結合層の重要度は再び高まりつつある．本研究ではニューラルネットワークにおける全結合層のはたらきと，入力に対する線形変換によって推論を行う種々の線型モデルの間の類似性を元に，学習の容易な線型モデルで得られた重みをニューラルネットワークに転用し，その汎化性能を向上させる枠組みの提案を行う．実験では Affine 変換によるベクトル特徴の縮約モデルと，線型分類モデルを用いてニューラルネットワークの初期重みを決定することでその汎化性能が向上することを示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In deep learning, feed-forward deep neural networks often have an affine layer that maps a vector to another intermediate representation via an affine transformation of the input vector. Recently, in computer vision, convolution-free image recognition models such as Vision Transformer and MLP Mixer have emerged that use only affine transformations to obtain the feature representations of images. Thus, the importance of such fundamental affine layers grown again. This work provides a learning framework that transfers knowledge learned in linear models to affine-based neural networks. The concept is based on the theoretical similarity between the mapping mechanism of linear models and affine layers. In experiments, we demonstrate that the weight initialization from linear dimensionality reduction and linear classification model improves generalization performance of deep neural networks.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12055912
• 書誌情報: 研究報告バイオ情報学（BIO）; 巻 2023-BIO-73, 号 32, p. 1-6, 発行日 2023-03-02
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8590
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会