古典的なニューラルネットワークの問題点と加算型及び結合型ショートカットによる改善

• Item type: SIG Technical Reports(1)
• 公開日: 2019-06-10
• タイトル: 古典的なニューラルネットワークの問題点と加算型及び結合型ショートカットによる改善
• タイトル / 言語: en
• タイトル: Additive or Concatenating Skip-connections Overcome the Degradation Problem of the Classic Feedforward Neural Network
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 奈良先端科学技術大学院大学情報科学領域
• 著者所属: 奈良先端科学技術大学院大学情報科学領域
• 著者所属(英): en
• 著者所属(英): Information Science, Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Information Science, Nara Institute of Science and Technology
• 著者名: 古庄, 泰隆; 池田, 和司
• 著者名(英): Yasutaka, Furusho; Kazushi, Ikeda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 多層パーセプトロン(MLP)などの古典的なニューラルネットワークは層を積み上げ過ぎると訓練誤差ですら悪化する問題がある． この問題を解決するために加算型ショートカットを持つResNetや結合型ショートカットを持つDenseNetが提案されたこれらのショートカットは膨大な数の層を持つニューラルネットワークの学習を可能にする． しかしながらその理由や各ショートカットの違いが性能に及ぼす影響は明らかでない．DNNの性能は最後の隠れ層の特徴ベクトルのクラス間距離とクラス内距離の比率が大きいほど高くなる．そこで本研究では重みがランダムなMLP,ResNet,DenseNetの層を経る毎の上記の距離の変化について解析し次の結果を示した.MLPは特にクラス間距離を減少し距離の比率を悪化させてしまう問題点がある．一方で二つのショートカットはこの問題点を緩和し距離の比率を改善する.層の数が多い場合は特に結合型ショートカットが有効である．またMLPは特徴ベクトル間の角度が層の数に対して指数的に減少するが,加算型ショートカットを加えることで劣指数的な減少へ抑えられ,結合型ショートカットを加えることで逆数的な減少へと抑えられる． これに加えて我々は学習による距離の変化についても解析し,初期化時点で入力ベクトル間の角度を高い層でも保持する性質が学習後のDNNでの距離の比率を向上することを示した．つまり二つのショートカットは学習後のDNNの距離の比率も改善する．数値実験も上記の理論的結果と一致することを確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The classic feedforward neural networks like the multilayer perceptron (MLP) degrades its empirical risk by training even though it stacks more layers. To overcome this problem, the ResNet which has additive skip­ connections and the DenseNet which has concatenating skip-connections were proposed. These skip-connections enable an extreme deep neural network (DNN) to be trained with high performance. However, the reasons for these successes and when to prefer the one skip-connection to the other are unclear. A large ratio of the between-class distance to the within-class distance of feature vectors at the last hidden layer induces a high performance. Thus, we analyzed the change of these distances through hidden layers of the randomly initialized MLP, the ResNet, and the DenseNet. Our results show that the MLP strongly decreases the between-class·distance compared with the within-class distance and that both skip-connections relax this decrease of the between-class angle and improve the ratio of the distances. In particular, the concatenating skip-connection is more preferable to the additive skip-con­ nection if a DNN is extremely deep. Moreover, the additive skip-connection relax the exponential decrease of the angle into the sub-exponential decrease and the concatenating skip-connection relax this decrease into the recipro­ cal decrease. We also analyzed the effects of training on the distances and show that the preservation of the angle through layers at initialization encourages trained neural networks to increase the ratio of the distances. Therefore, both skip-connections induce high performance.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10505667
• 書誌情報: 研究報告数理モデル化と問題解決（MPS）; 巻 2019-MPS-123, 号 27, p. 1-6, 発行日 2019-06-10
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8833
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会