ニューロンの出力に基づくニューラルネットワークの構造学習

• Item type: SIG Technical Reports(1)
• 公開日: 2018-09-13
• タイトル: ニューロンの出力に基づくニューラルネットワークの構造学習
• タイトル / 言語: en
• タイトル: Structural Learning of Neural Network based on Outputs of Neurons
• 言語: eng
• キーワード / 主題Scheme: Other
• キーワード / 主題: ディスカッションセッション1
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 和歌山大学システム工学部
• 著者所属: 和歌山大学システム工学部
• 著者所属: 和歌山大学システム工学部
• 著者所属(英): en
• 著者所属(英): Faculty of Systems Engineering, Wakayama University
• 著者所属(英): en
• 著者所属(英): Faculty of Systems Engineering, Wakayama University
• 著者所属(英): en
• 著者所属(英): Faculty of Systems Engineering, Wakayama University
• 著者名: 菅間, 幸司; 磯田, 雄基; 和田, 俊和
• 著者名(英): Koji, Kamma; Yuki, Isoda; Toshikazu, Wada
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿では DNNの 軽量化のための手法を提案する．提案手法は，ニューロンをその出力値により特徴づける Neuro-Coding と，ふるまいが似たニューロンを探して統合する Neuro-Unification の 2 手法で構成される．従来手法である Pruning では，ニューロンや重みを取り除くだけであるが，本手法の場合は取り除かれたニューロンのふるまいが別のニューロンによって代替されるため，推論精度への影響を抑えつつパラメータを減らすことができる．そのため従来法と比べて再学習の手間が省けるという利点がある．また，従来法の多くでは軽量化後のネットワーク構造を事前に手動で決める必要があったが，本手法では初期構造から適切な構造を自動的に模索できる可能性があり，構造学習手法としての価値も期待される．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper presents a method of compaction on DNNs. Our method includes two steps, 1) Neuro-Coding : to feature the neuron behaviors by their outputs, and 2) Neuro-Unification : to unify the neurons which behave similarly. While the existing pruning methods just remove the neurons or the weights, our method let another neuron succeed the behavior of the removed one. Therefore, our method can reduce the parameters while the sacrifice of inference accuracy stays small. Moreover, many of the existing methods require people to manually determine the network structure after compaction, but our method can explore for an adequate structure automatically. Thus, our method could be valuable as a structural learning method.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2018-CVIM-213, 号 5, p. 1-6, 発行日 2018-09-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会