べき乗活性化関数を持つ擬残差ニューラルネットワークによる多項式近似について

• Item type: SIG Technical Reports(1)
• 公開日: 2020-11-18
• タイトル: べき乗活性化関数を持つ擬残差ニューラルネットワークによる多項式近似について
• タイトル / 言語: en
• タイトル: On an approximating polynomials by a Pseudo Residual Neural Network with a Power Activation Function
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 湘南工科大学
• 著者所属: 湘南工科大学
• 著者所属: 湘南工科大学
• 著者所属(英): en
• 著者所属(英): Shonan Institute of Technology
• 著者所属(英): en
• 著者所属(英): Shonan Institute of Technology
• 著者所属(英): en
• 著者所属(英): Shonan Institute of Technology
• 著者名: 小澤, 和也; 磯貝, 海斗; 岡崎, 秀晃
• 著者名(英): Kazuya, Ozawa; Kaito, Isogai; Hideaki, Okazaki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ReLUs 関数を持つディープニューラルネットワークの一連の成功以来，ReLUs 関数や Rectified power units (RePUs) を有するニューラルネットワークによる多くの近似が注目を集めてきた．さらに深層の Residual network は Identity mappings を skip connections とその後の加え合わせを活性化関数として用いることで優れた学習精度と収束特性をもつ非常に深層なアーキテクチャの一つとして登場している．本論文では power units（PU）をもつ NN と ReLUs をもつ NN の出力の差を別の NN の入力として与え，その出力に skip connection を用いて PU の出力を加えることで pseudo residual network (PResN) モデルを構築し，PResN による多項式の近似について議論する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Since a series of successes of Deep neural networks (DNNs) with rectified linear units (ReLUs), many approximations by NNs with ReLUs, or rectified power units (RePUs) have been focused on. Further deep residual networks have emerged as a family of extremely deep architectures showing compelling accuracy and nice convergence behaviors, when using identity mappings as the skip connections and after-addition activation. In this paper, approximating polynomials by a pseudo residual network (PResN) such as a NN with power units (PUs) – a NN with ReLUs + another NN with ReLUs when using identity mappings as the skip connections of the former NN with PUs and after-addition activation, is discussed.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN1009593X
• 書誌情報: 研究報告アルゴリズム（AL）; 巻 2020-AL-180, 号 16, p. 1-5, 発行日 2020-11-18
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8566
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会