フィルターが小さい深層CNNの最適近似レート

• Item type: SIG Technical Reports(1)
• 公開日: 2023-02-23
• タイトル: フィルターが小さい深層CNNの最適近似レート
• タイトル / 言語: en
• タイトル: Optimal Approximation Rate of Deep CNNs with Small Filter Size
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学総合文化研究科
• 著者所属: 東京大学総合文化研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Arts and Science, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Graduate School of Arts and Science, The University of Tokyo
• 著者名: 佐藤, 佑真; 今泉, 允聡
• 著者名(英): Yuma, Sato; Masaaki, Imaizumi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 畳み込みニューラルネットワークは，最も幅広く使われる基礎的なニューラルネットワークの一つである．ここで用いられるフィルターは，画像の多様な特徴量構造を抽出するために，さまざまな大きさのものが用いられる．この論文では，可能な限り小さくしたフィルターの元での畳み込みニューラルネットワークの近似能力を調べた．具体的には，フィルターが 2 × 2 の大きさであっても，十分に深い畳み込みニューラルネットワークは普遍近似性を持つことを示した．加えて，チャンネル数 O(???? log ????) と深さ O(???? log ????) を持つ畳み込みニューラルネットワークの近似誤差は，???? 回微分可能な関数に対して O(????−2????/????????2 ????−2????/????????2 ) となることを示し，さらにこれは最適な近似レートであることを示した．これらの結果は，小さなフィルターを持つ CNN への変換定理に基づく．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Convolutional neural networks (CNNs) are one of the most widely used basic neural networks. Filters of CNNs have various sizes to extract various features of images. In this study, the approximation ability of CNNs under the smallest possible filters is investigated. Specifically, we showed that a sufficiently deep convolutional neural network has the universal approximation property even when the filter is 2 × 2 in size. In addition, we showed that the approximation error of a con- volutional neural network with a number of channels O(???? log ????) and depth O(???? log ????) is O(????−2????/???????? ????−2????/???????? ) for ???? times differentiable functions, and further that this is the optimal approximation rate. These results are based on our convert theorem to CNNs with small filters.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2023-CVIM-233, 号 29, p. 1-5, 発行日 2023-02-23
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会