WEKO3
アイテム
Bスプライン関数を用いた演算ノード柔軟化による学習済みニューラルネットの精度向上手法
https://ipsj.ixsq.nii.ac.jp/records/239727
https://ipsj.ixsq.nii.ac.jp/records/239727d346f06c-eaa3-4f2f-adba-3a870cf944cf
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-TOM1703003.pdf (1.0 MB)
2026年9月25日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, MPS:会員：¥0, DLIB:会員：¥0 | ||
| Item type | Trans(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-09-25 | |||||||||
| タイトル | ||||||||||
| タイトル | Bスプライン関数を用いた演算ノード柔軟化による学習済みニューラルネットの精度向上手法 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Improving Accuracy of Pre-trained Neural Networks by Making Computation Nodes More Flexible by B-spline Functions | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | [オリジナル論文] Bスプライン，ニューラルネットワーク，ファインチューニング，高精度化，軽量化 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||||
| 資源タイプ | journal article | |||||||||
| 著者所属 | ||||||||||
| 横浜国立大学大学院環境情報学府 | ||||||||||
| 著者所属 | ||||||||||
| 横浜国立大学大学院環境情報研究院 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Graduate School of Environment and Information Sciences, Yokohama National University | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Faculty of Environment and Information Sciences, Yokohama National University | ||||||||||
| 著者名 |
葛谷, 直規
× 葛谷, 直規
× 長尾, 智晴
|
|||||||||
| 著者名(英) |
Naoki, Kuzuya
× Naoki, Kuzuya
× Tomoharu, Nagao
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 近年，様々な分野でニューラルネットが用いられるようになっている．一方で，ニューラルネットの学習には多大な時間と計算リソース，そして高いスキルが必要となり，開発者の負担になっている．そのため，あらかじめ大規模データセットで学習された学習済みモデルの利用が広がっているが，それらのモデルが所望の精度を満たすとは限らない．そのような場合，さらに精度の良いモデルを探索する必要があり，煩雑で時間がかかる．そこで，一般的な学習済みネットワークのアーキテクチャはそのままに，演算ノードをより柔軟ではあるが機能的には等価なノードに置換し，再学習させることで精度向上を実現させる手法を提案する．具体的には，ネットワーク中の線形変換やRectified Linear Unit（ReLU）活性化関数を，それらの関数の上位集合であるBスプライン関数で置き換えて，再学習を行うことで精度向上させる手法を提案する．いくつかの分類問題で明らかな精度向上を確認した． | |||||||||
| 論文抄録(英) | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | In recent years, the use of neural networks has become popular in many fields. On the other hand, training neural networks requires a large amount of time, computational resources, and high skills, which places a burden on developers. For this reason, the use of pre-trained models trained in advance on large-scale datasets are widely used. However, the problem is that these models do not always meet the desired accuracy. In such cases, it is necessary to search for a better model, which is cumbersome and time-consuming. Therefore, we propose a method to improve accuracy by replacing the computation nodes of a pre-trained network with more flexible, but functionally equivalent nodes and re-training them, while maintaining the original network architecture. Specifically, we propose a method to improve accuracy by replacing linear transformations and Rectified Linear Unit (ReLU) activation functions with B-spline functions, which are a superset of these functions, and re-training them. We confirmed a significant improvement in accuracy for some classification tasks. | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AA11464803 | |||||||||
| 書誌情報 |
情報処理学会論文誌数理モデル化と応用（TOM） 巻 17, 号 3, p. 13-24, 発行日 2024-09-25 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 1882-7780 | |||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
