結合行列の対称性制御によるリカレントニューラルネットワークの構造最適化

• Item type: SIG Technical Reports(1)
• 公開日: 2022-06-20
• タイトル: 結合行列の対称性制御によるリカレントニューラルネットワークの構造最適化
• タイトル / 言語: en
• タイトル: Optimization of recurrent neural network structure by controlling symmetry of weight matrix
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東北大学大学院工学研究科／東北大学電気通信研究所
• 著者所属: 東北大学大学院工学研究科／東北大学電気通信研究所
• 著者所属: 東北大学電気通信研究所
• 著者所属: 筑波大学システム情報系
• 著者所属: 公立はこだて未来大学システム情報科学部
• 著者所属: 東北大学大学院工学研究科／東北大学電気通信研究所
• 著者所属(英): en
• 著者所属(英): School of Engineering, Tohoku University/Research Institute of Electrical Communication, Tohoku University
• 著者所属(英): en
• 著者所属(英): School of Engineering, Tohoku University/Research Institute of Electrical Communication, Tohoku University
• 著者所属(英): en
• 著者所属(英): Research Institute of Electrical Communication, Tohoku University
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Information and Systems, University of Tsukuba
• 著者所属(英): en
• 著者所属(英): School of Engineering, Tohoku University/Research Institute of Electrical Communication, Tohoku University
• 著者名: 藤本, ありさ; 山本, 英明; 守谷, 哲; 徳田, 慶太; 香取, 勇一; 佐藤, 茂雄
• 著者名(英): Arisa, Fujimoto; Hideaki, Yamamoto; Satoshi, Moriya; Keita, Tokuda; Yuichi, Katori; Shigeo, Sato
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では，レザバーコンピューティングにおいてレザバーとして用いるリカレントニューラルネットワーク (RNN) の構造をタスクに応じて最適化することを目的として，対称性を制御したガウシアンランダム行列における対称性の強さと出力性能の関係を調べた．性能評価は，手書き文字筆記のための時系列信号を出力するタスクを用いて行った．出力ターゲットの速さと対称性を操作したレザバーが生成するダイナミクスの速さを比較したところ，出力ターゲットに応じて適切な対称性が生まれることが分かった．この結果は，従来行われているスペクトル半径の調整に加えて，結合行列の対称性操作が高性能・高効率なレザバーの設計方法の 1 つとなる可能性を示唆している．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this study, we investigated the relationship between the strength of symmetry in a Gaussian random matrix of a recurrent neural network (RNN) and its reservoir computing performance for optimizing network topology of RNNs in reservoir computing models. The performance of the random network with various symmetry was evaluated based on a task that outputs time-series signals for writing handwritten digits. Matrix symmetry influenced the speed of the dynamics in the reservoir layer, and the highest performance was achieved when the speed of the target output was comparable to that of the network dynamics. This result suggests that, in addition to the conventional adjustment of the spectral radius, optimization of the matrix symmetry in the weight matrix could be used to efficiently improve the performance of reservoir networks.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12055912
• 書誌情報: 研究報告バイオ情報学（BIO）; 巻 2022-BIO-70, 号 41, p. 1-5, 発行日 2022-06-20
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8590
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会