スパースコーディングを用いた新生ニューロンをもつ連想記憶モデルの相互情報量による最適化と指数的忘却との比較

• Item type: Trans(1)
• 公開日: 2012-06-14
• タイトル: スパースコーディングを用いた新生ニューロンをもつ連想記憶モデルの相互情報量による最適化と指数的忘却との比較
• タイトル / 言語: en
• タイトル: Optimization of the Sparsely Encoded Associative Memory Model with Unit Replacement by the Mutual Information and Comparison with the Forgetting Model
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [オリジナル論文] 連想記憶モデル，スパースコーディング，相互情報量，最適化
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 岡山理科大学工学部
• 著者所属: 東京工業大学大学院総合理工学研究科
• 著者所属: 琉球大学工学部
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Okayama University of Science
• 著者所属(英): en
• 著者所属(英): Interdisciplinary Graduate School of Science and Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, University of the Ryukyus
• 著者名: 綴木, 馴; 宮田, 龍太; 倉田, 耕治
• 著者名(英): Jun, Tsuzurugi; Ryota, Miyata; Koji, Kurata
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 先行研究により，新生ニューロンをもつ連想記憶モデルはオーバロードを回避し，最近の記憶を安定して保持することが明らかになった．ただしスパースコーディングの場合，新生ニューロンをもつ連想記憶のネットワークが何をもって想起成功したか判断するのが先行研究では恣意的だった．近年，相互情報量により想起状態の質を測るのが最も良いことが分かってきた．本論文では，新生ニューロンをもつスパースな連想記憶モデルについて，相互情報量を用いて細胞新生数の最適化を行った．さらに比較のために，指数的忘却をもつスパースな連想記憶モデルにおける忘却係数の最適化についても，相互情報量を用いて行った．その結果，従来の想起性能評価である方向余弦とは異なる結果を得た．すなわち，新生ニューロンモデルの場合，相互情報量を最大化するのに最適な細胞新生数は，方向余弦の場合よりも小さい値になったのに対し，指数的忘却モデルの場合は，相互情報量を最大化するのに最適な減衰率が，方向余弦の場合よりも大きい値となった．また方向余弦基準の場合のように，相互情報量基準の場合は恣意的に決める必要がなくなった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: According to the previous researches, the associative memory model with unit replacement, in which a few old units are replaced with new ones at each learning step for embedding a new pattern, could avoid overloading. However, the previous researches decided whether the network could retrieve the stored pattern correctly in an arbitrary manner, in other words, the direction cosine between the memory pattern and the stationary state of the sparsely encoded network. Recently, it has been shown that the mutual information should be the most appropriate concept to measure the retrieval quality, especially for sparsely encoded networks but also in general. In this paper, from the view of information theory, we analyze the sparsely encoded associative memory model with unit replacement. We searched the optimal replacement number to maximize the mutual information of the sparsely encoded network by the numerical simulations. Moreover, for comparison, we also analyze the sparsely encoded associative memory model with the forgetting process, which also avoids overloading. We searched the optimal decay rate to maximize the mutual information at each firing rate by the numerical simulations. Using the mutual information, we obtain the different results of the optimal values from those using the direction cosine. In the case of the unit replacement model, the optimal number of replacement units to maximize the mutual information is smaller than that to maximize the storage capacity using the direction cosine. On the other hand, the optimal decay rate of the forgetting model to maximize the mutual information is larger than that to maximize the storage capacity using the direction cosine.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464803
• 書誌情報: 情報処理学会論文誌数理モデル化と応用（TOM）; 巻 5, 号 2, p. 49-55, 発行日 2012-06-14
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7780
• 出版者 / 言語: ja
• 出版者: 情報処理学会