単語の連接情報を利用した単純再帰結合型ネットワークの拡張

• Item type: SIG Technical Reports(1)
• 公開日: 2006-09-13
• タイトル: 単語の連接情報を利用した単純再帰結合型ネットワークの拡張
• タイトル / 言語: en
• タイトル: Extended simple recurrent networks by using bigram
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 慶應義塾大学理工学部管理工学科
• 著者所属(英): en
• 著者所属(英): Yoshihisa Shinozawa
• 著者名: 篠沢佳久
• 著者名(英): Department, ofAdministrationEngineering,FacultyofScienceandTechnology,KeioUniversity
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究においては単純再帰結合型ネットワーク（エルマンネット）を拡張した語系列予測モデルを提案する．エルマンは言語の獲得過程のモデルとして単純再帰結合型ネットワークを提案した．これは文章を単語単位に区切り，現時点の単語のみを提示し，次単語を予測する学習（語系列予測課題学習）をエルマンネットで行なうことによって文法特徴を獲得できる可能性を示した．エルマンネットによる文法や語彙の獲得の学習は文法規則に制約を設けた人工文を対象とし，特に含まれる単語数についてはその個数も限定されている．そこで本研究においてはエルマンネットを拡張し，新たな単語を追加学習する際，局所的な構造の変更および学習で済む語系列予測モデルを提案する．これは単一のエルマンネットの機能を複数個のネットワークを用いて分散処理を行ない，ネットワークの入出力を単語の連接情報（バイグラム）を用いて制限した上で，ネットワークの内部構造を局所結合化することによって蓄積される単語の履歴情報と文脈情報を区分し，新たな単語が表出するたびにネットワークを逐次増やしながら学習することによって実現を試みる．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We propose a model of word sequence prediction by improving simple recurrent networks. Elman proposed simple recurrent network which is a model of language acquisition. Elman showed that SRN learns to predict the next word of the sentences and can acquire grammatical concepts and meanings. We think that it is difficult for SRN to learn the sentences which contain a number of words, especially to learn new words. We improve SRN and propose a model of word sequence prediction which learns new words additionally. We propose how to learn to predict the next words by distributed networks. Our model adds new network as new word appears. The structure of our model is decided by using bigram and a network has local connections to learn word and grammatical feature.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10114171
• 書誌情報: 情報処理学会研究報告情報学基礎（FI）; 巻 2006, 号 94(2006-FI-084), p. 79-84, 発行日 2006-09-13
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会