構文情報を陽に与えたときのLSTMによる内部表現について

• Item type: SIG Technical Reports(1)
• 公開日: 2018-09-18
• タイトル: 構文情報を陽に与えたときのLSTMによる内部表現について
• タイトル / 言語: en
• タイトル: Toward Understanding of How LSTMs Internally Represent Syntactic Information
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 深層学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工科大学大学院バイオ・情報メディア研究科
• 著者所属: デンソーアイティーラボラトリ
• 著者所属: 統計数理研究所数理・推論研究系
• 著者名: 岡本, 千尋; 内海, 慶; 持橋, 大地
• 著者名(英): Chihiro, Okamoto; Kei, Uchiumi; Daichi, Mochihashi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 長短期記憶リカレントニューラルネット (LSTM) は，構文情報に代表されるような文中の有用な長期依存関係を捉えることにより，高精度な言語モデルを学習することができることが知られている．しかし逆に，一般的にどの程度構文情報を学習できているのかや，どのように構文情報がベクトルとして RNN 内に表現されるかについては，まだ十分に研究されていないのが現状である．そこで，我々はその初歩として，英語における句構造をあらわす構文木を線形化し文として与えて学習させたときに，RNN 内で構文情報がどのようにエンコードされるかについて詳細に分析した．その結果，L₁ 正則化を用いることで，例えば RNN 内の内部ベクトルのうち少数の要素の値が VP，NP など句構造の各タグごとのネストの深さと非常に高い相関を持つこと，および，同じく少数の要素の値から，VP，NP などの句の内外にいることを高精度で線形分離できること，などがわかった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Long Short-Term Memory recurrent neural networks (LSTMs) are known to be able to capture informative long-term dependencies in a sentence such as syntactic information, and to learn highly accurate language models. However, it is not yet sufficiently studied to what extent syntax information can be learned and how it is represented in the hidden vectors of RNNs. We analyze how it is represented in the context vectors of LSTMs from sentences in which syntactic information is explicitly given. The syntax trees representing phrase structures in English are linearized and fed as sentences to LSTMs for learning. We show empirically that for some element in the context vector, the activation value is highly correlated with the nest depth of the tagged phrase structures such as VP and NP. It also shown that the linear sums of a few elements in the context vector are extremely highly correlated with the nest depths of the tagged phrase structures. In addition, using logistic regression with L₁ regularization, it is able to predict with extremely high accuracy whether a word in a sentence is inside or outside a phrase such as VP or NP, from a small number of elements in the context vector.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2018-NL-237, 号 8, p. 1-8, 発行日 2018-09-18
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会