階層コード表現学習による上位下位関係の識別

• Item type: Trans(1)
• 公開日: 2021-10-14
• タイトル: 階層コード表現学習による上位下位関係の識別
• タイトル / 言語: en
• タイトル: Learning Hierarchical Code Representation for Hypernymy Detection
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [研究論文] コード学習，表現学習，上位下位関係識別，Semantic Specialization，Order Embeddings
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 東京工業大学
• 著者所属: 東京工業大学
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology
• 著者名: 水木, 栄; 岡崎, 直観
• 著者名(英): Sakae, Mizuki; Naoaki, Okazaki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 単語を，意味的な上位下位関係を保ちながら離散コードで表すような表現学習は可能だろうか？具体的には，上位語と下位語は先頭桁が一致するようにしつつ，M進N桁のコードで表す単語埋め込みを獲得することは可能だろうか．もしもそのような表現が獲得できるならば，コードを比較するだけで単語間の上位下位関係が推論できるはずである．このような動機に基づき，本研究では，分散表現を階層性のあるコード表現に変換するアーキテクチャと，任意のコード対の包含関係を微分可能な形式で計量する計算方法を提案する．具体的には，語彙資源から得られる大量の上位下位語ペアを教師信号とすることにより，単語間の上位下位関係を考慮しつつ，単語分散表現を，連続緩和を適用したコード表現へ変換する統計モデルを学習する仕組みを提示する．提案手法により得られたコード表現を用いていくつかの上位下位識別タスクを解いたところ，上位下位関係の分類タスクにおいて，Semantic SpecializationやOrder Embeddingsに基づく既存手法を上回る性能を達成した．また提案手法の有効性分析を実施し，コード表現から元の分散表現を復元する補助タスクや，意味的類似性の高い非上位下位語ペアを負例に用いることが性能向上に寄与することを確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Is it possible to learn the word representations using taxonomically consistent discrete codes that reflects the hypernymy relation? Specifically, is it possible to represent any word as an M-ary N-digit code while the hypernym and hyponym share the first n digits? Once such a representation is learned, hypernymy relation detection can be done by simply comparing the codes of word pairs. Motivated by this concept, we propose an architecture for transforming distributed representations into hierarchical code representations and a differentiable metric that quantifies the degree of inclusion relation of an arbitrary pair of codes. Concretely, we present a methodology for training an encoder that transforms any word embeddings into the code representations with continuous relaxation while considering hypernymy relations among words using large-scale hypernym-hyponym word pairs extracted from the lexical resource as a supervision signal. Accordingly, we applied the learned hierarchical codes to solve the hypernymy relation detection tasks. As a result, we confirmed that the proposed method outperformed existing methods based on Semantic Specialization and Order Embeddings in the hypernymy classification tasks. We also conducted an ablation study and confirmed that the auxiliary task of reconstructing the input word embeddings from the codes and negative sampling using non-hypernymy but semantically similar word pairs contributed to the performance improvement.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464847
• 書誌情報: 情報処理学会論文誌データベース（TOD）; 巻 14, 号 4, p. 8-23, 発行日 2021-10-14
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7799
• 出版者 / 言語: ja
• 出版者: 情報処理学会