単語の係り受けと視覚情報を考慮した文の言い換え識別に関する一検討

• Item type: SIG Technical Reports(1)
• 公開日: 2024-08-27
• タイトル: 単語の係り受けと視覚情報を考慮した文の言い換え識別に関する一検討
• タイトル / 言語: en
• タイトル: Paraphrase identification of sentences considering word dependency and visual information
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: LLM応用・言語解析
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 熊本大学大学院自然科学教育部
• 著者所属: 熊本大学大学院先端科学研究部
• 著者所属: 熊本大学大学院先端科学研究部
• 著者所属(英): en
• 著者所属(英): Kumamoto Uniersity Graduate School of Science and Technology
• 著者所属(英): en
• 著者所属(英): Kumamoto Uniersity Faculty of Advanced Science and Technology
• 著者所属(英): en
• 著者所属(英): Kumamoto Uniersity Faculty of Advanced Science and Technology
• 著者名: 田中, 大智; 木山, 真人; 尼﨑, 太樹
• 著者名(英): Daichi, Tanaka; Masato, Kiyama; Motoki, Amagasaki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 2 つの文の意味内容の比較において，文の組が同一または類似の意味を表すのか，それとも異なる意味を表すのかを識別するタスクは，言い換え識別タスクとして知られている．本研究では，言い換え識別タスクにおける識別性能向上を目標に，単語の係り受けと視覚情報を考慮した手法を提案する．この手法では，単語の入れ替えによる意味の変化と視覚的側面からの意味内容の変化の検出性能の向上が期待される．まず，spaCy によって得た単語の係り受け解析木と BERT から得られる埋め込み表現を RGCN へ入力するグラフとすることで，単語の係り受けを考慮した埋め込み表現を得る．並行して，対応する文と画像の埋め込み表現の類似度が最大化するように学習された CLIP からも埋め込み表現を得る．提案手法は RGCN と CLIP それぞれから得た埋め込み表現を基に文の言い換え識別を行うアプローチを取る．評価の結果，一部のベースラインモデルを上回る言い換え識別性能を示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The task of identifying whether a pair of sentences represents the same or similar meaning or a different meaning in a comparison of the semantic content of two sentences is known as a paraphrase identification task. In this paper, we propose a method that takes into account word dependency and visual information with the goal of improving identification performance in the paraphrase identification task. The proposed method is expected to improve the performance of detecting changes in meaning caused by word swapping and changes in semantic content from a visual aspect. First, word embeddings and dependency parse tree obtained by spaCy and BERT is used as the input graph to RGCN to obtain the embedding that takes into account word dependencies. In parallel, the embedding is obtained from text encoder of CLIP which is trained to maximize the similarity between the embedding of the corresponding sentence and image. The proposed method takes the approach of paraphrase identification based on embeddings obtained from both RGCN and CLIP. The evaluation results show that the proposed method outperforms some baseline methods in paraphrase identification.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2024-NL-261, 号 16, p. 1-6, 発行日 2024-08-27
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会