マルチタスク学習とタスク特化型大規模言語モデルを併用した関係抽出

• Item type: SIG Technical Reports(1)
• 公開日: 2024-09-04
• タイトル: マルチタスク学習とタスク特化型大規模言語モデルを併用した関係抽出
• タイトル / 言語: en
• タイトル: Relation extraction using a combination of multi-task learning and task-specific large language models
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 4C
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 京都産業大学大学院先端情報学研究科
• 著者所属: 京都産業大学大学院先端情報学研究科
• 著者所属(英): en
• 著者所属(英): Division of Frontier Informatics, Graduate School of Kyoto Sangyo University
• 著者名: 林, 知司; 宮森, 恒
• 著者名(英): Tomokazu, Hayashi; Hisashi, Miyamori
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: テキストからエンティティ間の関係を抽出する関係抽出は，知識グラフの構築や様々なイベントの問題点や対処法の発見につながるため重要である．従来研究では，固有表現認識と関係抽出のタスクをマルチタスク学習で実現する手法が提案されており，それまでの既存手法より高い性能を示している．しかし，この手法は，共有層とタスク固有の層の個数の均衡に影響される課題があり，関係抽出タスクでは必ずしも十分な性能を示せていない．そこで，本稿では，大規模言語モデルがもつ優れた表現に着目し，タスク特化型の大規模言語モデルの最終隠れ層を，マルチタスク学習の共有層に連結する関係抽出手法を提案する．実験では，固有表現認識に特化したモデルを併用してマルチタスク学習を行う手法，タスク特化型大規模言語モデルを用いた手法との性能を比較することにより，提案手法の有用性を検証する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Relation extraction, which extracts relations between entities from text, is important because it leads to the construction of knowledge graphs and the discovery of problems and solutions to various events. Previous research has proposed a method that performs the tasks of entity recognition and relation extraction using multitask learning, and it has shown higher performance than existing methods. However, this method is affected by the equilibrium between the number of shared layers and task-specific layers, and does not necessarily show sufficient performance in the relation extraction task. In this paper, we propose a relation extraction method that connects the final hidden layer of a task-specific large language model to the shared layer of multi-task learning, focusing on the superiority of expressions in large language models. In experiments, we verify the usefulness of the proposed method by comparing its performance with that of a multitask learning method using a model specialized for recognition of unique expressions in combination with a method using a task-specific large language model.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10112482
• 書誌情報: 研究報告データベースシステム（DBS）; 巻 2024-DBS-179, 号 23, p. 1-6, 発行日 2024-09-04
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-871X
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会