未知の知識に対する事前学習済み言語モデルが持つ推論能力の調査

• Item type: SIG Technical Reports(1)
• 公開日: 2023-08-25
• タイトル: 未知の知識に対する事前学習済み言語モデルが持つ推論能力の調査
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 深層学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 北海道大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Hokkaido University
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者名: 坂井, 優介; 上垣外, 英剛; 林, 克彦; 渡辺, 太郎
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 事前学習済み言語モデル (PLM) は事前学習時に獲得した言語理解能力や知識によって，既知の事象に対して推論を行うことができる一方，未知の事象に対しては PLM の推論能力のみで解を導き出す必要がある．しかし言語モデルの推論能力のみを評価するには，PLM が事前学習時に記憶した知識と獲得した推論能力を完全に切り分けた分析が必要となり，既存のデータセットで測定するのは，事前学習時の記憶が作用してしまうため困難である．本研究では PLM の推論能力の分析に，知識グラフ上の既知の関係から欠損している未知の関係を予測するタスクである知識グラフ補完 (KGC) を対象とする．KGC において埋め込みに基づく従来手法は推論のみから欠損箇所を予測する一方，近年利用されている PLM を用いた手法では事前学習時に記憶したエンティティに関する知識も利用している．そのため KGC は記憶した知識の利用と推論による解決との両側面を有することから，PLM が記憶する知識の影響を測るのに適したタスクである．我々は KGC に対し知識と推論による性能向上を切り分けて測定するための評価方法及びそのためのデータ構築手法を提案する．本研究では PLM が事前学習時にエンティティに関する知識の記憶により推論を行っている箇所を明らかにし，PLM に備わっている未知の事象に対する推論能力も同時に学習していることを示唆する結果が得られた．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2023-NL-257, 号 4, p. 1-14, 発行日 2023-08-25
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会