生成型大規模言語モデルを用いた意味フレーム推定

• Item type: SIG Technical Reports(1)
• 公開日: 2024-08-27
• タイトル: 生成型大規模言語モデルを用いた意味フレーム推定
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: LLM応用・言語解析
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 株式会社PKSHA Technology
• 著者所属: 名古屋大学／株式会社サイバーエージェント
• 著者所属: 名古屋大学／理化学研究所
• 著者所属: 国立情報学研究所
• 著者名: 矢野, 千紘; 山田, 康輔; 笹野, 遼平; 武田, 浩一
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 動詞の意味フレーム推定において，BERT などの Transfomer に基づくエンコーダベースの事前学習済み言語モデルから獲得した文脈化単語埋め込みを用いる手法が提案されている．しかし，下流タスクでの性能向上が著しいデコーダベースの生成型言語モデルは利用されてこなかった．本研究では，大規模な生成型言語モデルからフレーム埋め込み表現を獲得し，動詞の意味フレーム推定を行う手法を提案する．提案手法では，フレーム喚起語と喚起語が含まれるテキストが与えられた場合に，その語が喚起するフレーム名を次単語として予測するような prompt を生成型言語モデルに与え，prompt の末尾の埋め込みをフレーム埋め込みとして獲得し，得られた埋め込みをクラスタリングすることで意味フレーム推定を行う．さらに，FrameNet および日本語フレームネットを用いた実験を行い，深層距離学習による fine-tuning や文脈内学習を行うことで，既存のエンコーダベースのモデルに基づく手法より高い性能を達成できることを示す．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2024-NL-261, 号 14, p. 1-7, 発行日 2024-08-27
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会