多様なプロンプトを用いた言語モデルの多角的な知識評価

• Item type: SIG Technical Reports(1)
• 公開日: 2024-03-03
• タイトル: 多様なプロンプトを用いた言語モデルの多角的な知識評価
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 言語モデル
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学生産技術研究所
• 著者所属: 東京大学生産技術研究所
• 著者名: 趙, 信; 吉永, 直樹; 大葉, 大輔
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 言語モデルが学習データから獲得した関係知識の量を評価をするために，関係知識を表現する穴埋め文（プロンプト）を用いた評価手法が広く用いられている．しかしながら，この評価手法では，評価に用いるプロンプトの言語表現によって評価結果が大きく変動することが知られており，異なる言語モデルの有する関係知識の量を適切に評価することが難しい．そこで本稿では，言語モデルの関係知識をより公平かつ多角的な観点から評価するため，多様なプロンプトに基づく評価データセット MyriadLAMA と，このデータセットを活用した関係知識評価手法 BELIEF を提案する．MyriadLAMA は，既存の関係知識評価データセットである LAMA-UHN の各プロンプトに対し，構文的・意味的に多様なプロンプトを人手と大規模言語モデル (GPT-4) を用いて半自動で大量に生成したものである．BELIEF は，この多数のプロンプトを用いることで，関係知識評価におけるプロンプトバイアスの影響を低減すると共に，知識の一貫性と信頼性の観点も含めた多角的な関係知識の評価を実現する．実験では，複数の事前学習済みモデルの関係知識評価を通して，提案手法の有効性を確認する．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2024-NL-259, 号 20, p. 1-10, 発行日 2024-03-03
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会