大規模言語モデルに適した容認性判断手法の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2024-06-21
• タイトル: 大規模言語モデルに適した容認性判断手法の検討
• タイトル / 言語: en
• タイトル: Investigating Acceptability Judgment Methods Suitable for Large Language Models
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: LLM応用
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者名: 井手, 佑翼; 西田, 悠人; 大羽, 未悠; 坂井, 優介; Justin, Vasselli; 上垣外, 英剛; 渡辺, 太郎
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ミニマルペアにより構成されるデータセットを用いた容認性判断は，言語モデルの文法知識の評価等に有用である．この評価が妥当であるためには，容認性判断手法が，言語モデルの性能を最大限引き出すものであることが望ましい．しかし，既存の容認性判断研究の多くは，判断対象文の確率に基づく単純な判断手法を検証するに留まっているため，言語モデルの容認性判断性能を最もよく引き出す方法が何であるか明らかでない．そこで本研究では，判断対象文をテンプレートに挿入する新しい確率ベースの判断手法を提案し，これを従来の確率ベース手法やプロンプティングと詳しく比較する．6 つの大規模言語モデルを用いた実験により，提案手法が，従来の確率ベース手法より優れていることを示す．続いて，提案手法とプロンプティングの比較から，全体としては提案手法がやや優れる傾向にあること，文法現象別に見ると両手法で得意とする現象が異なることを示す．最後に，両手法を組み合わせた多数決アンサンブルにより，それぞれの手法単体を上回る性能が実現できることを示す．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2024-NL-260, 号 6, p. 1-8, 発行日 2024-06-21
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会