2026-06-16T09:20:30Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00235097 2025-01-19T09:36:45Z 1164:4179:11560:11676

大規模言語モデルに適した容認性判断手法の検討 Investigating Acceptability Judgment Methods Suitable for Large Language Models 井手, 佑翼 西田, 悠人 大羽, 未悠 坂井, 優介 Justin, Vasselli 上垣外, 英剛 渡辺, 太郎 LLM応用 ミニマルペアにより構成されるデータセットを用いた容認性判断は，言語モデルの文法知識の評価等に有用である．この評価が妥当であるためには，容認性判断手法が，言語モデルの性能を最大限引き出すものであることが望ましい．しかし，既存の容認性判断研究の多くは，判断対象文の確率に基づく単純な判断手法を検証するに留まっているため，言語モデルの容認性判断性能を最もよく引き出す方法が何であるか明らかでない．そこで本研究では，判断対象文をテンプレートに挿入する新しい確率ベースの判断手法を提案し，これを従来の確率ベース手法やプロンプティングと詳しく比較する．6 つの大規模言語モデルを用いた実験により，提案手法が，従来の確率ベース手法より優れていることを示す．続いて，提案手法とプロンプティングの比較から，全体としては提案手法がやや優れる傾向にあること，文法現象別に見ると両手法で得意とする現象が異なることを示す．最後に，両手法を組み合わせた多数決アンサンブルにより，それぞれの手法単体を上回る性能が実現できることを示す． technical report 情報処理学会 2024-06-21 application/pdf 研究報告自然言語処理（NL） 6 2024-NL-260 1 8 2188-8779 AN10115061 https://ipsj.ixsq.nii.ac.jp/record/235097/files/IPSJ-NL24260006.pdf jpn