否定理解能力を評価するための日本語言語推論データセットJNLI-Neg

• Item type: Journal(1)
• 公開日: 2025-12-15
• タイトル / 言語: ja
• タイトル: 否定理解能力を評価するための日本語言語推論データセットJNLI-Neg
• タイトル / 言語: en
• タイトル: JNLI-Neg: Japanese Natural Language Inference Dataset for Probing Negation Understanding
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [一般論文（テクニカルノート）] 否定，自然言語推論，データセット，言語モデルの評価
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/0002006342
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 名古屋大学大学院情報学研究科／現在，BIPROGY株式会社
• 著者所属: 名古屋大学情報連携推進本部
• 著者所属: 名古屋市立大学大学院データサイエンス研究科
• 著者所属: 名古屋大学大学院情報学研究科／名古屋大学情報連携推進本部
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Nagoya University / Presently with BIPROGY Inc.
• 著者所属(英): en
• 著者所属(英): Information & Communications, Nagoya University
• 著者所属(英): en
• 著者所属(英): Graduate School of Data Science, Nagoya City University
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Nagoya University / Information & Communications, Nagoya University
• 著者名: 吉田,朝飛; 加藤,芳秀; 小川,泰弘; 松原,茂樹
• 著者名(英): Asahi Yoshida; Yoshihide Kato; Yasuhiro Ogawa; Shigeki Matsubara
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 言語モデルが否定を理解する能力を評価するための様々な英語データセットが構築されているが，日本語においては，そのようなデータセットを構築する取り組みは限られている．本研究では，否定理解能力を評価するための日本語言語推論データセットJNLI-Negを構築する．さらにJNLI-Negを用いて既存の言語モデルを評価し，それらの否定理解能力の現状と課題を明らかにする．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Many English datasets have been constructed to evaluate the capability of language models to understand negation. However, such efforts remain limited in Japanese. This paper introduces JNLI-Neg, a Japanese natural language inference dataset designed to probe negation understanding of language models. Using JNLI-Neg, we evaluated various language models, revealing the current capabilities and limitations in negation understanding.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 66, 号 12, p. 1853-1860, 発行日 2025-12-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764
• 公開者 / 言語: ja
• 公開者 / 出版者: 情報処理学会