日本語文書要約タスクにおけるHallucination検出手法の評価用データセットの構築

• Item type: SIG Technical Reports(1)
• 公開日: 2025-12-08
• タイトル / 言語: ja
• タイトル: 日本語文書要約タスクにおけるHallucination検出手法の評価用データセットの構築
• タイトル / 言語: en
• タイトル: Construction of an Evaluation Dataset for Hallucination Detection of Japanese Summarization Task
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: データベース（言語）
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 一橋大学
• 著者所属: 一橋大学
• 著者所属: 一橋大学
• 著者所属(英): en
• 著者所属(英): Hitotsubashi University
• 著者所属(英): en
• 著者所属(英): Hitotsubashi University
• 著者所属(英): en
• 著者所属(英): Hitotsubashi University
• 著者名: 田中,日加吏; 欅,惇志; 小町,守
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 大規模言語モデル（LLM）は流暢なテキストを生成できるが，生成されたテキストが入力コンテキストに基づかない内容を含む場合がある．これはhallucinationと呼ばれる現象であり，LLMの出力にhallucinationが含まれるかどうかを判定するhallucinationの自動検出が注目を集めている．hallucinationの自動検出を行うシステムの性能を測定するには，あらかじめhallucinationが含まれているかどうかが判定されているテキストを集めた評価用データセットが用いられている．こうしたデータセットは英語や中国語では構築されているが，日本語では十分に整備されていない．そこで本研究では，LLMが出力した要約文書に対して人手による文単位のアノテーションを行い，日本語要約におけるhallucination検出の性能評価のためのデータセットを構築した．本データセットでは，hallucinationの有無に加え，hallucinationの種類も付与も行った．このhallucinationの種類は，LLMの誤り方に応じて定義された分類を本研究で拡張したものである．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Large language models (LLMs) can generate fluent text, but the generated content may sometimes include information not grounded in the input context. This phenomenon is known as hallucination, and increasing attention has been paid to automatic hallucination detection, which detects whether an LLM' s output contains hallucinations. To evaluate the performance of such detection systems, researchers use evaluation datasets in which each text has been pre-labeled for the presence or absence of hallucinations. While such datasets have been developed for English and Chinese, Japanese resources remain limited. Therefore, in this study, we constructed an evaluation dataset for hallucination detection in Japanese summarization tasks by manually annotating LLM-generated summaries at the sentence level. In addition to labeling the presence or absence of hallucinations, our dataset also includes hallucination type labels. These type labels extend the classification scheme proposed in prior research and capture distinct patterns of model errors.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2025-NL-266, 号 15, p. 1-11, 発行日 2025-12-08
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会