2026-03-14T20:55:15Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00233327 2025-01-19T10:07:58Z 1164:2836:11471:11524

プロンプトを利用したAI生成文章に対する尤度を用いたZero-shot検知器の実験的評価 Empirical Evaluation of a Likelihood-based Zero-shot Detector for AI-generated Text Using Prompts 田口, 魁人 顧, 玉杰 櫻井, 幸一 秘密計算・NFT・AI 近年大規模言語モデル (Large Language Models: LLM) の発展が著しい．実用的なアプリケーションも多く登場している一方で，悪用が懸念されている．例えば，LLM を用いたフェイクニュース生成や剽窃などが考えられる．与えられた文章を人間生成か AI 生成か判断する検知器はこうした悪用に対する防御策の一つである．DetectGPT をはじめとする訓練データを必要としない Zero-shot 検知器は有力なアプローチの一つであり，多くの手法が尤度に基づいたスコアを利用して検知を行っている．しかし，チャット系のアプリケーションに見られるように，我々はプロンプトを入力としてその出力文章のみを利用している．出力文章のみを利用する場合，生成したときと検知するときで尤度に差分が生まれると考えられる．複数の研究でその事実が指摘されながらもプロンプトの有無により検知精度にどの程度差が出るか検証されていないのが現状である．本研究では，プロンプトの有無による検知精度の差を検証可能な評価手法を提案する．AI 生成文章の検知において，検知器側がプロンプトを知っている white-box 検知とそうでない black-box 検知で検知精度の評価を行い，プロンプトによる検知精度への影響を実験的に示す．結果として，プロンプトが存在しない場合検証したすべての手法において AUC が少なくとも 0.1 低下することが分かった． technical report 情報処理学会 2024-03-11 application/pdf 研究報告マルチメディア通信と分散処理（DPS） 43 2024-DPS-198 1 7 2188-8906 AN10116224 https://ipsj.ixsq.nii.ac.jp/record/233327/files/IPSJ-DPS24198043.pdf jpn