プロンプトを利用したAI生成文章に対する尤度を用いたZero-shot検知器の実験的評価

• Item type: SIG Technical Reports(1)
• 公開日: 2024-03-11
• タイトル: プロンプトを利用したAI生成文章に対する尤度を用いたZero-shot検知器の実験的評価
• タイトル / 言語: en
• タイトル: Empirical Evaluation of a Likelihood-based Zero-shot Detector for AI-generated Text Using Prompts
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 秘密計算・NFT・AI
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 九州大学大学院システム情報科学府
• 著者所属: 現在，九州大学大学院システム情報科学研究院
• 著者所属: 現在，九州大学大学院システム情報科学研究院
• 著者所属(英): en
• 著者所属(英): Graduate School and Faculty of Information Science and Electrical Engineering
• 著者所属(英): en
• 著者所属(英): Presently with Graduate School and Faculty of Information Science and Electrical Engineering
• 著者所属(英): en
• 著者所属(英): Presently with Graduate School and Faculty of Information Science and Electrical Engineering
• 著者名: 田口, 魁人; 顧, 玉杰; 櫻井, 幸一
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年大規模言語モデル (Large Language Models: LLM) の発展が著しい．実用的なアプリケーションも多く登場している一方で，悪用が懸念されている．例えば，LLM を用いたフェイクニュース生成や剽窃などが考えられる．与えられた文章を人間生成か AI 生成か判断する検知器はこうした悪用に対する防御策の一つである．DetectGPT をはじめとする訓練データを必要としない Zero-shot 検知器は有力なアプローチの一つであり，多くの手法が尤度に基づいたスコアを利用して検知を行っている．しかし，チャット系のアプリケーションに見られるように，我々はプロンプトを入力としてその出力文章のみを利用している．出力文章のみを利用する場合，生成したときと検知するときで尤度に差分が生まれると考えられる．複数の研究でその事実が指摘されながらもプロンプトの有無により検知精度にどの程度差が出るか検証されていないのが現状である．本研究では，プロンプトの有無による検知精度の差を検証可能な評価手法を提案する．AI 生成文章の検知において，検知器側がプロンプトを知っている white-box 検知とそうでない black-box 検知で検知精度の評価を行い，プロンプトによる検知精度への影響を実験的に示す．結果として，プロンプトが存在しない場合検証したすべての手法において AUC が少なくとも 0.1 低下することが分かった．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10116224
• 書誌情報: 研究報告マルチメディア通信と分散処理（DPS）; 巻 2024-DPS-198, 号 43, p. 1-7, 発行日 2024-03-11
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8906
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会