大規模言語モデルが有する自己選好バイアスの実態調査

• Item type: Symposium(1)
• 公開日: 2024-10-15
• タイトル / 言語: ja
• タイトル: 大規模言語モデルが有する自己選好バイアスの実態調査
• タイトル / 言語: en
• タイトル: Exploring Self-Preference Bias in Large Language Models
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 大規模言語モデル, 対話, バイアス
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: SB Intuitions株式会社
• 著者所属: SB Intuitions株式会社
• 著者所属: SB Intuitions株式会社
• 著者所属(英): en
• 著者所属(英): SB Intuitions Corp.
• 著者所属(英): en
• 著者所属(英): SB Intuitions Corp.
• 著者所属(英): en
• 著者所属(英): SB Intuitions Corp.
• 著者名: 綿岡, 晃輝; 髙橋, 翼; 李, 凌寒
• 著者名(英): Koki, Wataoka; Tsubasa, Takahashi; Ryokan, Ri
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 対話型アシスタントの応答の品質の評価において，多大なコストを要する人手の評価の代替として，GPT-4 等のLLM を用いた自動評価が採用されている．一方，近年の研究では，LLM は自身が好む応答を過大評価する「自己選好バイアス」を有することが報告されている．しかしながら，様々なLLM がどのような自己選好バイアスを有するかの実態は明らかではなく，比較する尺度も不足している． 本研究では，8種類のLLM に対してどの程度の自己選好バイアスを有するかを調査する．さらに，自己選好バイアスを既存の公平性の文脈で議論を可能とするため，公平性の概念を自己選好バイアスに拡張した新たな2 つの定量尺度を提案する．計測の結果，両指標において特にGPT-4 が顕著なバイアスを示すことが確認された．これはすなわち，GPT-4 による自動評価は，GPT-4 に特有のスタイルやポリシーの影響を強く受けることへの懸念を示唆している．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In the evaluation of response quality for conversational assistants, automated assessments using large language models (LLMs) such as GPT-4 have been increasingly adopted as an alternative to costly human evaluations. However, recent studies have identified a self-preference bias within LLMs, where models tend to overrate responses that align with their own preferences. Despite these findings, the extent and nature of this bias across different LLMs remain unclear, and there is a lack of standardized measures for comparison. This study investigates the degree of self-preference bias across eight distinct LLMs. Additionally, to facilitate discussions of self-preference bias within the broader context of fairness, we propose two novel quantitative metrics that extend existing fairness concepts. Our measurements reveal a pronounced bias in GPT-4 across both proposed metrics, suggesting that automated evaluations conducted by GPT-4 are heavily influenced by its unique stylistic and policy tendencies.
• 書誌情報: コンピュータセキュリティシンポジウム2024論文集; p. 214-221, 発行日 2024-10-15
• 出版者 / 言語: ja
• 出版者: 情報処理学会