プライバシーポリシーに対するユーザの理解度測定のための大規模言語モデル評価

• Item type: Symposium(1)
• 公開日: 2024-10-15
• タイトル / 言語: ja
• タイトル: プライバシーポリシーに対するユーザの理解度測定のための大規模言語モデル評価
• タイトル / 言語: en
• タイトル: Evaluating Large Language Models to Measure User Understanding of Privacy Policies
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: デロイト トーマツ サイバー合同会社／早稲田大学
• 著者所属: デロイト トーマツ サイバー合同会社
• 著者所属: デロイト トーマツ サイバー合同会社
• 著者所属: デロイト トーマツ サイバー合同会社
• 著者所属: デロイト トーマツ サイバー合同会社
• 著者所属: デロイト トーマツ サイバー合同会社
• 著者所属: 早稲田大学／NICT／理研AIP
• 著者所属(英): en
• 著者所属(英): Deloitte Tohmatsu Cyber LLC / Waseda University
• 著者所属(英): en
• 著者所属(英): Deloitte Tohmatsu Cyber LLC
• 著者所属(英): en
• 著者所属(英): Deloitte Tohmatsu Cyber LLC
• 著者所属(英): en
• 著者所属(英): Deloitte Tohmatsu Cyber LLC
• 著者所属(英): en
• 著者所属(英): Deloitte Tohmatsu Cyber LLC
• 著者所属(英): en
• 著者所属(英): Deloitte Tohmatsu Cyber LLC
• 著者所属(英): en
• 著者所属(英): Waseda University / NICT / RIKEN AIP
• 著者名: 森, 啓華; 伊藤, 大貴; 福永, 拓海; 渡邉, 卓弥; 高田, 雄太; 神薗, 雅紀; 森, 達哉
• 著者名(英): Keika, Mori; Daiki, Ito; Takumi, Fukunaga; Takuya, Watanabe; Yuta, Takata; Masaki, Kamizono; Tatsuya, Mori
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 企業組織は，個人情報保護法に対応し，透明性を向上させるためにプライバシーポリシーを公表している．プライバシー情報の取り扱いとユーザ認識との間に齟齬があった場合，信頼の低下や法律違反のリスクがあるため，ユーザの理解度を測定しながらプライバシーポリシーを作成することが肝要である．しかし，ユーザスタディによってプライバシーポリシーを逐一評価するためには，大きな金銭的および時間的なコストを要する．本研究は，ユーザのプライバシーポリシーに対する理解度の評価を，LLMで代替可能であるかを検証する．理解を妨げる11種類の要素を含むプライバシーポリシーを作成し，理解度を測る設問に対するユーザとLLMの解釈を比較した．その結果，ユーザとLLMの正答率はそれぞれ平均63.0%と85.2%で，LLMが誤回答した設問はユーザも誤回答していたため，ユーザが誤解しやすい記述をLLMが検知できることが示された．また，専門用語を含むプライバシーポリシーでは，LLMだけが理解し，ユーザは理解できない傾向があった．ユーザとLLMのプライバシーポリシー理解におけるギャップを特定し，評価の自動化に向けた指針を示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Companies publish privacy policies to improve transparency regarding the handling of personal information. When there is a discrepancy between the description of the privacy policy and the user's understanding, it will lead to a risk of decreasing in trust. Therefore, it is essential to create a privacy policy while evaluating the user's understanding. However, periodically evaluating privacy policies through user studies requires financial and time costs. In this study, we examined whether user studies can be replaced by evaluation using LLMs. We prepared obfuscated privacy policies and questions to measure their understanding. As a result, we found that the average correct answer rates by users and LLMs were 63.0% and 85.2%, respectively. The questions that LLMs answered incorrectly were also answered incorrectly by users. We identified the gap between users' and LLMs' understanding and provided a direction for automated evaluation of privacy policies using LLMs.
• 書誌情報: コンピュータセキュリティシンポジウム2024論文集; p. 571-578, 発行日 2024-10-15
• 出版者 / 言語: ja
• 出版者: 情報処理学会