WEKO3
アイテム
プライバシーポリシーを適切に評価できるか-人間とLLMの評価性能の比較-
https://ipsj.ixsq.nii.ac.jp/records/2012138
https://ipsj.ixsq.nii.ac.jp/records/20121380e5e51af-2db0-4db3-bede-b3a3b031d5b4
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-MBL26120047.pdf (1.9 MB)
2028年9月22日からダウンロード可能です。
|
Copyright (c) 2026 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, MBL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2026-09-22 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | プライバシーポリシーを適切に評価できるか-人間とLLMの評価性能の比較- | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | LLM・生成AIの応用と評価 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 奈良先端科学技術大学院大学 | ||||||||||
| 著者所属 | ||||||||||
| 奈良先端科学技術大学院大学 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Nara Institute of Science and Technology | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Nara Institute of Science and Technology | ||||||||||
| 著者名 |
植田,雄士
× 植田,雄士
× 諏訪,博彦
|
|||||||||
| 著者名(英) |
Yuji Ueda
× Yuji Ueda
× Hirohiko Suwa
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | プライバシーポリシーを用いた意思決定には，記載内容を理解するだけでなく，複数の情報を一定の基準に基づいて統合し，その内容が十分であるかを評価することが求められる．しかし，評価基準を理解していても，それを長文のプライバシーポリシーに適用して適切に評価できるとは限らない．本研究では，評価観点に基づいて生成した架空のプライバシーポリシーを用い，一般ユーザーとLLMによる評価性能を比較した．その結果，LLMはすべての条件を正しく識別した一方，人間の正解率は低く，特に不十分な記述を高く評価する傾向がみられた．また，評価観点の理解度と正答率には有意な関連がみられなかった一方，平均回答時間が長い参加者ほど正答確率が高かった．これらの結果は，評価基準の理解と実際の評価能力との間に乖離が存在し，人間による評価には，分かりやすい手掛かりに依存するヒューリスティックな判断が影響している可能性を示している． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AA11851388 | |||||||||
| 書誌情報 |
研究報告モバイルコンピューティングと新社会システム（MBL） 巻 2026-MBL-120, 号 47, p. 1-8, 発行日 2026-09-22 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8817 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
