オンラインユーザ調査における参加者の注意力と回答内容の分析

• Item type: SIG Technical Reports(1)
• 公開日: 2021-02-22
• タイトル: オンラインユーザ調査における参加者の注意力と回答内容の分析
• タイトル / 言語: en
• タイトル: An analysis of participants' attention and response in online user surveys
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: SPT
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 早稲田大学
• 著者所属: NTTセキュアプラットフォーム研究所
• 著者所属: NTTセキュアプラットフォーム研究所
• 著者所属: 早稲田大学／情報通信研究機構／理化学研究所革新知能統合研究センター
• 著者所属(英): en
• 著者所属(英): Waseda University
• 著者所属(英): en
• 著者所属(英): NTT Secure Platform Laboratories
• 著者所属(英): en
• 著者所属(英): NTT Secure Platform Laboratories
• 著者所属(英): en
• 著者所属(英): Waseda University / NICT / RIKEN AIP
• 著者名: 松浦, 天我; 長谷川, 彩子; 秋山, 満昭; 森, 達哉
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 人間の認識や行動の理解を目的とする学術研究において，より効率的な回答の収集が期待できる手法として，クラウドソーシングサービスを用いたオンラインユーザ調査が広く行われている．オンラインユーザ調査では，多数の作業をこなすクラウドワーカーによる不誠実・不注意な回答や，ボットによる回答が含まれるリスクがあるため，このような不良回答を除去するための手法がいくつか提案されている．しかし，セキュリティ研究，特に，参加者の注意深さが結果に影響すると考えられるフィッシング研究においては，安直な不良回答除去の適用により，本来研究対象とすべき参加者の除去に繋がる可能性がある．そこで本研究では，「既存の不良回答除去手法を適用することにより，セキュリティ研究のアンケート結果に偏りは生じ得るか？」という研究的問いに取り組む．300 名の参加者を対象としてフィッシングメールの特定を題材としたユーザ調査を実施した結果，不誠実な参加者が全体の 40% を占めること，回答完了時間および自由記述式質問による不良回答除去には一定の効果があること，フィッシングに関するユーザ調査において安直な IMC の適用は研究結果に偏りを生じさせる原因となり得ることを明らかにした．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In the academic research projects that aim to understand human perception and behavior, online user studies using crowdsourcing services have been widely used as a means to collect many responses efficiently. Since there is a risk that online user surveys may include dishonest or careless responses by crowd workers who perform a large number of tasks, or responses by bots, several methods have been proposed to eliminate such faulty responses. However, in security research, especially in phishing research where the attentiveness of the participants is considered to affect the results, the removal of faulty responses may lead to the removal of participants who should be included in the research. In this study, we address the following research question: “Does the adoption of existing faulty answer removal methods bias the results of security research questionnaires? An online user study of 300 participants on the subject of phishing email identification revealed that dishonest participants accounted for 40% of the total participants, that faulty answer removal using response completion time and open-ended questions was effective in extracting meaningful responses, and that in a user study on phishing, a careless adoption of the instructional manipulation check (IMC) can lead to biased results.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12628305
• 書誌情報: 研究報告セキュリティ心理学とトラスト（SPT）; 巻 2021-SPT-41, 号 42, p. 1-8, 発行日 2021-02-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8671
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会