解答固有のソースコード片に着目したプログラミング試験解答からの盗用検出手法の提案

• Item type: SIG Technical Reports(1)
• 公開日: 2021-02-22
• タイトル: 解答固有のソースコード片に着目したプログラミング試験解答からの盗用検出手法の提案
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: プログラムの類似性
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 株式会社ギブリー
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Givery, Inc.
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者名: 砂田, 翼; 石尾, 隆; 新田, 章太; 松本, 健一
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ソフトウェア開発者の採用活動において，志望者の技術力を評価するためにプログラミング試験を実施する企業が増加している．遠隔にいる志望者に対してオンラインで実施するプログラミング試験では，志望者が他者の解答をそのまま，あるいは改変して提出する盗用行為が対面での試験よりも容易であり，志望者の技術力を正しく評価できないリスクがある．そのため，提出された多数の解答から互いに類似しているソースコードの組を盗用の可能性ありとして検出する手法が求められており，従来より，最長共通部分列の計算などの類似度計算の手法が盗用検出として活用されている．本研究では，そのような類似度の 1 つである N-gram の Jaccard 係数に加えて，少数の解答にのみ出現する N-gram に重みを付けたコサイン類似度を組み合わせて，ソースコードが類似しているだけでなく，それらの解答にのみ固有の表現が類似しているような解答者の組を，盗用の可能性が高いものとして抽出する手法を提案する．提案手法の性能を評価するために，公開データセット SOCO を用いた実験を行った．その結果，提案手法は既存ツール JPlag と比較して F-measure，Averege Presicion の 2 つの評価指標で既存ツールよりも高い性能を達成した．また，ある企業の採用試験のデータセットに対して提案手法を適用した結果，企業の担当者が解答時間に基づいて疑わしいと考えた受験者の 42% は提案手法の結果と一致したほか，解答時間だけでは見逃していたと考えられる事例を検出できることを確認した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10112981
• 書誌情報: 研究報告ソフトウェア工学（SE）; 巻 2021-SE-207, 号 7, p. 1-8, 発行日 2021-02-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8825
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会