{"metadata":{"_oai":{"id":"oai:ipsj.ixsq.nii.ac.jp:02001804","sets":["1164:4061:11910:1745390455579"]},"path":["1745390455579"],"owner":"80578","recid":"2001804","title":["クラウドソーシングにおける対話型インタフェースを用いたアノテーションタスク遂行時の回答品質低下の検知手法"],"pubdate":{"attribute_name":"PubDate","attribute_value":"2025-05-08"},"_buckets":{"deposit":"4fe4869f-9b81-4b3d-b378-1e27337b86a3"},"_deposit":{"id":"2001804","pid":{"type":"depid","value":"2001804","revision_id":0},"owners":[80578],"status":"published","created_by":80578},"item_title":"クラウドソーシングにおける対話型インタフェースを用いたアノテーションタスク遂行時の回答品質低下の検知手法","author_link":[],"item_titles":{"attribute_name":"タイトル","attribute_value_mlt":[{"subitem_title":"クラウドソーシングにおける対話型インタフェースを用いたアノテーションタスク遂行時の回答品質低下の検知手法","subitem_title_language":"ja"}]},"item_keyword":{"attribute_name":"キーワード","attribute_value_mlt":[{"subitem_subject":"インタラクション","subitem_subject_scheme":"Other"}]},"item_type_id":"4","publish_date":"2025-05-08","item_4_text_3":{"attribute_name":"著者所属","attribute_value_mlt":[{"subitem_text_value":"奈良先端科学技術大学院大学"},{"subitem_text_value":"岡山大学／理化学研究所"},{"subitem_text_value":"奈良先端科学技術大学院大学"},{"subitem_text_value":"奈良先端科学技術大学院大学／理化学研究所"},{"subitem_text_value":"奈良先端科学技術大学院大学／理化学研究所"}]},"item_4_text_4":{"attribute_name":"著者所属(英)","attribute_value_mlt":[{"subitem_text_value":"Nara Institute of Science and Technology","subitem_text_language":"en"},{"subitem_text_value":"Okayama University / RIKEN AIP","subitem_text_language":"en"},{"subitem_text_value":"Nara Institute of Science and Technology","subitem_text_language":"en"},{"subitem_text_value":"Nara Institute of Science and Technology / RIKEN AIP","subitem_text_language":"en"},{"subitem_text_value":"Nara Institute of Science and Technology / RIKEN AIP","subitem_text_language":"en"}]},"item_language":{"attribute_name":"言語","attribute_value_mlt":[{"subitem_language":"jpn"}]},"item_publisher":{"attribute_name":"出版者","attribute_value_mlt":[{"subitem_publisher":"情報処理学会","subitem_publisher_language":"ja"}]},"publish_status":"0","weko_shared_id":-1,"item_file_price":{"attribute_name":"Billing file","attribute_type":"file","attribute_value_mlt":[{"url":{"url":"https://ipsj.ixsq.nii.ac.jp/record/2001804/files/IPSJ-UBI25086009.pdf","label":"IPSJ-UBI25086009.pdf"},"date":[{"dateType":"Available","dateValue":"2027-05-08"}],"format":"application/pdf","billing":["billing_file"],"filename":"IPSJ-UBI25086009.pdf","filesize":[{"value":"2.4 MB"}],"mimetype":"application/pdf","priceinfo":[{"tax":["include_tax"],"price":"660","billingrole":"5"},{"tax":["include_tax"],"price":"330","billingrole":"6"},{"tax":["include_tax"],"price":"0","billingrole":"36"},{"tax":["include_tax"],"price":"0","billingrole":"44"}],"accessrole":"open_date","version_id":"246cb102-db2e-4849-af2f-7a1dcfd9d0c9","displaytype":"detail","licensetype":"license_note","license_note":"Copyright (c) 2025 by the Information Processing Society of Japan"}]},"item_4_creator_5":{"attribute_name":"著者名","attribute_type":"creator","attribute_value_mlt":[{"creatorNames":[{"creatorName":"平良,繁幸"}]},{"creatorNames":[{"creatorName":"松田,裕貴"}]},{"creatorNames":[{"creatorName":"福光,嘉伸"}]},{"creatorNames":[{"creatorName":"諏訪,博彦"}]},{"creatorNames":[{"creatorName":"安本,慶一"}]}]},"item_4_source_id_9":{"attribute_name":"書誌レコードID","attribute_value_mlt":[{"subitem_source_identifier":"AA11838947","subitem_source_identifier_type":"NCID"}]},"item_4_textarea_12":{"attribute_name":"Notice","attribute_value_mlt":[{"subitem_textarea_value":"SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc."}]},"item_resource_type":{"attribute_name":"資源タイプ","attribute_value_mlt":[{"resourceuri":"http://purl.org/coar/resource_type/c_18gh","resourcetype":"technical report"}]},"item_4_source_id_11":{"attribute_name":"ISSN","attribute_value_mlt":[{"subitem_source_identifier":"2188-8698","subitem_source_identifier_type":"ISSN"}]},"item_4_description_7":{"attribute_name":"論文抄録","attribute_value_mlt":[{"subitem_description":"クラウドソーシングベースのアノテーションタスクは，低コストかつ広範囲で実施可能であることから，機械学習における学習データの収集手法として広く活用されている．一方で，クラウドソーシングによって得られる回答の品質にはばらつきがあり，品質管理の難しさが課題となっている．そこで本研究では，回答者の回答品質の低下傾向をリアルタイムに検出することで，品質低下を防止する手法の実現を目指している．本稿では，アノテーションタスクの実施中に取得される端末の姿勢角や画面操作といった端末操作情報から特徴量を抽出し，教師あり機械学習により回答品質の低下を推定する二値分類モデルを構築する手法を提案する．本手法の有効性を検証するために，アノテーションタスクの実施と端末操作情報の取得機能を備えたアプリケーションを開発し，被験者実験を行った．実験では，画像に対するキャプションの正誤評価をアノテーションタスクとして依頼し，被験者の作業中における端末操作情報をバックグラウンドで定常的に収集した．収集した端末操作情報を用いて回答品質を推定する二値分類モデルを構築・評価した結果，個人内データを対象とした時系列バリデーションによるデータセット分割を用いたモデルにおいて，Precisionが0.722，Recallが0.741，F1-scoreが0.731という結果が得られた．これにより，アノテーションタスクにおける回答者の品質低下の推定において，本手法の有効性が示唆された．","subitem_description_type":"Other"}]},"item_4_biblio_info_10":{"attribute_name":"書誌情報","attribute_value_mlt":[{"bibliographicPageEnd":"8","bibliographic_titles":[{"bibliographic_title":"研究報告ユビキタスコンピューティングシステム（UBI）"}],"bibliographicPageStart":"1","bibliographicIssueDates":{"bibliographicIssueDate":"2025-05-08","bibliographicIssueDateType":"Issued"},"bibliographicIssueNumber":"9","bibliographicVolumeNumber":"2025-UBI-86"}]},"relation_version_is_last":true,"weko_creator_id":"80578"},"id":2001804,"updated":"2025-04-23T06:56:19.269726+00:00","links":{},"created":"2025-04-23T06:56:15.159164+00:00"}