| Item type |
SIG Technical Reports(1) |
| 公開日 |
2025-05-08 |
| タイトル |
|
|
言語 |
ja |
|
タイトル |
クラウドソーシングにおける対話型インタフェースを用いたアノテーションタスク遂行時の回答品質低下の検知手法 |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
インタラクション |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
奈良先端科学技術大学院大学 |
| 著者所属 |
|
|
|
岡山大学／理化学研究所 |
| 著者所属 |
|
|
|
奈良先端科学技術大学院大学 |
| 著者所属 |
|
|
|
奈良先端科学技術大学院大学／理化学研究所 |
| 著者所属 |
|
|
|
奈良先端科学技術大学院大学／理化学研究所 |
| 著者所属(英) |
|
|
|
en |
|
|
Nara Institute of Science and Technology |
| 著者所属(英) |
|
|
|
en |
|
|
Okayama University / RIKEN AIP |
| 著者所属(英) |
|
|
|
en |
|
|
Nara Institute of Science and Technology |
| 著者所属(英) |
|
|
|
en |
|
|
Nara Institute of Science and Technology / RIKEN AIP |
| 著者所属(英) |
|
|
|
en |
|
|
Nara Institute of Science and Technology / RIKEN AIP |
| 著者名 |
平良,繁幸
松田,裕貴
福光,嘉伸
諏訪,博彦
安本,慶一
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
クラウドソーシングベースのアノテーションタスクは，低コストかつ広範囲で実施可能であることから，機械学習における学習データの収集手法として広く活用されている．一方で，クラウドソーシングによって得られる回答の品質にはばらつきがあり，品質管理の難しさが課題となっている．そこで本研究では，回答者の回答品質の低下傾向をリアルタイムに検出することで，品質低下を防止する手法の実現を目指している．本稿では，アノテーションタスクの実施中に取得される端末の姿勢角や画面操作といった端末操作情報から特徴量を抽出し，教師あり機械学習により回答品質の低下を推定する二値分類モデルを構築する手法を提案する．本手法の有効性を検証するために，アノテーションタスクの実施と端末操作情報の取得機能を備えたアプリケーションを開発し，被験者実験を行った．実験では，画像に対するキャプションの正誤評価をアノテーションタスクとして依頼し，被験者の作業中における端末操作情報をバックグラウンドで定常的に収集した．収集した端末操作情報を用いて回答品質を推定する二値分類モデルを構築・評価した結果，個人内データを対象とした時系列バリデーションによるデータセット分割を用いたモデルにおいて，Precisionが0.722，Recallが0.741，F1-scoreが0.731という結果が得られた．これにより，アノテーションタスクにおける回答者の品質低下の推定において，本手法の有効性が示唆された． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AA11838947 |
| 書誌情報 |
研究報告ユビキタスコンピューティングシステム（UBI）
巻 2025-UBI-86,
号 9,
p. 1-8,
発行日 2025-05-08
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8698 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-UBI25086009.pdf (2.4 MB)
