FERV39kPlus: 大規模動画表情認識データセットのソフトラベル拡張

• Item type: SIG Technical Reports(1)
• 公開日: 2025-01-14
• タイトル: FERV39kPlus: 大規模動画表情認識データセットのソフトラベル拡張
• タイトル / 言語: en
• タイトル: Soft Label Expansion of Facial Expression Recognition Dataset
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 大阪大学
• 著者所属: 米国富士通研究所
• 著者所属: 大阪大学
• 著者所属: 九州工業大学
• 著者所属: 大阪大学
• 著者所属(英): en
• 著者所属(英): Osaka University
• 著者所属(英): en
• 著者所属(英): Fujitsu Research of America, Inc.
• 著者所属(英): en
• 著者所属(英): Osaka University
• 著者所属(英): en
• 著者所属(英): Kyushu Institute of Technology
• 著者所属(英): en
• 著者所属(英): Osaka University
• 著者名: 大竹, 俊輔; 川村, 亮介; 早志, 英朗; 武村, 紀子; 長原, 一
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 動画表情認識は，顔の動画像から感情クラスを推定するタスクであり，クラスが一意に定まらない曖昧性を含む場合がある．この曖昧性は，複数人によるアノテーションが一致しないことに起因する．しかし，従来の動画表情認識データセットでは一般的に，各動画像に単一クラスのハードラベルが付与されるため，データの曖昧性を十分に考慮できない．そこで本研究では，動画表情認識の代表的な大規模データセットであるFERV39kをソフトラベルに拡張したFERV39kPlusを提案する．提案データセットでは，クラウドソーシングを用いてFERV39kの各動画像に10名分のアノテーションを付与し，各クラスの得票数の割合をラベルとした．この方法により，38,935本のビデオクリップに7つの感情クラスのソフトラベルを付与した．実験では，新しく付与したソフトラベルのエントロピー等の統計情報を解析するとともに，曖昧性を考慮した既存の表情認識手法を用いて，提案データセットに対する認識性能の評価を行った．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Dynamic Facial Expression Recognition is a task of estimating emotion classes from facial videos, and there are cases where the classes are ambiguous and cannot be determined uniquely. This ambiguity is caused by the fact that annotations by multiple people do not always match. However, in conventional dynamic facial expression recognition datasets, a single-class hard label is generally assigned to each video clip; therefore, the ambiguity of the data cannot be fully considered. In this study, we propose FERV39kPlus, which is a soft-label expansion of FERV39k, a representative large-scale dataset of dynamic facial expression recognition. In the proposed dataset, we employed crowd-sourcing to add annotations by 10 people to each video clip in FERV39k, and used the ratio of votes for each class as the label. Based on this approach, we added soft labels for seven emotion classes to 38,935 video clips. In the experiment, we analyzed the statistical information of the newly created soft labels, such as entropy, and evaluated the recognition performance on the proposed dataset using existing facial expression recognition methods that consider ambiguity.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2025-CVIM-240, 号 40, p. 1-8, 発行日 2025-01-14
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会