2024-03-29T00:45:27Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:002044392023-04-27T10:00:04Z01164:04619:10081:10200
社会関係を活用した映像会話シーンにおける雰囲気の推定\nAtmosphere Estimation in Conversation Scenes with Social Relationsjpnセッション3http://id.nii.ac.jp/1001/00204344/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=204439&item_no=1&attribute_id=1&file_no=1Copyright (c) 2020 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.立命館大学情報理工学部立命館大学情報理工学部立命館大学情報理工学部杉山, 瑠菜王, 或加藤, ジェーン本研究では,人物の会話シーンにおける場の雰囲気を認識することを目的として,モデル学習のためのデータセットのラベリング手法と雰囲気の推定手法を提案する.データセットのラベリングにおいて,雰囲気のような主観的な属性を持つラベルを付与することは困難である.このようなラベルを公平に付与するために,ペアワイズ比較のアプローチを用いる方法を提案し,3000 本のビデオデータセットを作成した.一方,雰囲気の推定にあたっては,コミュニケーションのシーンにおける複雑な場の状況を捉えるため,Two-stream CNN をベースに,登場人物の社会関係を付加情報として活用したアプローチを提案する.実験では,提案手法の有効性を定量的に評価し,雰囲気の推定糖度が向上することを確認した.The objective of this work is to estimate the atmosphere of the conversation scenes. Because the atmosphere is a subjective attribute, it is difficult to prepare training data in the first place. In this work, we proposed a method for labeling such a kind of attribute by using pair-wise comparison and prepared a dataset that consists of 3000 videos. On the other hand, because the atmosphere is complex hard to estimate, it is necessary to capture the different aspects of the conversation scene inadvance. We thus proposed a novel approach that utilizes the Two-stream CNN as the backbone and the social relation recognition as an additional task. The proposed approach learns rich video representation, and we confirm its effectiveness on our dataset quantitively.AA11131797研究報告コンピュータビジョンとイメージメディア(CVIM)2020-CVIM-2227162020-05-072188-87012020-04-21