会話中に表出するハンドジェスチャに基づく話者の発話単語の推定

• Item type: SIG Technical Reports(1)
• 公開日: 2018-01-11
• タイトル: 会話中に表出するハンドジェスチャに基づく話者の発話単語の推定
• タイトル / 言語: en
• タイトル: Classifying Words in Utterance from Gestures in Natural Conversation
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 一般セッション9
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 北陸先端科学技術大学院大学先端科学技術研究科情報科学系
• 著者所属: 日本電信電話株式会社NTTコミュニケーション科学基礎研究所
• 著者所属(英): en
• 著者所属(英): School of Information Science, Japan Advanced Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): NTT Communication Science Laboratories, Nippon Telegraph and Telephone Corporation
• 著者名: 岡田, 将吾; 大塚, 和弘
• 著者名(英): Shogo, Okada; Kazuhiro, Otsuka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究は，モーションキャプチャから得られた手の動作データと，音声，発話内容の言語データを入力として，手の動作データに含まれるハンドジェスチャパターンと発話区間の間の時間的対応関係を自動的に抽出し，ジェスチャの特徴量から発話単語を認識するモデルを構築するフレームワーク Commumcative Gesture Grounding Framework (CGGF) を提案する．CGGF では多様な手の動作から，発話単語に対応付けるために，3 つの異なる性質を持つ特徴量 ： (1) 手の動作軌跡の特徴量，(2) ジェスチャフエイズ特徴量 (3) 移動不変疎符号化 (Sift Invariant Sparse Coding) に基づき抽出した，短い時系列信号パターンが抽出される．(1) を訓練するために隠れマルコフモデル (Hidden Markov Model : HMM) を，(2)，(3) を学習するためにサポートベクターマシン (Support Vector Machine : SVM) を用いる．共通する説明課題に取り組んだ実験協力者 16 名の説明中にモーションキャプチャより観測された手の動作データ，発話内容データ，音声区間データに提案する CGGF を適用した結果，80 単語に関して 60% 以上の正解率を得た．また最大の正解率は 71% であった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This study investigates a new challenge: modelling the relationship between gestures and spoken words during continuous hand motions, speech and language data. The problem setting and modelling is defined as "gesture association" (associating gestures with words). We present a framework to associate spoken words with hand motion data observed from a optical motion-capture system. The framework is evaluated using dataset of hand motion observed in group conversation.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2018-CVIM-210, 号 35, p. 1-7, 発行日 2018-01-11
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会