組込型光センサアレイを用いた近接表情認識機能を持つデジタルカメンの設計と実装

• Item type: Journal(1)
• 公開日: 2023-02-15
• タイトル: 組込型光センサアレイを用いた近接表情認識機能を持つデジタルカメンの設計と実装
• タイトル / 言語: en
• タイトル: Design and Implementation of Digital Full-Face Mask Display with Expression Recognition using Embedded Photo Reflective Sensor Arrays
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集:インタラクションの理解および基盤・応用技術] Wearable Computing，人間拡張，可視化
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00224253
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 公立はこだて未来大学
• 著者所属: 香港城市大学
• 著者所属: 公立はこだて未来大学
• 著者所属: 慶應義塾大学
• 著者所属: 慶應義塾大学
• 著者所属: 慶應義塾大学
• 著者所属: 慶應義塾大学
• 著者所属: ユニバーシティカレッジロンドン
• 著者所属: ユニバーシティカレッジロンドン
• 著者所属: 公立はこだて未来大学
• 著者所属(英): en
• 著者所属(英): Future University Hakodate
• 著者所属(英): en
• 著者所属(英): City University of Hong Kong
• 著者所属(英): en
• 著者所属(英): Future University Hakodate
• 著者所属(英): en
• 著者所属(英): Keio University
• 著者所属(英): en
• 著者所属(英): Keio University
• 著者所属(英): en
• 著者所属(英): Keio University
• 著者所属(英): en
• 著者所属(英): Keio University
• 著者所属(英): en
• 著者所属(英): University College London
• 著者所属(英): en
• 著者所属(英): University College London
• 著者所属(英): en
• 著者所属(英): Future University Hakodate
• 著者名: 竹川, 佳成; 徳田, 雄嵩; 梅澤, 章乃; 鈴木, 克洋; 杉浦, 裕太; 正井, 克俊; 杉本, 麻樹; ディエゴ, マルティネス プラセンシア; スリラム, スブラマニアン; 平田, 圭二
• 著者名(英): Yoshinari, Takegawa; Yutaka, Tokuda; Akino, Umezawa; Katsuhiro, Suzuki; Yuta, Sugiura; Katsutoshi, Masai; Maki, Sugimoto; Diego, Martinez Plasencia; Sriram, Subramanian; Keiji, Hirata
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では，実空間での対面コミュニケーションを支援するために，ユーザの顔の表情全体をアバタの表情に反映させることができる薄型のデジタルフルフェイスマスクディスプレイ「デジタルカメン」の設計と実装について述べる．カメラを用いた表情認識技術により，アバタによる顔の拡張が可能になったが，その応用は仮想空間での対面コミュニケーションに限られていた．本研究では，実空間でのアバタによる顔の拡張を可能にするために，軽量でフレキシブルなディスプレイと表情認識器を統合したデジタルカメンを提案する．顔全体に分散した40個の光センサから構成される光センサアレイを用いて表情を推定するため，カメラによる表情認識と異なり近接で表情認識できる．機械学習アルゴリズムの1つであるSVM（Support Vector Machine）を用いた10クラスの表情認識モデルを構築する．提案する表情認識モデルの平均正答率は79%であった．被験者にデジタルカメンを装着してもらい，鏡越しにデジタルカメン上に表示されるアバタを見てもらった．装着者自身の表情に同期して変化するアバタの表情変化は，アバタ再現性やアバタの表情変化の応答性という評価指標において，カメラベースの表情認識結果を表情付アバタとして生成および表示する機能を持つ従来手法と比較して同程度の結果が得られた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper presents a thin digital full-face mask display that can reflect an entire facial expression of a user onto an avatar to support augmented face-to-face communication in real environments. Although camera-based facial expression recognition technology has enabled people to augment their faces with avatars, application was limited to face-to-face communication in virtual environments. To enable digital facial augmentation with an avatar in a real space, we propose a digital face mask display system that integrates a lightweight flexible display with a thin facial expression recognition system. The thin wearable facial expression recognition system was implemented with photo reflective sensor arrays which can measure facial expressions at 40 feature points distributed across an entire face. We investigated a ten-class facial expression identification model based on an SVM training algorithm. The trained model achieved an average accuracy of 79% when identifying the facial expressions of multiple users. User experiments indicated that the proposed thin digital full-face mask display allows the wearer to control the facial expression of the avatar with a fast response rate and create a positive sense of self-agency and self-ownership toward the augmented avatar face.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 64, 号 2, p. 417-429, 発行日 2023-02-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764
• 公開者 / 言語: ja
• 公開者 / 出版者: 情報処理学会