読唇に有効な深層学習モデルの検討

• Item type: SIG Technical Reports(1)
• 公開日: 2022-05-05
• タイトル: 読唇に有効な深層学習モデルの検討
• タイトル / 言語: en
• タイトル: Efficient DNN model for word lip-reading
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 一般講演セッション1
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 九州工業大学
• 著者所属: 九州工業大学
• 著者所属(英): en
• 著者所属(英): Kyushu Institute of Technology
• 著者所属(英): en
• 著者所属(英): Kyushu Institute of Technology
• 著者名: 荒金, 大清; 齊藤, 剛史
• 著者名(英): Taiki, Arakane; Takeshi, Saitoh
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では，動画像データの教師あり学習の一つである読唇技術に関して，様々な深層学習モデルの検討に取り組む．認識実験には，読唇分野における大規模公開データセットの一つであり，2016 年に公開された Lip Reading in the Wild（LRW）を用いる．LRW は英単語 500 語を認識対象としている．当初の認識精度は 66.1% であったが，多くの研究グループが取り組み，現在の SOTA の認識精度は 3D-Conv + ResNet18 + MS-TCN + 知識の蒸留による 88.5% である．本論文では SOTA のモデルを参考に，WideResNet や EfficientNet，Transformer や Vision Transformer などを組み合わせた深層学習モデルを用いて，読唇に有効なモデルを検討したためその結果を報告する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper studies various deep learning models for lip-reading technology, including one of supervised learning of the video. Lip Reading in the Wild (LRW), one of the large-scale public datasets in lip-reading, is used for the recognition experiment. The recognition target of LRW is 500 English words, which was released in 2016. Initially, the recognition accuracy was 66.1%, but many research groups have been working on it, and the current SOTA has achieved 88.5% by 3D-Conv + ResNet18 + MS-TCN + knowledge distillation. This paper inves- tigates effective deep learning models for lip-reading that combine WideResNet, EfficientNet, Transformer, Vision Transformer, regarding the SOTA model.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2022-CVIM-230, 号 38, p. 1-6, 発行日 2022-05-05
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会