マルチモーダル基盤モデルを用いたマイクロ行動認識に基づく学生エンゲージメントのリアルタイム推定手法

• Item type: SIG Technical Reports(1)
• 公開日: 2024-05-08
• タイトル: マルチモーダル基盤モデルを用いたマイクロ行動認識に基づく学生エンゲージメントのリアルタイム推定手法
• タイトル / 言語: en
• タイトル: A Real-Time Estimation Method for Student Engagement in Collaborative Learning Using Multi-modal Foundation Model
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [SeMI] 3
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology
• 著者名: 松浦, 雅人; 天野, 辰哉; 山口, 弘純
• 著者名(英): Masato, Matsuuta; Tatsuya, Amano; Hirozumi, Yamaguchi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では，協調学習中の学生のマイクロ行動に着目し，マルチモーダル基盤モデルを用いて行動的エンゲージメントをリアルタイムに推定する手法を提案する．マイクロ行動とは，うなずきや姿勢変化などの比較的短時間の行動を指す．提案手法では，既存研究で提案されている日常生活におけるマイクロ行動を表すテキストデータと，ビデオ・オーディオデータから抽出した特徴量との類似度をマルチモーダル基盤モデルである ImageBind をもちいて算出し，これを分類器の入力として学生のエンゲージメントを推定する．大学生を対象とした模擬授業実験のデータを用いて評価した結果，提案手法は 2 値分類において 78.1% の精度を達成した．さらに，各マイクロ行動がエンゲージメント推定に与える影響度を SHAP 値により解析した結果，「メモを取る」「マウスを動かす」「キーボードを打つ」などのマイクロ行動が高エンゲージメントと関連することが明らかになった．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10116224
• 書誌情報: 研究報告マルチメディア通信と分散処理（DPS）; 巻 2024-DPS-199, 号 53, p. 1-6, 発行日 2024-05-08
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8906
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会