2026-03-06T20:39:39Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00233974 2025-01-19T09:55:10Z 1164:3865:11476:11605

マルチモーダル基盤モデルを用いたマイクロ行動認識に基づく学生エンゲージメントのリアルタイム推定手法 A Real-Time Estimation Method for Student Engagement in Collaborative Learning Using Multi-modal Foundation Model 松浦, 雅人 天野, 辰哉 山口, 弘純 Masato, Matsuuta Tatsuya, Amano Hirozumi, Yamaguchi [SeMI] 3 本研究では，協調学習中の学生のマイクロ行動に着目し，マルチモーダル基盤モデルを用いて行動的エンゲージメントをリアルタイムに推定する手法を提案する．マイクロ行動とは，うなずきや姿勢変化などの比較的短時間の行動を指す．提案手法では，既存研究で提案されている日常生活におけるマイクロ行動を表すテキストデータと，ビデオ・オーディオデータから抽出した特徴量との類似度をマルチモーダル基盤モデルである ImageBind をもちいて算出し，これを分類器の入力として学生のエンゲージメントを推定する．大学生を対象とした模擬授業実験のデータを用いて評価した結果，提案手法は 2 値分類において 78.1% の精度を達成した．さらに，各マイクロ行動がエンゲージメント推定に与える影響度を SHAP 値により解析した結果，「メモを取る」「マウスを動かす」「キーボードを打つ」などのマイクロ行動が高エンゲージメントと関連することが明らかになった． technical report 情報処理学会 2024-05-08 application/pdf 研究報告モバイルコンピューティングと新社会システム（MBL） 53 2024-MBL-111 1 6 2188-8817 AN10116224 https://ipsj.ixsq.nii.ac.jp/record/233974/files/IPSJ-MBL24111053.pdf jpn