生成AIを用いたマルチモーダル対話システムの評価

• Item type: SIG Technical Reports(1)
• 公開日: 2024-06-07
• タイトル: 生成AIを用いたマルチモーダル対話システムの評価
• タイトル / 言語: en
• タイトル: Evaluation of Multimodal Dialogue Systems Using Generative AI
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ポスターセッション2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 山形大学大学院
• 著者所属: 山形大学大学院
• 著者所属(英): en
• 著者所属(英): Yamagata University
• 著者所属(英): en
• 著者所属(英): Yamagata University
• 著者名: 関戸, 陽士; 小坂, 哲夫
• 著者名(英): Yoji, Sekido; Tetuo, Kosaka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では，マルチモーダル対話システムにおける生成 AI の利用と評価に関して述べる．これまで我々は音声対話システムに表情認識などを追加したマルチモーダル対話システムを構築してきた．従来のシステムでは対話管理に有限状態トランスデューサを用い，状態遷移を人手により構築してきた．しかし人手による方法では多様な対話に対応できず，対話の自由度が低いという問題点があった．そこで対話管理部に大規模言語モデルの一つである ChatGPT を用い自由度の向上を図る．提案システムでは音声による対話の他，表情認識技術を用いてユーザの表情を読み取り，その結果によりエージェントの表情を決定する．音声情報と表情情報を併用することで，より人間らしいインタラクションの実現を目指す．実験では従来の手書きシナリオベースの対話システムと ChatGPT を組み込んだシステムの比較を行った．この結果提案システムは従来のシステムと比較して対話の自由度が大幅に向上し，継続使用欲求が有意に向上することが示された．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10438388
• 書誌情報: 研究報告音楽情報科学（MUS）; 巻 2024-MUS-140, 号 48, p. 1-6, 発行日 2024-06-07
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8752
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会