LINEメタバースにおけるメッセージの感情推定手法の提案

• Item type: Trans(1)
• 公開日: 2024-10-31
• タイトル: LINEメタバースにおけるメッセージの感情推定手法の提案
• タイトル / 言語: en
• タイトル: Proposal of Method for Estimating Message Emotions in the LINE Metaverse
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [コンシューマ・サービス論文] LINE，メタバース，感情推定，生成AI
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 長崎大学大学院工学研究科
• 著者所属: 長崎大学情報データ科学部
• 著者所属: 長崎大学情報データ科学部
• 著者所属: 長崎大学大学院工学研究科
• 著者所属: 神戸大学数理・データサイエンスセンター
• 著者所属: 長崎大学大学院工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Engineering, Nagasaki University
• 著者所属(英): en
• 著者所属(英): School of Information and Data Sciences, Nagasaki University
• 著者所属(英): en
• 著者所属(英): School of Information and Data Sciences, Nagasaki University
• 著者所属(英): en
• 著者所属(英): Graduate School of Engineering, Nagasaki University
• 著者所属(英): en
• 著者所属(英): Center of Mathematical and Data Sciences, Kobe University
• 著者所属(英): en
• 著者所属(英): Graduate School of Engineering, Nagasaki University
• 著者名: 磯﨑, 敦史; 戸川, 大樹; 深江, 一輝; 荒井, 研一; 中村, 匡秀; 小林, 透
• 著者名(英): Atsushi, Isozaki; Daiki, Togawa; Kazuki, Fukae; Kenichi, Arai; Masahide, Nakamura; Toru, Kobayashi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: これまで筆者らは，既存のLINEグループをタブレットPC上のアバターとして表現することで，メタバースの世界として提示することを提案してきた．本研究では，このLINEメタバース上で利用者がより円滑なコミュニケーションを図れるように，送信されたメッセージの内容から感情推定を行い，アバターの表情を変更する手法を提案する．現状でも，感情推定を目的とした多くの既存研究や商用サービスが存在しているものの，広く外部システムから利用可能な形態になっていなかったり，機能が限定的であったりという課題がある．そこで本研究では，テキストメッセージの内容からOpenAI社のChat Completions APIを用いて感情推定を行い，その結果に応じてアバターの表情を変化させる手法を考察した．また，メッセージ送信者が任意で感情を表す絵文字を付加することで，その感情を正解ラベルとした追加学習データを蓄積してFine-tuningを実施し，継続的に感情推定の性能を高められる仕組みとした．被験者でLINEメタバースグループを作成し，2カ月にわたる追加学習データの蓄積とFine-tuningを繰り返すことで感情推定の性能の変化を測定し，この提案手法の評価を行った結果，正解率およびマクロ平均再現率ともに85%前後で感情推定を行えることが確かめられた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The authors have previously proposed presenting existing LINE groups as avatars on tablet PCs as a metaverse world. In this study, we propose a method to change the facial expressions of avatars based on emotion estimation from the contents of sent messages, in order to enable users to communicate more smoothly in the LINE metaverse. Although there are currently many existing studies and commercial services aimed at emotion estimation, they are not widely available from external systems or have limited functionality. Therefore, in this study, we examined a method to estimate emotions from text messages using OpenAI's Chat Completions API and to change the avatar's facial expressions according to the results. In addition, by adding pictograms that express emotions at the message sender's option, the system is designed to accumulate additional training data with that emotion as the correct label and to perform fine-tuning to continuously improve the performance of emotion estimation. We evaluated the proposed method by creating a LINE metaverse group of subjects and measuring changes in the performance of emotion estimation by accumulating additional training data and repeating fine-tuning over a two-month period and confirmed that the proposed method can estimate emotions with an accuracy and a macro-average recall of around 85%.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12628043
• 書誌情報: 情報処理学会論文誌コンシューマ・デバイス＆システム（CDS）; 巻 14, 号 3, p. 1-11, 発行日 2024-10-31
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2186-5728
• 出版者 / 言語: ja
• 出版者: 情報処理学会