複数モデルの統合とデータ拡充による議論評価

• Item type: SIG Technical Reports(1)
• 公開日: 2024-03-03
• タイトル: 複数モデルの統合とデータ拡充による議論評価
• タイトル / 言語: en
• タイトル: Quality Assessment for debate using combined models and data augmentation
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ソーシャルメディア
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 九州工業大学大学院情報工学府情報創成工学専攻
• 著者所属: 九州工業大学大学院情報工学研究院知能情報工学研究系
• 著者所属(英): en
• 著者所属(英): Department of Artificial Intelligence, Kyushu Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Artificial Intelligence, Kyushu Institute of Technology
• 著者名: 橋口, 駿亮; 嶋田, 和孝
• 著者名(英): Shunsuke, Hashiguchi; Kazutaka, Shimada
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，大学入試や就職試験において人とのコミュニケーション能力を測る手段としてグループディスカッションが活用されている．このような議論を試験として公平に評価することは難しい．そのため，議論に対して適切に評価するシステムが求められている．本研究では日本語の議論を対象とした品質評価タスクに取り組む．議論を対象としたタスクは，主に英語圏を中心に研究が行われており，日本語の議論を対象とした研究は少ない．そのため，日本語の議論データは英語に比べてデータ量は少ない．このような少量データに対処するため，対話特化モデルを利用した手法と GPT-4 によるデータ拡充の 2 つのアプローチを提案する．実験の結果，対話特化モデルを利用した手法は統計的な検定から有意差は得られなかったが，GPT-4 によるデータ拡充は本手法の有用性を確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Recently, the incorporation of group debates has emerged as a strategic approach for measuring communication ability within the realms of entrance and employment examinations. However, the equitable evaluation of debates for such kinds of examinations proves challenging. Therefore, a system is required to assess debates appropriately. In this study, we work on the quality assessment of debates focused on the Japanese language. The studies related to debate primarily focused on English, while those targeted at Japanese are limited. Consequently, the availability of debate data in Japanese is more constrained compared to English. To handle the low-resource data, we propose two methods: the utilization of a dialogue-specific model and data augmentation using GPT-4. We demonstrate that employing a dialogue-specific model does not yield statistically significant scores, while data augmentation using GPT-4 enhances the performance.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2024-NL-259, 号 3, p. 1-6, 発行日 2024-03-03
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会