2026-03-07T00:30:48Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00232866 2025-01-19T10:17:41Z 1164:4179:11560:11561

複数モデルの統合とデータ拡充による議論評価 Quality Assessment for debate using combined models and data augmentation 橋口, 駿亮 嶋田, 和孝 Shunsuke, Hashiguchi Kazutaka, Shimada ソーシャルメディア 近年，大学入試や就職試験において人とのコミュニケーション能力を測る手段としてグループディスカッションが活用されている．このような議論を試験として公平に評価することは難しい．そのため，議論に対して適切に評価するシステムが求められている．本研究では日本語の議論を対象とした品質評価タスクに取り組む．議論を対象としたタスクは，主に英語圏を中心に研究が行われており，日本語の議論を対象とした研究は少ない．そのため，日本語の議論データは英語に比べてデータ量は少ない．このような少量データに対処するため，対話特化モデルを利用した手法と GPT-4 によるデータ拡充の 2 つのアプローチを提案する．実験の結果，対話特化モデルを利用した手法は統計的な検定から有意差は得られなかったが，GPT-4 によるデータ拡充は本手法の有用性を確認した． Recently, the incorporation of group debates has emerged as a strategic approach for measuring communication ability within the realms of entrance and employment examinations. However, the equitable evaluation of debates for such kinds of examinations proves challenging. Therefore, a system is required to assess debates appropriately. In this study, we work on the quality assessment of debates focused on the Japanese language. The studies related to debate primarily focused on English, while those targeted at Japanese are limited. Consequently, the availability of debate data in Japanese is more constrained compared to English. To handle the low-resource data, we propose two methods: the utilization of a dialogue-specific model and data augmentation using GPT-4. We demonstrate that employing a dialogue-specific model does not yield statistically significant scores, while data augmentation using GPT-4 enhances the performance. technical report 情報処理学会 2024-03-03 application/pdf 研究報告自然言語処理（NL） 3 2024-NL-259 1 6 2188-8779 AN10115061 https://ipsj.ixsq.nii.ac.jp/record/232866/files/IPSJ-NL24259003.pdf jpn