大規模言語モデルによる選択肢間の関係を考慮した回答分布予測手法の提案

• Item type: SIG Technical Reports(1)
• 公開日: 2024-12-05
• タイトル: 大規模言語モデルによる選択肢間の関係を考慮した回答分布予測手法の提案
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: LLM評価
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者名: 鈴木, 刀磨; 片山, 歩希; 郷原, 聖士; 辻本, 陵; 中谷, 響; 林, 和樹; 坂井, 優介; 上垣外, 英剛; 渡辺, 太郎
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 人々の意見の傾向である回答分布は，通常アンケートなどによって調査される．しかし，アンケート調査は対象となる被験者をその都度募集する必要があるため，時間的・金銭的なコストが高い．特に，迅速な結果が求められる場合や，複数の集団や観点から大規模な回答分布を調査する場合には，被験者を伴う方法をその都度採用することは現実的ではない．そのため近年では機械学習手法を用いて回答分布を予測することで，シミュレーションする取り組みが活発となっている．特に大規模言語モデル（LLM）は事前学習時に大規模テキストデータから回答分布予測に有益な情報を暗に獲得していることが明らかとなりつつあるため，LLM を用いた回答分布予測に関する取り組みも盛んに行われている．しかし，LLM を用いた回答分布予測に関する従来研究では，各選択肢ごとに独立して，選択肢ごとのログ確率によって算出しているため，選択肢間の相互関係を捉えた予測が困難だった．本研究では，多肢選択式アンケートを対象とし，構造化データである JSON 形式ですべての選択式に対する予測結果を同時に出力するように制御することで，選択肢間の相互関係を考慮した回答分布予測を行う．実験結果から提案手法は，従来手法であるログ確率による回答分布予測手法と比較して，より分布を捉えた予測が可能となり，予測性能の向上を確認できた．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2024-NL-262, 号 40, p. 1-14, 発行日 2024-12-05
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会