WEKO3
アイテム
自動作成した評価観点を用いたLLMによるLLMの参照回答ベース評価
https://ipsj.ixsq.nii.ac.jp/records/235098
https://ipsj.ixsq.nii.ac.jp/records/2350986bddab0e-e9eb-43aa-af15-7409b51cfb34
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL24260007.pdf (1.1 MB)
2026年6月21日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-06-21 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | 自動作成した評価観点を用いたLLMによるLLMの参照回答ベース評価 | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | LLM応用 | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||
| 資源タイプ | technical report | |||||||||||||
| 著者所属 | ||||||||||||||
| 同志社大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| トランス・コスモス株式会社 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 同志社大学 | ||||||||||||||
| 著者所属 | ||||||||||||||
| トランス・コスモス株式会社 | ||||||||||||||
| 著者所属(英) | ||||||||||||||
| en | ||||||||||||||
| Doshisha University | ||||||||||||||
| 著者所属(英) | ||||||||||||||
| en | ||||||||||||||
| transcosmos inc. | ||||||||||||||
| 著者所属(英) | ||||||||||||||
| en | ||||||||||||||
| Doshisha University | ||||||||||||||
| 著者所属(英) | ||||||||||||||
| en | ||||||||||||||
| transcosmos inc. | ||||||||||||||
| 著者名 |
森田, 隼功
× 森田, 隼功
× 大林, 弘明
× 田村, 晃裕
× 濱田, 充男
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | 本論文では，大規模言語モデル（LLM）による LLM の新たな性能評価手法を提案する．LLM による LLM の性能評価には，各 LLM の生成文を独立に採点する絶対評価と，生成文同士を比較して優劣を評価する相対評価とがある．従来の絶対評価では，各 LLM の評価が異なる視点で行われる可能性があり，LLM 間の点数を比較することが不適切な場合がある．また，従来の相対評価では，評価対象の提示順によって優劣結果が入れ替わる場合がある．これらの問題は，評価対象の LLM を採点もしくは比較する際，同じ視点で評価が行われていないことが原因であると考える．そこで本研究では，LLM により，質問と参照回答を基に評価観点を自動で作成し，評価観点を指定して LLM を評価する手法を提案する．そして，本提案手法を文章作成等のビジネスタスクを対象に評価し，有効性を確認した． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN10115061 | |||||||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2024-NL-260, 号 7, p. 1-14, 発行日 2024-06-21 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||
| 収録物識別子 | 2188-8779 | |||||||||||||
| Notice | ||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
