WEKO3
アイテム
JapanionQA: 大規模言語モデルの意見調査のための日本語データセットの構築
https://ipsj.ixsq.nii.ac.jp/records/235107
https://ipsj.ixsq.nii.ac.jp/records/2351074740eeea-a238-41c0-9d2e-a1d22e0dfe25
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL24260016.pdf (1.1 MB)
2026年6月21日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-06-21 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | JapanionQA: 大規模言語モデルの意見調査のための日本語データセットの構築 | |||||||||||||
| タイトル | ||||||||||||||
| 言語 | en | |||||||||||||
| タイトル | JapanionQA: The Construction of Japanese Dataset for the Opinion Survey of Large Language Models | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 言語資源 (2) | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||
| 資源タイプ | technical report | |||||||||||||
| 著者所属 | ||||||||||||||
| SB Intuitions株式会社 | ||||||||||||||
| 著者所属 | ||||||||||||||
| SB Intuitions株式会社 | ||||||||||||||
| 著者所属 | ||||||||||||||
| SB Intuitions株式会社 | ||||||||||||||
| 著者所属 | ||||||||||||||
| SB Intuitions株式会社 | ||||||||||||||
| 著者所属(英) | ||||||||||||||
| en | ||||||||||||||
| SB Intuitions Corp. | ||||||||||||||
| 著者所属(英) | ||||||||||||||
| en | ||||||||||||||
| SB Intuitions Corp. | ||||||||||||||
| 著者所属(英) | ||||||||||||||
| en | ||||||||||||||
| SB Intuitions Corp. | ||||||||||||||
| 著者所属(英) | ||||||||||||||
| en | ||||||||||||||
| SB Intuitions Corp. | ||||||||||||||
| 著者名 |
大萩, 雅也
× 大萩, 雅也
× 高山, 隼矢
× 水本, 智也
× 吉川, 克正
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | 大規模言語モデルが社会に浸透しつつあるなかで，社会問題などの正解がない問いに対して大規模言語モデルがどのような意見を持つかを調査することは重要な課題である．しかしながら，既存の意見調査データセットは英語のみであったり，またそのトピックも日本特有の社会問題を捉えられておらず，日本における大規模言語モデルの意見調査には適さない．そこで我々は内閣府による世論調査を活用することで日本語かつ日本特有の社会問題もカバーした新たな意見調査データセットを構築した．また，意見調査における既存評価手法の頑健性についても調査を行なった．結果として，日本語の意見調査において選択肢のラベルの生起確率を計測する既存手法はラベルの種類や選択肢の順序に対する頑健性が低いということが判明した． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN10115061 | |||||||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2024-NL-260, 号 16, p. 1-13, 発行日 2024-06-21 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||
| 収録物識別子 | 2188-8779 | |||||||||||||
| Notice | ||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
