WEKO3
アイテム
生成AIによる自由記述ラベル付けの安定性再検討
https://ipsj.ixsq.nii.ac.jp/records/2006897
https://ipsj.ixsq.nii.ac.jp/records/2006897a792f0bf-62ad-4759-a064-ea2c9ae3e823
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-CE26183009.pdf (1.3 MB)
2028年1月31日からダウンロード可能です。
|
Copyright (c) 2026 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, CE:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2026-01-31 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | 生成AIによる自由記述ラベル付けの安定性再検討 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Re-examination of Stability in Generative AI-based Free Text Labeling | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 広島大学情報メディア教育研究センター | ||||||||||
| 著者所属 | ||||||||||
| 帝京大学ラーニングテクノロジー開発室 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Information Media Center, Hiroshima University | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Learning Technology Laboratory, Teikyo University | ||||||||||
| 著者名 |
隅谷,孝洋
× 隅谷,孝洋
× 天野,由貴
|
|||||||||
| 著者名(英) |
Takahiro Sumiya
× Takahiro Sumiya
× Yuki Amano
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 生成AIを用いた自由記述文のラベル付けは有用である一方，大規模言語モデル（LLM）の非決定性により，temperatureを0に設定した場合であっても結果が揺らぐことがある．本研究ではこの非決定性を前提とし，生成時のトークン生成確率（LogProbs）を用いて，ラベル付け結果に対する確信度を推定する手法を整理する．さらに，LogProbsが利用できない場合には，多数回生成による出力分布を用いたモンテカルロ的アプローチにより，確信度を近似的に評価する方法を検討する．これにより，生成AIによるラベル付けの揺らぎを，自由記述文や評価方法に内在する曖昧さを示す指標として捉え直し，教育データ分析の信頼性向上に資する視点を提示する． | |||||||||
| 論文抄録(英) | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | While labeling free-form text with generative AI is useful, the inherent non-determinism of large language models (LLMs) can cause outputs to vary even when the temperature is set to 0. In this study, taking this non-determinism as a given, we organize methods for estimating confidence in labeling results using token-level generation probabilities (log probabilities; LogProbs). In addition, when LogProbs are unavailable, we examine an approximate way to assess confidence via a Monte Carlo-style approach that uses the output distribution obtained from repeated generations. This reframes labeling variability under generative AI as an indicator of ambiguity inherent in free-form responses and in evaluation procedures, and offers a perspective that can improve the reliability of educational data analysis. | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10096193 | |||||||||
| 書誌情報 |
研究報告コンピュータと教育（CE） 巻 2026-CE-183, 号 9, p. 1-6, 発行日 2026-01-31 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8930 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
