| Item type |
SIG Technical Reports(1) |
| 公開日 |
2024-03-03 |
| タイトル |
|
|
タイトル |
会話の含みの取り消し可能性に着目した大規模言語モデルの評価 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
Evaluation of LLMs focused on Cancellability of Conversational Implicature |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
言語モデル |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
早稲田大学 |
| 著者所属 |
|
|
|
早稲田大学 |
| 著者所属 |
|
|
|
早稲田大学 |
| 著者所属 |
|
|
|
早稲田大学 |
| 著者所属 |
|
|
|
株式会社サイシキ |
| 著者所属(英) |
|
|
|
en |
|
|
Waseda Univ. |
| 著者所属(英) |
|
|
|
en |
|
|
Waseda Univ. |
| 著者所属(英) |
|
|
|
en |
|
|
Waseda Univ. |
| 著者所属(英) |
|
|
|
en |
|
|
Waseda Univ. |
| 著者所属(英) |
|
|
|
en |
|
|
SAI-SHIKI Inc. |
| 著者名 |
小方, 雅子
藤後, 英哲
中下, 咲帆
菊池, 英明
藤倉, 将平
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
大規模言語モデル（LLM）の著しい発展が続く中で，様々な観点から LLM の性能を評価することが求められている．人間の言語に見られる現象の一つに会話の含みがある．会話の含みとは発話によって暗に伝えられる文脈依存的な言外の発話意図である．会話の含みには，ある発話で生じる会話の含みは別のある文脈を想定することによって取り消すことが可能であるという特徴がある．この特徴により，同じ文であっても文脈に応じて異なる会話の含みが生じ得る．本研究ではこの会話の含みの取り消し可能性に着目し，LLM が人間と同じように文脈に応じて会話の含みを読み取ることができるのかを検証した．その結果，LLM は人間と比べ，文脈に応じて会話の含みを読み取ることが十分にできていないことが判明した． |
| 論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
As the development of Large Language Models (LLMs) continues, evaluation methods from various perspectives are needed. Human language has a conversational implicature which refers to the unspoken intent conveyed implicitly through utterances, depending on the context. It is known that conversational implicature is cancellable: the implicature can be canceled by context even if it has the same utterances. This study focuses on the cancellability of conversational implicature and investigates whether LLMs can interpret conversational implicatures as humans do. The results show that, compared to humans, LLMs are not as capable of interpreting conversational implicatures depending on the context. |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10115061 |
| 書誌情報 |
研究報告自然言語処理（NL）
巻 2024-NL-259,
号 21,
p. 1-5,
発行日 2024-03-03
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8779 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-NL24259021.pdf (1.1 MB)
