WEKO3
アイテム
日本語医療LLM評価ベンチマークの構築と性能分析
https://ipsj.ixsq.nii.ac.jp/records/238500
https://ipsj.ixsq.nii.ac.jp/records/238500822522c2-6e4e-4db4-97b3-925b572f280c
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL24261007.pdf (294.9 kB)
2026年8月27日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-08-27 | |||||||||||||||
| タイトル | ||||||||||||||||
| タイトル | 日本語医療LLM評価ベンチマークの構築と性能分析 | |||||||||||||||
| 言語 | ||||||||||||||||
| 言語 | jpn | |||||||||||||||
| キーワード | ||||||||||||||||
| 主題Scheme | Other | |||||||||||||||
| 主題 | 言語資源・評価 | |||||||||||||||
| 資源タイプ | ||||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||||
| 資源タイプ | technical report | |||||||||||||||
| 著者所属 | ||||||||||||||||
| 奈良先端科学技術大学院大学 | ||||||||||||||||
| 著者所属 | ||||||||||||||||
| 奈良先端科学技術大学院大学 | ||||||||||||||||
| 著者所属 | ||||||||||||||||
| 奈良先端科学技術大学院大学 | ||||||||||||||||
| 著者所属 | ||||||||||||||||
| 奈良先端科学技術大学院大学 | ||||||||||||||||
| 著者所属 | ||||||||||||||||
| 奈良先端科学技術大学院大学 | ||||||||||||||||
| 著者所属(英) | ||||||||||||||||
| en | ||||||||||||||||
| NAIST | ||||||||||||||||
| 著者所属(英) | ||||||||||||||||
| en | ||||||||||||||||
| NAIST | ||||||||||||||||
| 著者所属(英) | ||||||||||||||||
| en | ||||||||||||||||
| NAIST | ||||||||||||||||
| 著者所属(英) | ||||||||||||||||
| en | ||||||||||||||||
| NAIST | ||||||||||||||||
| 著者所属(英) | ||||||||||||||||
| en | ||||||||||||||||
| NAIST | ||||||||||||||||
| 著者名 |
福島, 拓也
× 福島, 拓也
× 久田, 祥平
× 矢田, 竣太郎
× 若宮, 翔子
× 荒牧, 英治
|
|||||||||||||||
| 論文抄録 | ||||||||||||||||
| 内容記述タイプ | Other | |||||||||||||||
| 内容記述 | 近年，大規模言語モデル（LLM）の急速な発展に伴い，医療分野においてもその応用可能性が注目されている．しかし，医療データの機密性とプライバシー保護の必要性から，日本語における医療 LLM の評価環境は十分に整備されておらず，その性能や適用可能性を適切に判断することが困難である．本研究では，この課題に対処するため，日本語医療言語処理分野における複数のタスクから構成される LLM 評価ベンチマーク（JMED-LLM）を構築した．さらに，既存の代表的な LLM を対象として本ベンチマークによる評価を実施し，日本語医療タスクにおける現状の性能を明らかにした．本ベンチマークは継続的にタスクを拡充する予定であり，今後の日本語医療 LLM 開発の活性化に寄与することを期待する． | |||||||||||||||
| 書誌レコードID | ||||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||||
| 収録物識別子 | AN10115061 | |||||||||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2024-NL-261, 号 7, p. 1-7, 発行日 2024-08-27 |
|||||||||||||||
| ISSN | ||||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||||
| 収録物識別子 | 2188-8779 | |||||||||||||||
| Notice | ||||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||||
| 出版者 | ||||||||||||||||
| 言語 | ja | |||||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||||
