WEKO3
アイテム
継続事前学習によるコード知識の言語間転移に関する調査
https://ipsj.ixsq.nii.ac.jp/records/238506
https://ipsj.ixsq.nii.ac.jp/records/238506c4e43e6c-2f76-4f76-af80-daa4ebce25f2
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL24261013.pdf (1.1 MB)
2026年8月27日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-08-27 | |||||||||||
| タイトル | ||||||||||||
| タイトル | 継続事前学習によるコード知識の言語間転移に関する調査 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | LLM応用・言語解析 | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 日本女子大学大学院理学研究科数理・物性構造科学専攻 | ||||||||||||
| 著者所属 | ||||||||||||
| 日本女子大学大学院理学研究科数理・物性構造科学専攻 | ||||||||||||
| 著者所属 | ||||||||||||
| 日本女子大学理学部数物情報科学科 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Science Division of Mathematical and Physical Sciences, Japan Women's University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Science Division of Mathematical and Physical Sciences, Japan Women's University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Department of Mathematics, Physics, and Computer Science, Japan Women's University | ||||||||||||
| 著者名 |
佐藤, 美唯
× 佐藤, 美唯
× 相馬, 菜生
× 倉光, 君郎
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 大規模言語モデル (Large Language Model，LLM) における言語間転移は，英語と非英語間で言語資源量に差がある状況下でも，非英語での性能を向上させることが期待される．近年，英語で事前学習された LLM に対して，非英語で継続事前学習させる試みが増えているが，言語間転移への影響は明らかではない部分も多い．本研究では，継続事前学習が言語間転移をどの程度促進させるのかを検証する．我々は，自然言語を入力とし，言語非依存なプログラミング言語を出力とするコード生成性能の変化に着目した調査を行った．コード生成性能の測定には標準的なベンチマークとして使用される HumanEval に加えて，を我々が構築した JHumanEval を使用した．また，言語間転移を調査するためにこれらのベンチマークデータセットを加工したデータセットでの実験を行なった．その結果，英語で学習したコード知識は非英語で継続事前学習をさせても転移しない可能性が示唆された．本論文では，言語間転移を活用した LLM 開発手法の必要性と調査結果から得られた洞察を提供する． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10115061 | |||||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2024-NL-261, 号 13, p. 1-7, 発行日 2024-08-27 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8779 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
