@techreport{oai:ipsj.ixsq.nii.ac.jp:00238506,
 author = {佐藤, 美唯 and 相馬, 菜生 and 倉光, 君郎},
 issue = {13},
 month = {Aug},
 note = {大規模言語モデル (Large Language Model，LLM) における言語間転移は，英語と非英語間で言語資源量に差がある状況下でも，非英語での性能を向上させることが期待される．近年，英語で事前学習された LLM に対して，非英語で継続事前学習させる試みが増えているが，言語間転移への影響は明らかではない部分も多い．本研究では，継続事前学習が言語間転移をどの程度促進させるのかを検証する．我々は，自然言語を入力とし，言語非依存なプログラミング言語を出力とするコード生成性能の変化に着目した調査を行った．コード生成性能の測定には標準的なベンチマークとして使用される HumanEval に加えて，を我々が構築した JHumanEval を使用した．また，言語間転移を調査するためにこれらのベンチマークデータセットを加工したデータセットでの実験を行なった．その結果，英語で学習したコード知識は非英語で継続事前学習をさせても転移しない可能性が示唆された．本論文では，言語間転移を活用した LLM 開発手法の必要性と調査結果から得られた洞察を提供する．},
 title = {継続事前学習によるコード知識の言語間転移に関する調査},
 year = {2024}
}