多言語事前学習済みモデルmT5へのPython言語モデルの追加学習

• Item type: Trans(1)
• 公開日: 2023-06-29
• タイトル: 多言語事前学習済みモデルmT5へのPython言語モデルの追加学習
• タイトル / 言語: en
• タイトル: Additional Pre-training of Python Language Model to mT5
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [発表概要, Unrefereed Presentatin Abstract]
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 日本女子大学大学院理学研究科数理・物性構造科学専攻
• 著者所属: 日本女子大学理学部数物情報科学科
• 著者所属: 日本女子大学理学部数物情報科学科
• 著者所属: 日本女子大学理学部数物情報科学科
• 著者所属: 日本女子大学大学院理学研究科数理・物性構造科学専攻
• 著者所属: 日本女子大学理学部数物情報科学科
• 著者所属(英): en
• 著者所属(英): Graduate School of Science Division of Mathematical and Physical Sciences, Japan Women's University
• 著者所属(英): en
• 著者所属(英): Department of Mathematics, Physics, and Computer Science, Japan Women's University
• 著者所属(英): en
• 著者所属(英): Department of Mathematics, Physics, and Computer Science, Japan Women's University
• 著者所属(英): en
• 著者所属(英): Department of Mathematics, Physics, and Computer Science, Japan Women's University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science Division of Mathematical and Physical Sciences, Japan Women's University
• 著者所属(英): en
• 著者所属(英): Department of Mathematics, Physics, and Computer Science, Japan Women's University
• 著者名: 梶浦, 照乃; 佐藤, 美唯; 相馬, 菜生; 高橋, 舞衣; 小原, 百々雅; 倉光, 君郎
• 著者名(英): Teruno, Kajiura; Miyu, Sato; Nao, Souma; Mai, Takahashi; Momoka, Obara; Kimio, Kuramitsu
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，深層学習技術の発展にともない，自然言語処理の分野で事前学習済み言語モデルの精度が大幅に向上している．これらの言語モデルは，大量のソースコードを事前学習させることによるソフトウェア開発やプログラミング応用での活躍にも期待されている．実際，ソースコードで事前学習されたCodeT5モデルでは，コード生成，コード要約，コード分類など，各種のソフトウェア開発タスクにおいて大幅な性能向上が確認されている．しかし，最初からモデルを事前学習によって構築するには，膨大な計算機資源と時間が必要になる．そのため，目的の言語に合わせて最初から事前学習を行い，モデルを構築するのは，誰でもできるものではない．我々は，自然言語処理用に構築されたマルチリンガルT5モデル（mT5）から，追加的なソースコードの学習によって，ソースコードの事前学習済み言語モデルを構築する手法を提案する．具体的には，自然言語を事前学習済みであるmT5に，さらにPythonコードを与えて追加的に事前学習を行い，新たにPythonに適用した事前学習済み言語モデルを構築する．本発表では，提案手法より，コード生成，エラー診断などのソースコードを扱うタスクにおいて，性能向上の成果が見られたことを報告する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Recently, Transformer-based pre-trained language models have achieved great success in natural language processing methods. As a result, there is a growing interest in software development and programming to apply pre-trained language models to a large amount of programming code. For example, CodeT5, which is T5 pre-trained with programming code, has shown significant performance improvements in various software development tasks such as code generation, code summarization, and code classification. However, building these models requires a huge amount of computing resources and time, and not everyone can do it. We propose a method to build a pre-trained language model by additionally training a new programming language model, Python, to a multilingual T5 model built for natural language processing. This study reports that the proposed method shows improved performance results in tasks such as code generation and error diagnosis.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464814
• 書誌情報: 情報処理学会論文誌プログラミング（PRO）; 巻 16, 号 2, p. 29-29, 発行日 2023-06-29
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7802
• 出版者 / 言語: ja
• 出版者: 情報処理学会