ChatGPTはどのくらいプログラミングを理解しているか？

• Item type: Trans(1)
• 公開日: 2024-01-31
• タイトル: ChatGPTはどのくらいプログラミングを理解しているか？
• タイトル / 言語: en
• タイトル: How Well does ChatGPT Understand Programming?
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [発表概要, Unrefereed Presentatin Abstract]
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 日本女子大学大学院理学研究科数理物性構造科学専攻
• 著者所属: 日本女子大学大学院理学研究科数理物性構造科学専攻
• 著者所属: 日本女子大学理学部数理情報科学科
• 著者所属: 日本女子大学理学部数理情報科学科
• 著者所属: 日本女子大学理学部数理情報科学科
• 著者所属: 日本女子大学大学院理学研究科数理物性構造科学専攻
• 著者所属: 日本女子大学理学部数理情報科学科
• 著者所属(英): en
• 著者所属(英): Division of Mathematical and Physical Sciences, Graduate School of Science
• 著者所属(英): en
• 著者所属(英): Division of Mathematical and Physical Sciences, Graduate School of Science
• 著者所属(英): en
• 著者所属(英): Department of Mathematics, Physics, and Computer Science, Japan Women's University
• 著者所属(英): en
• 著者所属(英): Department of Mathematics, Physics, and Computer Science, Japan Women's University
• 著者所属(英): en
• 著者所属(英): Department of Mathematics, Physics, and Computer Science, Japan Women's University
• 著者所属(英): en
• 著者所属(英): Division of Mathematical and Physical Sciences, Graduate School of Science
• 著者所属(英): en
• 著者所属(英): Department of Mathematics, Physics, and Computer Science, Japan Women's University
• 著者名: 佐藤, 美唯; 相馬, 菜生; 伊東, 和香; 小原, 有以; 東出, 紗也夏; 高野, 志歩; 倉光, 君郎
• 著者名(英): Miyu, Sato; Nao, Souma; Waka, Ito; Yui, Obara; Sayaka, Higashide; Shiho, Takano; Kimio, Kuramitsu
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，大規模言語モデルの発展は目覚ましく，プログラミングを含むソフトウェア開発への応用の期待が高まっている．しかし，大規模言語モデルの原理とコード生成能力の関係には未知な部分も多い．本研究では，大規模言語モデルがプログラミングをどのくらい理解しているかを定量化するベンチマークの開発を提案する．ベンチマークの開発により，コード生成，コード移植，リファクタリング，コード修正など様々なコードタスクの得意・不得意の把握が可能になり，さらなる大規模言語モデルの開発や微調整に役立つことが期待される．本発表では，ベンチマークのタスクセットの設計，データセットの整備手順やZero-shotプロンプトの開発進捗を報告し，ChatGPTを用いたベースライン評価を報告する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In recent years, large-scale language models have made remarkable progress, and there are growing expectations for their application to software development, including programming. However, there are many unknowns in the relationship between the principles of large-scale language models and their ability to generate code. In this study, we propose the development of a benchmark to quantify how well large-scale language models understand programming. The development of benchmarks will enable us to understand the strengths and weaknesses of various code tasks, such as code generation, code porting, refactoring, and code modification, and will be useful for further developing and fine-tuning large-scale language models. In this presentation, we will report on the design of the benchmark task set, the procedure for maintaining the dataset and the progress in developing the Zero-shot prompts, and report on the baseline evaluation using ChatGPT.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464814
• 書誌情報: 情報処理学会論文誌プログラミング（PRO）; 巻 17, 号 1, p. 13-13, 発行日 2024-01-31
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7802
• 出版者 / 言語: ja
• 出版者: 情報処理学会