| Item type |
SIG Technical Reports(1) |
| 公開日 |
2024-02-26 |
| タイトル |
|
|
タイトル |
GitHub Copilotを用いたコード生成におけるプロンプト削除の影響調査 |
| 言語 |
|
|
言語 |
jpn |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
九州大学 |
| 著者所属 |
|
|
|
九州大学 |
| 著者所属 |
|
|
|
九州大学 |
| 著者所属 |
|
|
|
九州大学 |
| 著者所属 |
|
|
|
九州大学 |
| 著者所属 |
|
|
|
九州大学 |
| 著者所属(英) |
|
|
|
en |
|
|
Kyushu University |
| 著者所属(英) |
|
|
|
en |
|
|
Kyushu University |
| 著者所属(英) |
|
|
|
en |
|
|
Kyushu University |
| 著者所属(英) |
|
|
|
en |
|
|
Kyushu University |
| 著者所属(英) |
|
|
|
en |
|
|
Kyushu University |
| 著者所属(英) |
|
|
|
en |
|
|
Kyushu University |
| 著者名 |
戸井, 裕規
小栁, 慶
野口, 広太郎
近藤, 将成
亀井, 靖高
鵜林, 尚靖
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
GitHub Copilot はプログラム内容を記述したコメントや，開発中のプログラムからコードを生成する，大規模言語モデルをベースとした開発支援ツールであり，近年，開発現場で普及しつつある. 大規模言語モデルの特徴の 1 つに，入力として与えるプロンプトによって，出力に違いが出ることがある．例えば，GitHub Copilot はプロンプトに用いられる言語の違いにより，性能に影響が発生する．プロンプトが GitHub Copilot の性能に与える影響についての研究が行われている一方で，プロンプトに記述されている項目には，性能にあまり影響しないものがある可能性がある．性能に影響を与えない項目を入力することは，入力の手間暇や大規模言語モデルのコストを考えると避けたい．プロンプト内の特定の項目の有無がどのような影響を与えるかを知ることで，より効率的なプロンプトの作成が可能となると考えた．そこで本稿では，AtCoder Beginner Contest の難易度が A，B，C，D，問題番号が 99～287 の合計 756 問を用いて，GitHub Copilot の性能に影響を与えるプロンプトの項目を知ることを目的とし，調査を行なった．調査の結果，問題文が，最も Copilot の性能へ影響を与えていたことがわかった．削除する項目に問題文が含まれていると，最大 42.01% 性能が低下した． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10112981 |
| 書誌情報 |
研究報告ソフトウェア工学（SE）
巻 2024-SE-216,
号 7,
p. 1-8,
発行日 2024-02-26
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8825 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-SE24216007.pdf (1.2 MB)
