Transformerベースのコード生成モデルにおける自動テスト評価手法の提案

• Item type: Symposium(1)
• 公開日: 2022-08-29
• タイトル: Transformerベースのコード生成モデルにおける自動テスト評価手法の提案
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: テスト
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 日本女子大学大学院理学研究科数理・物性構造科学専攻
• 著者所属: 日本女子大学理学部数物情報科学科
• 著者所属: 日本女子大学大学院理学研究科数理・物性構造科学専攻
• 著者所属: 日本女子大学大学院理学研究科数理・物性構造科学専攻
• 著者所属: 日本女子大学理学部数物情報科学科
• 著者所属(英): en
• 著者所属(英): Graduate School of Science Division of Mathematical and Physical Sciences
• 著者所属(英): en
• 著者所属(英): Department of Mathematics, Physics, and Computer Science
• 著者所属(英): en
• 著者所属(英): Graduate School of Science Division of Mathematical and Physical Sciences
• 著者所属(英): en
• 著者所属(英): Graduate School of Science Division of Mathematical and Physical Sciences
• 著者所属(英): en
• 著者所属(英): Department of Mathematics, Physics, and Computer Science
• 著者名: 小原, 百々雅; 佐藤, 美唯; 梶浦, 照乃; 富岡, 真由; 倉光, 君郎
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Transformer による言語生成モデルは，深層学習のソフトウェア工学への関心の高まりとともに，新たなコード生成の手段として注目を集めている．コード生成モデルは，原理的には，機械翻訳における出力言語を自然言語からコードに置き換えたものである．そのため，出力されるコードも，BLEUなど機械翻訳の評価尺度で評価されてきた．しかし，コードは自然言語に比べ，文法規則（構文エラー）に対し敏感であり，少しの違いでも意味が全く異なる．機械翻訳の評価尺度で高スコアが得られた予測結果であっても，コードとしては正しさに欠けることが指摘されてきた．本研究では，コードの意味的な正しさをより捉えるため，ソフトウェアテストに基づく評価法，具体的には，生成した予測コードと参照コードをそれぞれ実行し，その実行結果を比較することで予測の正しさを判定する方法を試してみた．我々は，自然言語からPythonコードを生成するコード生成モデルを構築し，従来の評価尺度とソフトウェアテストによる評価を比較した．本研究で得られた知見として，ソフトウェアテストによる評価はEM(Exact Match)の指標に近いことが明らかになった．
• 書誌情報: ソフトウェアエンジニアリングシンポジウム2022論文集; 巻 2022, p. 10-19, 発行日 2022-08-29
• 出版者 / 言語: ja
• 出版者: 情報処理学会