WEKO3
アイテム
ChatGPTのブラックボックステストへの適用および人間との協働可能性についての調査
https://ipsj.ixsq.nii.ac.jp/records/239256
https://ipsj.ixsq.nii.ac.jp/records/239256a3c9b614-96a8-4de3-a810-02a9f74334dc
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-SES2024028.pdf (565.8 kB)
2026年9月10日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, SE:会員：¥0, DLIB:会員：¥0 | ||
| Item type | Symposium(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-09-10 | |||||||||
| タイトル | ||||||||||
| タイトル | ChatGPTのブラックボックステストへの適用および人間との協働可能性についての調査 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 大規模言語モデル | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| 日本電信電話株式会社ソフトウェアイノベーションセンタ | ||||||||||
| 著者所属 | ||||||||||
| 日本電信電話株式会社ソフトウェアイノベーションセンタ | ||||||||||
| 著者名 |
切貫, 弘之
× 切貫, 弘之
× 丹野, 治門
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 近年，ChatGPT を始めとする大規模言語モデル（LLM）が自然言語処理やソフトウェア開発といった様々な分野で適用され，大きな成果を挙げている．LLM のソフトウェアテストへの利用は有望であるものの，これまでの取り組みは主にユニットテストに限られており，その他のテスト手法についてはまだ十分に探究されていない．本論文では，特にブラックボックステストに焦点を当て，ChatGPT によって作成されたテストケースと人間の開発者によって作成されたテストケースを比較評価した．ChatGPT（GPT-4）と 4 人の開発者がそれぞれ，著者らが作成した 3 つのアプリケーション仕様に基づいてブラックボックステストケースを作成した．比較の狙いは，LLM と人間が作成するテストケースの特徴を分析し，LLM のブラックボックステストへの適用可能性を評価することである．評価の結果，ChatGPT はテスト観点のカバレッジに関して，人間の開発者によって作成されたテストケースと同等か，わずかに上回ることが分かった．さらに，ChatGPT と人間では作成するテストケースの傾向に違いがあり，ChatGPT と人間が協働することは人間同士のペアが協働するよりも効果的である可能性が示された．一方で，評価の中で判明した，ChatGPT が生成するテストケースを使用する際に注意すべき問題についても議論する． | |||||||||
| 書誌情報 |
ソフトウェアエンジニアリングシンポジウム2024論文集 巻 2024, p. 165-173, 発行日 2024-09-10 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
