現実的な設定におけるメソッド粒度バグ予測モデルの構築および精度評価

• Item type: Journal(1)
• 公開日: 2022-04-15
• タイトル: 現実的な設定におけるメソッド粒度バグ予測モデルの構築および精度評価
• タイトル / 言語: en
• タイトル: Evaluating Method-level Bug Prediction under Realistic Settings
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集:ソフトウェア工学] 品質保証，バグ予測，機械学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00217601
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属: 大阪大学大学院情報科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Osaka University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Osaka University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, Osaka University
• 著者名: 荻野, 翔; 肥後, 芳樹; 楠本, 真二
• 著者名(英): Sho, Ogino; Yoshiki, Higo; Shinji, Kusumoto
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: バグを予測する技術は品質保証に要するコストを低減できると期待されている．バグ予測はより細粒度で行えることが望ましく，メソッド粒度でのバグ予測が注目されている．これまでに，機械学習を用いて構築されたメソッド粒度バグ予測モデルについての調査が何度か行われているが，それらの実験設定には非現実的な部分がある．たとえば，モデルの目的変数として「メソッドにバグが含まれているか」ではなく「メソッドに過去にバグが含まれていたか」が用いられていたり，バグ予測のユースケースにおいて利用不可能なデータに基づいて学習用データセットが構築されていたりする．著者らはそのような非現実的な部分のない，現実的な実験設定のもとで，メソッド粒度バグ予測モデルの予測精度を計測した．その結果，F値は平均で約0.197，AUCは平均で約0.745と計測され，高精度のメソッド粒度バグ予測モデルを構築するには課題が残されていると判明した．また，説明変数算出時に参照する変更履歴の期間および学習に用いるメソッドの存在期間について適切なものを採用することで，予測精度がF値の観点で約15.2%，AUCの観点で約2.9%向上することが確認できた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Bug prediction is a promising technique to reduce the cost of quality assurance. Method-level bug prediction is drawing attention because bug prediction on such finer granularity is desirable. Some research on method-level bug prediction using machine learning have been conducted, but their experimental settings are partly unrealistic. For example, some of them employ “whether a bug has been fixed in the past period” as a dependent variable, and some others build a dataset based on data that cannot be obtained realistically. Therefore, we first evaluate the capability of bug prediction models built under realistic settings. The experimented models resulted in low capability (F-measure of 0.197 and AUC of 0.745 on average). Thus, there are still some issues to be solved to build a high-capability bug prediction model under realistic settings. Next, we found it effective to change (a) interval of development history referenced when calculating process metrics, and (b) period of development history referenced when collecting method for training-dataset. The trial improves the F-measure score by 15.2% and does the AUC score by 2.9%.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 63, 号 4, p. 973-985, 発行日 2022-04-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764