WEKO3
アイテム
データセットの非独立性が機械学習モデルの精度に与える影響調査
https://ipsj.ixsq.nii.ac.jp/records/226841
https://ipsj.ixsq.nii.ac.jp/records/2268416f590b4e-7085-475e-bb2b-89bada42f1e4
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-SE23214015.pdf (1.5 MB)
2025年7月13日からダウンロード可能です。
|
Copyright (c) 2023 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, SE:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2023-07-13 | |||||||||||
| タイトル | ||||||||||||
| タイトル | データセットの非独立性が機械学習モデルの精度に与える影響調査 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||||
| 著者名 |
服部, 文志
× 服部, 文志
× 松下, 誠
× 肥後, 芳樹
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | ソフトウェア開発者のコーディング能力を客観的に判定することを目的として，ソースコードを利用した機械学習・深層学習による判定手法が提案されている．特に深層学習を用いた手法では，ソースコードの構文的・意味的情報を利用することで高い精度で判定を行うことができる．しかし，この深層学習モデルは未知のデータに対する判定精度，つまり汎化性能が低いことが筆者らの先行研究で確認されているが，その原因については明らかになっていない．そこで本研究では，精度低下の原因についての調査を行った．その結果，モデルの性能評価を行う際に利用された，データセットの利用方法に問題があるのではないかということが分かった．データセットの非独立性を極力排除した利用方法について検討を行い，それに従って今回調査を行った結果，先行研究で報告されたモデルの精度は，当初報告された結果と比べて約30％低下したことを確認した． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10112981 | |||||||||||
| 書誌情報 |
研究報告ソフトウェア工学（SE） 巻 2023-SE-214, 号 15, p. 1-8, 発行日 2023-07-13 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8825 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
