極端なクラス不均衡下における機械学習モデルの性能劣化に対する理論的評価と実運用上の影響分析

• Item type: Journal(1)
• 公開日: 2026-09-15
• タイトル / 言語: ja
• タイトル: 極端なクラス不均衡下における機械学習モデルの性能劣化に対する理論的評価と実運用上の影響分析
• タイトル / 言語: en
• タイトル: Theoretical Evaluation of Performance Degradation in Machine Learning Models under Extreme Class Imbalance and Analysis of the Impact on Real Operation
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集：サイバーとフィジカルが融合する未来を支えるコンピュータセキュリティ技術（特選論文）] 評価指標，不均衡データセット，二値分類
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/0002012300
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 防衛大学校サイバー・情報工学科
• 著者所属: 防衛大学校サイバー・情報工学科
• 著者所属(英): en
• 著者所属(英): Department of Computer Science, National Defense Academy
• 著者所属(英): en
• 著者所属(英): Department of Computer Science, National Defense Academy
• 著者名: 田中,優樹; 三村,守
• 著者名(英): Yuki Tanaka; Mamoru Mimura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ネットワークへの侵入やマルウェアなどのサイバー攻撃に対して，機械学習を用いた手法が提案されている．セキュリティ分野において，実環境下では良性データが大半を占める極端な不均衡であることが先行研究で指摘されている．対策としてモデル評価に不均衡なテストデータを用いる研究が行われているが，単一の評価指標の値を報告するにとどまり，不均衡率の変化に対する指標の理論的挙動が十分に分析されておらず，学術的評価と実運用上の検知性能との乖離が存在する可能性がある．本研究では，Real Environment Tolerance Curve（RETC）を導入し，データ集合・分類器および混同行列を厳密に定義した上で，不均衡率が評価指標に与える影響を理論的に解析する．さらにモデル性能の実測値と理想的な分類器から導出される基準理論曲線との差を定量的に表すRETC乖離度Φを提案する．実際のデータセットを用いた検証実験では，テストデータの不均衡率が1から10に増加すると，RNNの偽陽性率が2.5%から8.7%へと3倍以上悪化することを確認し，これは良性データ100万件に対して8万件以上の誤検知が発生する割合である．この結果から，RETCとRETC乖離度Φは，不均衡率に対する理論的な性能値と比較することで単一クラス比の評価ではとらえられない性能劣化を明確化し，実環境における検知性能を評価する有効な指標であることを確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Machine learning-based methods have been proposed for cyber defense, such as intrusion detection and malware detection. However, real environments often exhibit extreme class imbalance with benign data comprising the vast majority of samples. Although some studies evaluate models on imbalanced test data, they typically report metrics at a single imbalance ratio. Consequently, the behavior of these metrics under varying imbalance remains insufficiently examined, leaving a potential gap between academic evaluations and operational detection performance. We address this gap with the Real Environment Tolerance Curve (RETC). After theoretically defining the data sets, classifiers, and confusion matrix, we derive how standard evaluation metrics depend on the imbalance ratio. We also propose the RETC divergenceΦ, which measures the gap between observed model performance and a reference curve derived from ideal classifiers. Experiments on real datasets show that when the test imbalance ratio increases from 1 to 10, the false positive rate of an RNN model rises from 2.5% to 8.7%, yielding more than 80,000 false positives per one million benign samples. RETC and the RETC divergence Φ reveal performance degradation that a single class ratio cannot capture and provide practical indicators for evaluating both detection performance and operational burden in real environments.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 67, 号 9, p. 1316-1328, 発行日 2026-09-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764
• 公開者 / 言語: ja
• 公開者 / 出版者: 情報処理学会