SCAツールの精度評価に向けた標準データセットと評価手法の検討

• Item type: Symposium(1)
• 公開日: 2025-10-20
• タイトル / 言語: ja
• タイトル: SCAツールの精度評価に向けた標準データセットと評価手法の検討
• タイトル / 言語: en
• タイトル: Toward Accuracy Evaluation of SCA Tools: Standard Datasets and Evaluation Methodology
• 言語: jpn
• キーワード / 主題Scheme: Other
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 横浜国立大学大学院環境情報学府
• 著者所属: 横浜国立大学大学院環境情報学府
• 著者所属: 横浜国立大学／富士ソフト株式会社
• 著者所属: 横浜国立大学先端科学高等研究院
• 著者所属: 横浜国立大学先端科学高等研究院／横浜国立大学大学院環境情報研究院
• 著者所属(英): Graduate School of Environment and Information Sciences, Yokohama National University
• 著者所属(英): Graduate School of Environment and Information Sciences, Yokohama National University
• 著者所属(英): Yokohama National University / FUJI SOFT INCORPORATED
• 著者所属(英): Institute of Advanced Sciences, Yokohama National University
• 著者所属(英): Institute of Advanced Sciences, Yokohama National University / Graduate School of Environment and Information Sciences, Yokohama National University
• 著者名: 山本,遊大; 木原,百々香; 原,悟史; 佐々木,貴之; 吉岡,克成
• 著者名(英): Yudai Yamamoto; Momoka Kihara; Satoshi Hara; Takayuki Sasaki; Katsunari Yoshioka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，ソフトウェア開発において Open Source Software（OSS）の利用が一般的になっているが，ライセンス違反や脆弱性などのリスクが存在する．これらのリスクを検出するツールとして，Software Composition Analysis（SCA）ツールが注目されているが，検出精度を客観的に評価するための標準的な手法やデータセットは確立されておらず，適切なツール選択や性能比較が困難である．そこで本研究では，SCA ツール評価用データセットとそれに基づく評価手法の確立に向けた第一歩として，ルータファームウェアで使用される代表的な OSS を対象とした作成手法の異なる 2 種類の評価用バイナリデータセットを試作し，商用ツール 1 つとオープンソースツール Syft の精度評価を実施した．その結果，今回の実験においては，データセットに含まれる OSS の選定基準がツールの検出精度に最も大きな影響を与えること，同一 OSS においてはバイナリデータセット作成手法による検出結果への影響は限定的であることを確認した．最後に，SCA ツール評価用データセットの作成と利用におけるエコシステムについて検討し，公平性の観点から SCA ツールベンダーと適切な距離をとりながら，現場のユースケースを反映してデータセットを構築することが必要であることを考察した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In recent years, the use of open source software (OSS) has become commonplace in software development, but there are risks such as license violations and vulnerabilities. Software composition analysis (SCA) tools are attracting attention as a means of detecting these risks, but there are no established standard methods or datasets for objectively evaluating detection accuracy, making it difficult to select appropriate tools and compare their performance. In this study, as a first step toward establishing an evaluation dataset and evaluation methodology for SCA tools, we identified issues to be considered based on use cases and created two types of evaluation datasets of representative OSS used in router firmware, created with different methods. Furthermore, we evaluated the accuracy of one commercial tool and the open-source tool Syft using datasets. In this experiment, we confirmed that the selection criteria for OSS included in datasets have the greatest impact on tool detection accuracy, and that the influence of binary dataset creation methods on detection results was limited when using identical OSS. Finally, we examined the ecosystem for creating and using SCA tool evaluation datasets and concluded that it is necessary to maintain an appropriate distance from SCA tool vendors from the perspective of fairness while updating datasets to reflect real-world use cases.
• 書誌情報: コンピュータセキュリティシンポジウム2025論文集; p. 615-622, 発行日 2025-10-20
• 出版者 / 言語: ja
• 出版者: 情報処理学会