S/Wプラットフォーム更新に伴う性能試験自動化に向けた検討

• Item type: SIG Technical Reports(1)
• 公開日: 2023-03-16
• タイトル: S/Wプラットフォーム更新に伴う性能試験自動化に向けた検討
• タイトル / 言語: en
• タイトル: Consideration for the relationship between automated performance test and S/W platform update
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 設計手法・テスト手法・並列分散処理1
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 三菱電機株式会社
• 著者所属: 三菱電機株式会社
• 著者所属: 三菱電機株式会社
• 著者所属(英): en
• 著者所属(英): Mitsubishi Electric Corporation
• 著者所属(英): en
• 著者所属(英): Mitsubishi Electric Corporation
• 著者所属(英): en
• 著者所属(英): Mitsubishi Electric Corporation
• 著者名: 山田, 竜也; 小野, 優也; 井邊, 研吾
• 著者名(英): Tatsuya, Yamada; Yuya, Ono; Kengo, Ibe
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 継続的インテグレーション (CI) の普及に伴い，組込み機器に対してもイテレーティブな自動テストの適用が広まってきている．CI による自動テストはビルドの実行を契機として実行されるため，実行回数が増大する．そのため，一回当たりの自動テストの効率化，時間短縮が重要視されている．一方，ソフトウェアの変更による性能劣化の検出には回帰テストが有効である．回帰テストによる判定は，あらかじめ設定した閾値を用いた合否判定が行われる．この閾値の設定は，熟練者によって属人的に行われることや，妥当な水準を判定するための試行回数が増大すること，といった課題があった．特に後者の課題は，オープンソースソフトウェア (OSS) のソフトウェア・プラットフォームを利用した開発で多く発生している．これは，OSS は更新頻度が高く，閾値再設定の作業頻度が増加していることが原因だと考えられる．以上より，CI における回帰テストの実行時間を短縮するために，閾値設定の効率化が必要であるといえる．本研究は，回帰テストで用いる性能試験の閾値設定を自動化することで上記の課題解決を図ることを目的とする．今回，少ないテスト回数で性能劣化を検出するための手法を考案し，複数のテストプログラムやベンチマークに適用することで，実用性を検討した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: With the proliferation of Continuous Integration (CI), iterative automated testing has been widely adopted in embedded systems. Automated testing triggered by CI executed in many times according to its integration. Under this situation, effective and short-time execution in automated testing becomes more important. Conformance judgment by regression testing is taken by predefined thresholds. In this definition of thresholds, there are problems that are person-dependent procedures and increasing attempt times. Especially, the latter problem occurred in software platforms integrating Open-Source Softwares (OSS). This may depends on increasing work time to reset thresholds according to high-rate update of OSS. Therefore, to make the work time of resetting thresholds effective, it is necessary to shorten execution time of regression tests in CI. This study aims to solve this problem by automating threshold setting for performance measurement used in regression tests. In this paper, we devised a method for detecting performance degradation with a small number of tests, and applied it to multiple test programs and benchmarks to examine its practicality.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11451459
• 書誌情報: 研究報告システムとLSIの設計技術（SLDM）; 巻 2023-SLDM-202, 号 12, p. 1-7, 発行日 2023-03-16
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8639
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会