組込み向け基盤ソフトウェア更新における性能試験の自動化システムの検討

• Item type: Journal(1)
• 公開日: 2024-02-15
• タイトル: 組込み向け基盤ソフトウェア更新における性能試験の自動化システムの検討
• タイトル / 言語: en
• タイトル: Study on Automated Performance Testing System for Embedded Software Platform Updates
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集:組込みシステム工学] 性能試験，回帰試験，試験自動化，継続的インテグレーション
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00232323
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 三菱電機株式会社
• 著者所属: 三菱電機株式会社
• 著者所属: 三菱電機株式会社
• 著者所属(英): en
• 著者所属(英): Mitsubishi Electric Corporation
• 著者所属(英): en
• 著者所属(英): Mitsubishi Electric Corporation
• 著者所属(英): en
• 著者所属(英): Mitsubishi Electric Corporation
• 著者名: 山田, 竜也; 小野, 優也; 井邊, 研吾
• 著者名(英): Tatsuya, Yamada; Yuya, Ono; Kengo, Ibe
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 継続的インテグレーション（CI）による組込み機器に対する自動試験が広まってきている．CIにおける自動試験は，実行回数が増大するため1回あたりの自動試験の効率化や時間短縮が重要である．一方，ソフトウェア（S/W）の変更による性能の劣化や向上の検出には回帰試験が有効であり，CIと回帰試験の組合せによるS/W品質の確保が期待される．回帰試験の合否判定に使用される閾値の設定には，妥当な基準の判定のために，試行回数が増大するなどの課題があった．そのため，CIでの回帰試験の時間短縮には，閾値設定の効率化が必要である．本研究は，この閾値設定の自動化によって，課題の解決を図ることを目的とする．今回，少ない試験回数でS/Wの性能劣化や向上を検出するための手法を考案し，複数の性能試験に対して有効であることが分かった．また，本手法を基盤S/Wのバージョンアップ時の性能試験に適用し，実際に機能することが示せた．さらに，組込み機器向けに本提案手法を適用するための，クラウドのCI/CDパイプラインと連携した性能試験の自動化システムを構築した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Automated testing of embedded devices through continuous integration (CI) is becoming more widespread. In CI, it is important to improve the efficiency of each automatic test because the number of tests increases. Meanwhile, regression tests are effective in detecting performance degradation or improvement due to software changes, and a combination of CI and regression tests is expected to ensure software quality. Setting thresholds for pass/fail decisions in regression testing has had its challenges, such as increasing the number of trials to determine a significant level. Therefore, efficient threshold setting is necessary to reduce the time for regression testing in CI. The purpose of this study is to solve this problem by automating this threshold setting. In this paper, we propose a method for detecting software performance degradation or improvement with a small number of tests and found it to be effective for multiple performance tests. The method was also applied to performance testing of the upgrade of the software platform, and was shown to work in practice. Furthermore, we developed the automated testing system combined with cloud CI/CD pipelines to apply our method to embedded devices.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 65, 号 2, p. 552-562, 発行日 2024-02-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764
• 公開者 / 言語: ja
• 公開者 / 出版者: 情報処理学会