@techreport{oai:ipsj.ixsq.nii.ac.jp:00224768,
 author = {山田, 裕彌 and 矢内, 直人},
 issue = {23},
 month = {Feb},
 note = {マルウェアに対する機械学習を用いた分類は，マルウェアの特性を理解するうえで重要であり，近年では API コールの関係性などを考慮できるように自然言語処理の利用が注目されている．本稿では API コール列に対して自然言語処理モデルである Transformer を複数個用いることで，マルウェアを高い精度で分類するアンサンブル学習（Ensemble Learning）を議論する．既存研究では同じアーキテクチャを持つ Transformer モデルを用い，かつ，その結合方法としてバギングを用いる構成であった．これに対し，本稿ではアンサンブル学習において各 Transformer モデルのアーキテクチャを多様にすること，また，それらの結合法に関して何らかのモデルによるメタ学習を用いるスタッキング手法と各モデルの出力平均を既存研究とそれぞれ比較することで，より高い精度を達成する構成を明らかにする．BERT と同系統のモデルのみを用いたアーキテクチャと多様なモデルを組み合わせた汎用アーキテクチャに関して，既存のマルウェアデータセットを用いて実験したところ，BERT と同系統のモデルのみをアーキテクチャに用いることで，安定して高い精度が得られることを確認した．また，各モデルの結合方法として，XGB によるメタ学習を用いたスタッキングが適していることを示した．さらに，BERT と同系統のモデルのみを用いたアーキテクチャでは，単にモデルの出力を平均することが有効であることを確認した．},
 title = {マルウェア分類に適したTransformerモデルのアンサンブル学習について},
 year = {2023}
}