動画フレーム間の差を用いた機械学習によるDeepfake動画の検出

• Item type: SIG Technical Reports(1)
• 公開日: 2024-03-11
• タイトル: 動画フレーム間の差を用いた機械学習によるDeepfake動画の検出
• タイトル / 言語: en
• タイトル: Deepfake Video Detection Using Machine Learning with Differences Between Video Frames
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 機械学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 現在，東京工科大学
• 著者所属: 現在，東京工科大学
• 著者所属: 現在，東京工科大学
• 著者所属: 現在，東京工科大学
• 著者所属: 現在，東京工科大学
• 著者所属: 現在，東京工科大学
• 著者所属: 現在，東京工科大学
• 著者所属(英): en
• 著者所属(英): Presently with Tokyo University of Technology
• 著者所属(英): en
• 著者所属(英): Presently with Tokyo University of Technology
• 著者所属(英): en
• 著者所属(英): Presently with Tokyo University of Technology
• 著者所属(英): en
• 著者所属(英): Presently with Tokyo University of Technology
• 著者所属(英): en
• 著者所属(英): Presently with Tokyo University of Technology
• 著者所属(英): en
• 著者所属(英): Presently with Tokyo University of Technology
• 著者所属(英): en
• 著者所属(英): Presently with Tokyo University of Technology
• 著者名: 山, 裕人; 辻村, 剛; 袖山, 正悟; 筒井, 友葵; 伊藤, 秀武; 楊, 柳楠; 宇田, 隆哉
• 著者名(英): Yuto, Yama; Tsuyoshi, Tsujimura; Shogo, Sodeyama; Yuki, Tsutsui; Shumu, Itou; Liunan, Yang; Ryuya, Uda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 生成 AI の発達によって AI がテキストや画像，動画を作れるようになった．しかし，この技術を悪用し，偽の画像や動画を作成して社会に混乱をもたらす人々が現れている．対抗策として AI が生成した偽動画 (Deepfake) を検出する手法が研究されているが完全ではない．そこで，本論文では動画をフレームごとに静止画に変換し，フレーム間のピクセルごとの RGB，HSV，HLS の差を機械学習することで Deepfake を検出する手法を提案する．実験の結果，CNN では RGB，HSV，HLS すべてにおいて精度が 50% 前後，CNN-LSTM では RGB は 50%，HSV，HLS は 55% 前後の精度であり，CNN-LSTM では訓練用の画像を増やした場合においても精度の上昇は 61% にとどまった．一方で SVM，RF を用いたアンサンブル手法では 100% の精度で検出可能であり，SVM 単体で 37%，RF 単体で 100% の精度となることが確認できた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: With the development of generative AI, AI has become capable of creating text, images, and videos. However, some people abuse this technology and create fake images and videos to cause chaos in society. As a countermeasure, methods for detecting AI-generated fake videos (deepfakes) have been developed, but they are not perfect. Therefore, in this paper, we propose a method to detect deepfakes using machine learning with the differences in RGB, HSV, and HLS for each pixel between frames by converting videos to still images frame by frame. The experimental results showed that CNN had the accuracy of about 50% for RGB, HSV and HLS, and CNN-LSTM had the accuracy of about 50% for RGB and 55% for HSV and HLS. For CNN-LSTM, the accuracy increased to 61% even when the number of training images was increased. On the other hand, the ensemble method using SVM and RF could detect the deepfakes with 100% accuracy. It was also confirmed that the accuracy was 37% with SVM alone and 100% with RF alone.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11235941
• 書誌情報: 研究報告コンピュータセキュリティ（CSEC）; 巻 2024-CSEC-104, 号 8, p. 1-8, 発行日 2024-03-11
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8655
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会