エッジ向けGATの分布シフト検知とオンデバイスファインチューニング

• Item type: SIG Technical Reports(1)
• 公開日: 2024-08-01
• タイトル: エッジ向けGATの分布シフト検知とオンデバイスファインチューニング
• タイトル / 言語: en
• タイトル: Distribution Shift Detection and On-device Fine-tuning of GAT for Edge Devices
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: コンパイラ・最適化
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者名: 中澤, 和貴; 松谷, 宏紀
• 著者名(英): Kazuki, Nakazawa; Hiroki, Matsutani
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，エッジデバイス上の機械学習を行うオンデバイス学習が通信量を抑えられる点やリアルタイム性に優れる点で注目されており，オンデバイス学習ではデバイスに近いところでモデルを学習できる．本研究では，深層学習を用いてグラフ構造を有するデータをエッジで処理することを想定するが，そのためのモデルとして GNN (Graph Neural Network)や，GNN に対してグラフ構造のある部分に着目することで学習能力を高める設計をした GAT (Graph Attention Network) が開発されている．これらの機械学習モデルでは事前学習データと実環境での推論データの分布が似通うことを前提としていることが多いが，事前学習時の環境とデプロイされる本番環境で分布シフトが発生し，精度劣化に繋がる可能性がある.そこで本研究ではエッジ向けの GAT モデルを基盤に，エッジデバイス上で分布シフトを定量的に評価する CMD (Central Moment Discrepancy) を計算し，さらに LoRA (Low-Rank Adaptation) によるファインチューニングを行って，分布シフトと精度回復の両方に適応しながら計算コストを抑えた．分布シフトが生じているデータセットを用いた実験の結果，提案手法によって再学習時のメモリ消費量が事前学習時のメモリ消費量の 1/163 にまで減少し，精度は 80.8 % 回復した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2024-ARC-258, 号 12, p. 1-6, 発行日 2024-08-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会