WEKO3
アイテム
KACE：知識融合と信頼性推定を用いたGNNからMLPへの知識蒸留フレームワーク
https://doi.org/10.20729/0002009107
https://doi.org/10.20729/00020091079eeea371-37b6-4765-9c8f-739e8ef1fd3e
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-TOD1902005.pdf (1.3 MB)
2028年4月21日からダウンロード可能です。
|
Copyright (c) 2026 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, DBS:会員：¥0, IFAT:会員：¥0, DLIB:会員：¥0 | ||
| Item type | Trans(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2026-04-21 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | KACE：知識融合と信頼性推定を用いたGNNからMLPへの知識蒸留フレームワーク | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | KACE: GNN-to-MLP Distillation Framework with Knowledge Amalgamation and Confidence Estimation | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | [研究論文] 知識蒸留，グラフニューラルネットワーク，GNN-to-MLP | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||||
| 資源タイプ | journal article | |||||||||
| ID登録 | ||||||||||
| ID登録 | 10.20729/0002009107 | |||||||||
| ID登録タイプ | JaLC | |||||||||
| 著者所属 | ||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||
| 著者所属 | ||||||||||
| 大阪大学大学院情報科学研究科 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Graduate School of Information Science and Technology, The University of Osaka | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Graduate School of Information Science and Technology, The University of Osaka | ||||||||||
| 著者名 |
中山,樹
× 中山,樹
× 鬼塚,真
|
|||||||||
| 著者名(英) |
Itsuki Nakayama
× Itsuki Nakayama
× Makoto Onizuka
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | グラフニューラルネットワーク（GNN）はさまざまなグラフ機械学習タスクにおいて高い性能を示す一方で，推論速度が遅いという問題がある．近年，推論速度の向上を目的として，GNNから多層パーセプトロン（MLP）への知識蒸留手法（GNN-to-MLP）が注目を集めている．しかしながら，既存の手法では単一の教師モデルのみを使用するか，あるいは単一種類の知識しか活用しておらず，教師モデルに内在する暗黙的な知識を十分に活用できていないという問題がある．本論文では，複数の教師モデルと多様な種類の知識を効果的に活用する知識統合・信頼性推定フレームワークKACEを提案する．具体的には，各ノードに対してまず教師モデルごとの重要度を算出し，次いで複数の教師モデルからの出力/中間表現を統合する．その後，各ノードに対する信頼度スコアを算出し，損失関数内の重みを調整することで効果的な知識蒸留を実現する．さらに，KACEは既存のGNN-to-MLP手法と組み合わせることが可能であり，これにより精度向上に寄与する．本手法を既存手法と組み合わせた場合，実際のベンチマークデータセット5種類において性能向上が確認された． | |||||||||
| 論文抄録(英) | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | Although graph neural networks (GNNs) demonstrate high performance across various graph machine learning tasks, they face the challenge of high inference latency. Recently, knowledge distillation methods from GNN to multi-layer perceptrons (MLPs), known as GNN-to-MLP, have gained attention as a means to improve inference speed. However, existing methods utilize only a single teacher model or a single type of knowledge, failing to fully leverage the implicit knowledge inherent in teacher models. In this paper, we propose a Knowledge Amalgamation and Confidence Estimation Framework (KACE), which effectively utilizes multiple teacher models and types of knowledge. Specifically, we first calculate the importance of teacher models for each node and then integrate the outputs and intermediate representations from multiple teachers. Subsequently, we calculate confidence scores for each node and adjust the weights in the loss function to achieve effective knowledge distillation. Furthermore, KACE can be combined with existing GNN-to-MLP methods, contributing to improved accuracy. Our approach, when combined with existing methods, achieves performance improvements across five benchmark datasets in a practical setting. | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AA11464847 | |||||||||
| 書誌情報 |
情報処理学会論文誌データベース（TOD） 巻 19, 号 2, p. 41-52, 発行日 2026-04-21 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 1882-7799 | |||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
