WEKO3
アイテム
高水準ワークフローを用いたCerebras CS-3上の不規則GNN学習の実行特性分析
https://ipsj.ixsq.nii.ac.jp/records/2010658
https://ipsj.ixsq.nii.ac.jp/records/201065830d796a2-87f1-4823-99b1-db223ea5d29f
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC26205013.pdf (1.1 MB)
2028年7月30日からダウンロード可能です。
|
Copyright (c) 2026 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, HPC:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2026-07-30 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | 高水準ワークフローを用いたCerebras CS-3上の不規則GNN学習の実行特性分析 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Characterizing Irregular GNN Training on Cerebras CS-3 Through a High-Level Workflow | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | ウェハースケール計算・実行特性 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 東京科学大学 | ||||||||||
| 著者所属 | ||||||||||
| 東京科学大学 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Institute of Science Tokyo | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Institute of Science Tokyo | ||||||||||
| 著者名 |
綿貫,晃雅
× 綿貫,晃雅
× 小林,諒平
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | グラフニューラルネットワーク（GNN）の学習では，グラフ構造上の疎な近傍集約を密な特徴量変換と組み合わせて各層の表現を更新する．特に疎な近傍集約が，不規則な特徴量アクセスとデータ移動によって学習スループットを制限しやすい．Cerebras CS-3は大容量オンチップSRAMと多数のPEをウェハスケールファブリック上に統合しており，特徴量や活性値を計算資源の近くに保持し，近傍集約を細粒度に並列化できれば，GNN学習のデータ移動を減らし，性能改善につなげられる可能性がある．しかし，こうしたデータ配置と並列化を現行のPython/PyTorchベース高水準ワークフローから利用できるかは実験的に確かめる必要がある．本稿では，Cerebras Model Zooに基づくGraphSAGE学習ワークフローをCS-3へ移植し，Open Graph Benchmarkの頂点分類データセット上でNVIDIA H100 GPUベースラインと比較する．本稿で対象としたogbn-arxivとogbn-productsにおいて，CS-3とH100は同程度の検証正解率に到達した．学習ループ中の平均スループットは，現行実験ではCS-3がH100を大きく下回った．また，頂点特徴量キャッシングはH100では学習スループットを改善したが，CS-3では明瞭な改善を示さなかった．さらに，本稿で用いたCS-3側のキャッシュはホストCPUメモリ上に存在し，WSE SRAM上の特徴量常駐には現時点では至っていないことが示唆された．これらの結果は，同ワークフローにおいてGNN固有のデータ局所性や疎集約実行を明示的に制御・観測する手段が限られており，性能解釈と最適化を難しくしている可能性を示唆する． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10463942 | |||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2026-HPC-205, 号 13, p. 1-9, 発行日 2026-07-30 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8841 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
