WEKO3
アイテム
連合強化学習における蒸留手法の検討
https://ipsj.ixsq.nii.ac.jp/records/217104
https://ipsj.ixsq.nii.ac.jp/records/21710458bbb119-d27f-4ac3-95bd-9dc75cbe05a8
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-ARC22248016.pdf (2.0 MB)
|
Copyright (c) 2022 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
|
|
| ARC:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-03-03 | |||||||||
| タイトル | ||||||||||
| タイトル | 連合強化学習における蒸留手法の検討 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | ニューラルネットワーク | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 東京大学 | ||||||||||
| 著者所属 | ||||||||||
| 東京大学 | ||||||||||
| 著者名 |
劉, 世芾
× 劉, 世芾
× 高前田, 伸也
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 強化学習は環境との相互作用の中で高い報酬を獲得するための方策を学習する枠組みである．エージェントが環境について知れば知るほど学習は有利である．そのため，複数のエージェントを用いた探索がしばしば行われる．しかし，エッジデバイスで集めた情報は必ずしもサーバーや他のデバイスに公開できるとは限らない．学習データのプライバシーを守りながら共同で学習する枠組みは連合学習と呼ばれ，特に教師あり学習の分野では盛んに研究されている．本研究では教師あり学習において通信効率などの面で優れていることが確認された，知識蒸留を用いた手法を強化学習に応用する．我々は環境モデルを用いた連合強化学習の蒸留手法を提案し，この手法が通信コストを 3 桁削減できることを実験によって示した．ところが，同時にこの手法はエピソードの利用効率がベースライン手法に比 べて良くないことも分かった．そこでパラメータ変化量を観察することでその原因を分析し改善を試みた． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10096105 | |||||||||
| 書誌情報 |
研究報告システム・アーキテクチャ（ARC） 巻 2022-ARC-248, 号 16, p. 1-6, 発行日 2022-03-03 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8574 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
