WEKO3
アイテム
行動認識におけるSoftmax関数の温度パラメータに関する一考察
https://ipsj.ixsq.nii.ac.jp/records/219627
https://ipsj.ixsq.nii.ac.jp/records/2196279d736ac8-4cc8-4b85-ace8-347c417938f7
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-DICOMO2022053.pdf (1.1 MB)
|
Copyright (c) 2022 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | Symposium(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-07-06 | |||||||
| タイトル | ||||||||
| タイトル | 行動認識におけるSoftmax関数の温度パラメータに関する一考察 | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||
| 資源タイプ | conference paper | |||||||
| 著者所属 | ||||||||
| 福井大学大学院工学研究科 | ||||||||
| 著者名 |
長谷川, 達人
× 長谷川, 達人
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 行動認識モデルは深層学習を用いて実装されることが多くなってきているが，深層学習はモデル構造や最適化手法などハイパーパラメータが膨大であり，適切に使いこなすには熟練の技能が必要となる．本研究では，膨大なハイパーパラメータの中でも未解明な点が多い softmax 関数の温度パラメータ T と特徴マップの次元数 M に焦点を当てる．特に行動認識ではモデルサイズを調整することは少なくなく，T と M の関係の解明は重要である．深層学習モデルを出力の分散の観点から理論的に考察した結果，出力層のパラメータは M の制約を受けて最適化されており，最適なTの設定はこの制約を緩和できる可能性があると考えた．そこで本研究では，T と M の関係を理論的に考察した上で，様々な行動認識データセットやモデル構造において実験的に検証した．実験の結果，T=1 の従来の設定ではモデルの最良のパフォーマンスを発揮しきれていないこと，M の増加に伴い最適な T も増加すること，最適な T においては softmax 関数の入力の分布が安定していることなどを明らかにした． | |||||||
| 書誌情報 |
マルチメディア，分散，協調とモバイルシンポジウム2022論文集 巻 2022, p. 381-388, 発行日 2022-07-06 |
|||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
