@article{oai:ipsj.ixsq.nii.ac.jp:00227251,
 author = {長谷川, 達人 and Tatsuhito, Hasegawa},
 issue = {8},
 journal = {情報処理学会論文誌},
 month = {Aug},
 note = {深層学習はハイパーパラメータが膨大であり，適切に使いこなすには熟練の技能が必要となる．本研究では，膨大なハイパーパラメータの中でも未解明な点が多いsoftmax関数の温度パラメータTと特徴マップの次元数Mに焦点を当てる．特に行動認識ではモデルサイズを調整することは少なくなく，TとMの関係の解明は重要である．深層学習モデルを出力の分散の観点から理論的に考察した結果，出力層のパラメータはMの制約を受けて最適化されており，最適なTの設定はこの制約を緩和できる可能性があると考えた．本研究では，様々な行動認識データセットやモデル構造において，TとMの関係を実験的に検証する．実験の結果，T=1の従来の設定ではモデルの最良のパフォーマンスを発揮しきれていないこと，Mの増加にともない最適なTも増加すること，最適なTにおいてはsoftmax関数の入力の分布が安定していること等を明らかにした．実験結果をもとに，出力層にLayer Normalizationを挿入することでMの影響を緩和する手法を新たに提案し，追加実験を経て提案手法の有効性を示した．, Deep learning has many hyperparameters and requires skilled operators to use it properly. In this study, we focus on the temperature parameter T of the softmax function and M: the number of dimensions of the feature map, which are still largely unexplained among many hyperparameters. In particular, it is important to clarify the relationship between T and M because, in activity recognition, model scale M is commonly adjusted. Theoretical consideration of deep learning models in terms of output variance suggests that output layer parameters are optimized under the constraint of M, and that optimal T may deregulate this constraint. In this study, we experimentally verify the relationship between T and M on various activity recognition datasets and model architectures. Experimental results show that the model does not perform at its best in the conventional setting of T=1, that the optimal T increases as M increases, and that the distribution of inputs to the softmax function is stable at the optimal T. Based on the experimental results, we proposed a new method to mitigate the effect of M by inserting a layer normalization after the output layer and demonstrated the effectiveness of the proposed method through additional experiments.},
 pages = {1182--1192},
 title = {行動認識における深層学習モデル訓練時の最適なsoftmax温度パラメータ},
 volume = {64},
 year = {2023}
}