音声認識器の継続学習のためのモデルアベレージング手法における重み設定方法に関する検討

• Item type: SIG Technical Reports(1)
• 公開日: 2024-02-22
• タイトル: 音声認識器の継続学習のためのモデルアベレージング手法における重み設定方法に関する検討
• タイトル / 言語: en
• タイトル: An Investigation into Weighting Strategies for Model Averaging in Continual Learning for Automatic Speech Recognition
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ポスターセッション2 SP/SLP
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 日本電信電話株式会社
• 著者所属: 日本電信電話株式会社
• 著者所属: 日本電信電話株式会社
• 著者所属: 日本電信電話株式会社
• 著者所属: 日本電信電話株式会社
• 著者所属(英): en
• 著者所属(英): NTT
• 著者所属(英): en
• 著者所属(英): NTT
• 著者所属(英): en
• 著者所属(英): NTT
• 著者所属(英): en
• 著者所属(英): NTT
• 著者所属(英): en
• 著者所属(英): NTT
• 著者名: 品山, 健太朗; 佐藤, 宏; 岩田, 具治; 森, 岳至; 浅見, 太一
• 著者名(英): kentaro, Shinayama; hiroshi, Sato; tomoharu, Iwata; takeshi, Mori; taichi, Asami
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，音声認識 AI の適用範囲が広がり，日々様々なデータが取得可能になっている．実用上，一つの音声認識モデルを逐次手に入るデータを差分的に利用して更新させていくことは重要である．このようなモデル更新は継続学習と呼ばれる．しかし，機械学習モデルにおける破滅的忘却の問題が音声認識 AI における継続学習の実現に向けて障壁となっている．破滅的忘却とは新規データを用いて機械学習モデルを更新した際，過去に学習した知識に対する性能が低下する問題である．本研究では破滅的忘却の解決に向けたアプローチとして，異なるデータで学習された複数のモデルを重みづけて加算するモデルアベレージング手法に着目した．従来手法では重みの値を均一に設定していたが，モデルが対応可能な知識の範囲によって重みの値は変動させた方がよいと考えられる．そこで，本研究ではまず適切に重みを設定することによって性能改善が可能であるかを検証した．実験の結果，適切な重み設定によって性能改善が可能であることや，新規データの量や言語によって適切な重みの値が変化することが確認された．次に，適切な重みを決定する要因について分析を行い，モデル更新の際に新規に追加されるデータ量とモデル更新前後におけるパラメータの変動量が適切な重みを決定する要因であることが分かった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In recent years, the application scope of speech recognition AI has expanded, enabling the acquisition of diverse data daily. Practically, it is crucial to continually update a single speech recognition model with newly acquired data. This model updating process is referred to as continual learning. However, the problem of catastrophic forgetting in machine learning models poses a significant barrier to achieving continuous learning in speech recognition AI. Catastrophic forgetting refers to the issue where the performance of previously learned knowledge deteriorates when updating the model with new data. In this study, we focus on a model averaging approach to solve catastrophic forgetting. Model averaging involves weighting and summing multiple models trained on different datasets. While the conventional method uniformly sets weight values, it is considered beneficial to vary the weights based on the range of knowledge the models can handle. Therefore, in this study, we initially verified whether performance improvement is achievable by appropriately setting the weights. The results confirm that performance improvement is possible through proper weight settings and that the optimal weight values vary based on the amount and domain of new data. Subsequently, we conducted an analysis to identify the factors influencing the determination of appropriate weights. The analysis reveals that the quantity of newly added data and the parameter variation before and after model updates are critical factors in determining optimal weights during continual learning.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2024-SLP-151, 号 59, p. 1-6, 発行日 2024-02-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会