ログイン 新規登録
言語:

WEKO3

  • トップ
  • ランキング
To
lat lon distance
To

Field does not validate



インデックスリンク

インデックスツリー

メールアドレスを入力してください。

WEKO

One fine body…

WEKO

One fine body…

アイテム

  1. 研究報告
  2. 音声言語情報処理(SLP)
  3. 2024
  4. 2024-SLP-151

音声認識器の継続学習のためのモデルアベレージング手法における重み設定方法に関する検討

https://ipsj.ixsq.nii.ac.jp/records/232529
https://ipsj.ixsq.nii.ac.jp/records/232529
07b91e09-ca99-4951-a7a7-5820c685c7df
名前 / ファイル ライセンス アクション
IPSJ-SLP24151059.pdf IPSJ-SLP24151059.pdf (1.7 MB)
Copyright (c) 2024 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
SLP:会員:¥0, DLIB:会員:¥0
Item type SIG Technical Reports(1)
公開日 2024-02-22
タイトル
タイトル 音声認識器の継続学習のためのモデルアベレージング手法における重み設定方法に関する検討
タイトル
言語 en
タイトル An Investigation into Weighting Strategies for Model Averaging in Continual Learning for Automatic Speech Recognition
言語
言語 jpn
キーワード
主題Scheme Other
主題 ポスターセッション2 SP/SLP
資源タイプ
資源タイプ識別子 http://purl.org/coar/resource_type/c_18gh
資源タイプ technical report
著者所属
日本電信電話株式会社
著者所属
日本電信電話株式会社
著者所属
日本電信電話株式会社
著者所属
日本電信電話株式会社
著者所属
日本電信電話株式会社
著者所属(英)
en
NTT
著者所属(英)
en
NTT
著者所属(英)
en
NTT
著者所属(英)
en
NTT
著者所属(英)
en
NTT
著者名 品山, 健太朗

× 品山, 健太朗

品山, 健太朗

Search repository
佐藤, 宏

× 佐藤, 宏

佐藤, 宏

Search repository
岩田, 具治

× 岩田, 具治

岩田, 具治

Search repository
森, 岳至

× 森, 岳至

森, 岳至

Search repository
浅見, 太一

× 浅見, 太一

浅見, 太一

Search repository
著者名(英) kentaro, Shinayama

× kentaro, Shinayama

en kentaro, Shinayama

Search repository
hiroshi, Sato

× hiroshi, Sato

en hiroshi, Sato

Search repository
tomoharu, Iwata

× tomoharu, Iwata

en tomoharu, Iwata

Search repository
takeshi, Mori

× takeshi, Mori

en takeshi, Mori

Search repository
taichi, Asami

× taichi, Asami

en taichi, Asami

Search repository
論文抄録
内容記述タイプ Other
内容記述 近年,音声認識 AI の適用範囲が広がり,日々様々なデータが取得可能になっている.実用上,一つの音声認識モデルを逐次手に入るデータを差分的に利用して更新させていくことは重要である.このようなモデル更新は継続学習と呼ばれる.しかし,機械学習モデルにおける破滅的忘却の問題が音声認識 AI における継続学習の実現に向けて障壁となっている.破滅的忘却とは新規データを用いて機械学習モデルを更新した際,過去に学習した知識に対する性能が低下する問題である.本研究では破滅的忘却の解決に向けたアプローチとして,異なるデータで学習された複数のモデルを重みづけて加算するモデルアベレージング手法に着目した.従来手法では重みの値を均一に設定していたが,モデルが対応可能な知識の範囲によって重みの値は変動させた方がよいと考えられる.そこで,本研究ではまず適切に重みを設定することによって性能改善が可能であるかを検証した.実験の結果,適切な重み設定によって性能改善が可能であることや,新規データの量や言語によって適切な重みの値が変化することが確認された.次に,適切な重みを決定する要因について分析を行い,モデル更新の際に新規に追加されるデータ量とモデル更新前後におけるパラメータの変動量が適切な重みを決定する要因であることが分かった.
論文抄録(英)
内容記述タイプ Other
内容記述 In recent years, the application scope of speech recognition AI has expanded, enabling the acquisition of diverse data daily. Practically, it is crucial to continually update a single speech recognition model with newly acquired data. This model updating process is referred to as continual learning. However, the problem of catastrophic forgetting in machine learning models poses a significant barrier to achieving continuous learning in speech recognition AI. Catastrophic forgetting refers to the issue where the performance of previously learned knowledge deteriorates when updating the model with new data. In this study, we focus on a model averaging approach to solve catastrophic forgetting. Model averaging involves weighting and summing multiple models trained on different datasets. While the conventional method uniformly sets weight values, it is considered beneficial to vary the weights based on the range of knowledge the models can handle. Therefore, in this study, we initially verified whether performance improvement is achievable by appropriately setting the weights. The results confirm that performance improvement is possible through proper weight settings and that the optimal weight values vary based on the amount and domain of new data. Subsequently, we conducted an analysis to identify the factors influencing the determination of appropriate weights. The analysis reveals that the quantity of newly added data and the parameter variation before and after model updates are critical factors in determining optimal weights during continual learning.
書誌レコードID
収録物識別子タイプ NCID
収録物識別子 AN10442647
書誌情報 研究報告音声言語情報処理(SLP)

巻 2024-SLP-151, 号 59, p. 1-6, 発行日 2024-02-22
ISSN
収録物識別子タイプ ISSN
収録物識別子 2188-8663
Notice
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
出版者
言語 ja
出版者 情報処理学会
戻る
0
views
See details
Views

Versions

Ver.1 2025-01-19 10:25:01.667125
Show All versions

Share

Mendeley Twitter Facebook Print Addthis

Cite as

エクスポート

OAI-PMH
  • OAI-PMH JPCOAR
  • OAI-PMH DublinCore
  • OAI-PMH DDI
Other Formats
  • JSON
  • BIBTEX

Confirm


Powered by WEKO3


Powered by WEKO3