| Item type |
SIG Technical Reports(1) |
| 公開日 |
2020-11-25 |
| タイトル |
|
|
タイトル |
BERTによるSequence-to-Sequence音声認識への知識蒸留 |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
音声検索・認識 |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
京都大学大学院情報学研究科 |
| 著者所属 |
|
|
|
京都大学大学院情報学研究科 |
| 著者所属 |
|
|
|
京都大学大学院情報学研究科 |
| 著者所属 |
|
|
|
京都大学大学院情報学研究科 |
| 著者所属 |
|
|
|
京都大学大学院情報学研究科 |
| 著者所属 |
|
|
|
京都大学大学院情報学研究科 |
| 著者所属(英) |
|
|
|
en |
|
|
Graduate School of Informatics, Kyoto University |
| 著者所属(英) |
|
|
|
en |
|
|
Graduate School of Informatics, Kyoto University |
| 著者所属(英) |
|
|
|
en |
|
|
Graduate School of Informatics, Kyoto University |
| 著者所属(英) |
|
|
|
en |
|
|
Graduate School of Informatics, Kyoto University |
| 著者所属(英) |
|
|
|
en |
|
|
Graduate School of Informatics, Kyoto University |
| 著者所属(英) |
|
|
|
en |
|
|
Graduate School of Informatics, Kyoto University |
| 著者名 |
二見, 颯
稲熊, 寛文
上乃, 聖
三村, 正人
坂井, 信輔
河原, 達也
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
近年，音声認識において Sequence-to-Sequence（Seq2Seq）モデルが注目されている．Seq2Seq 音声認識モデルは音声とテキストのペアデータから学習されるため，テキストデータを追加利用することが課題となっている．また，Seq2Seq モデルではある単語を予測するためにそれ以前の文脈が用いられ，以後の文脈を用いることができない．そこで，本研究では BERT をある単語の以前だけでなく以後の文脈を用いて予測を行う言語モデルとして Seq2Seq 音声認識へ適用する．適用法として BERT を教師モデル，Seq2Seq 音声認識モデルを生徒モデルとした知識蒸留法を提案する．ここで，BERT の入力として複数発話にまたがるコンテキストを利用する．主に日本語話し言葉コーパス（CSJ）上の評価実験によって，提案法による認識精度の大きな改善を確認した．さらに，従来の言語モデル適用法であるリスコアリングや Shallow Fusion と比較し，提案法は推論速度，認識精度ともに上回ることを確認した． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10442647 |
| 書誌情報 |
研究報告音声言語情報処理（SLP）
巻 2020-SLP-134,
号 2,
p. 1-6,
発行日 2020-11-25
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8663 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-SLP20134002.pdf (2.4 MB)
