単言語話者のための日英コードスイッチング音声の認識と翻訳

• Item type: Journal(1)
• 公開日: 2021-03-15
• タイトル: 単言語話者のための日英コードスイッチング音声の認識と翻訳
• タイトル / 言語: en
• タイトル: Recognition and Translation of Japanese-English Code-switching Speech for Monolingual Speakers
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集：若手研究者] コードスイッチング，音声認識，BERT，機械翻訳，マルチタスク学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00210254
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 奈良先端科学技術大学院大学／理化学研究所革新知能統合研究センター観光情報解析チーム
• 著者所属: 奈良先端科学技術大学院大学／理化学研究所革新知能統合研究センター観光情報解析チーム
• 著者所属: 奈良先端科学技術大学院大学／理化学研究所革新知能統合研究センター観光情報解析チーム
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology / RIKEN, Center for Advanced Intelligence Project AIP, Tourism Information Analytics Team
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology / RIKEN, Center for Advanced Intelligence Project AIP, Tourism Information Analytics Team
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology / RIKEN, Center for Advanced Intelligence Project AIP, Tourism Information Analytics Team
• 著者名: 中山, 佐保子; サクティ, サクリアニ; 中村, 哲
• 著者名(英): Sahoko, Nakayama; Sakriani, Sakti; Satoshi, Nakamura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 会話の中で複数の言語が切り替わる現象は，コードスイッチングと呼ばれる．コードスイッチングは，言語が切り替わる場所や長さによってさまざまなものがある．従来の音声認識システムは，そのようなコードスイッチングを扱うのが難しく，解決すべき課題の1つであった．これまで研究されてきたコードスイッチング音声認識は，言語が混ざったコードスイッチング音声を，そのまま言語が混ざったコードスイッチングテキストに書き起こすことだけを目的とした．それは，結局，コードスイッチングを理解できる人だけが認識結果を理解することを想定する．一方，本研究は，コードスイッチング話者と単言語話者の会話を想定し，コードスイッチング話者の発言を単言語話者が理解できるように支援する．コードスイッチング音声認識の認識結果からBidirectional Encoder Representations from Transformers（BERT）やニューラル機械翻訳を用いて単言語に音声翻訳するカスケードアプローチと，シングルタスクやマルチタスク学習でコードスイッチング音声から単言語テキストに直接音声翻訳する直接アプローチの，合わせて4手法を比較し，日英コードスイッチングの音声を単言語の日本語および英語に翻訳するシステムを開発する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Bilingual speakers often mix two or more languages in their conversation. Such a phenomenon is called code-switching (CS). The switching units and positions may be different variously, and the length of a unit can be from word unit to phrase length beyond the loanword unit. The CS phenomenon causes difficulties for automatic speech recognition (ASR) since the system has to be able to control multilingual input. The CS ASR for various language pairs has been investigated in the past. However, most of the goals for developing a CS ASR is to transcribe CS speech into CS text, which supposes that only those who understand the CS use it. In contrast, in this study, we focus on the conversations between CS speakers and monolingual speakers; and we aim to assist monolingual speakers to understand what CS speakers say. We develop a system that recognizes CS speech and translates to monolingual text. We investigated two cascade approaches from ASR by a neural machine translation (NMT) and Bidirectional Encoder Representations from Transformers (BERT), and two direct approaches by single-task learning and multi-task learning. In the end, we compare and review these four ways on a translation task from Japanese-English CS speech.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 62, 号 3, p. 903-914, 発行日 2021-03-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764