画像ベース中間表現を用いた多言語音声翻訳システムの提案と評価

• Item type: SIG Technical Reports(1)
• 公開日: 2024-12-05
• タイトル: 画像ベース中間表現を用いた多言語音声翻訳システムの提案と評価
• タイトル / 言語: en
• タイトル: Proposal and Evaluation of a Multilingual Speech-to-Speech Translation System Using Image-Based Intermediate Representations
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 特別セッション：分野横断
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 明星大学大学院理工学研究科
• 著者所属: 明星大学大学院理工学研究科
• 著者所属(英): en
• 著者所属(英): The Graduate School of Science and Technology, Meisei University
• 著者所属(英): en
• 著者所属(英): The Graduate School of Science and Technology, Meisei University
• 著者名: 趙, 澤毅; 林, 実
• 著者名(英): Takui, Cho; Minoru, Hayashi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では，多言語音声翻訳におけるモジュール数増加の課題を解決するため，画像を中間表現とする新たな手法を提案する．従来の言語ペアごとのモジュールを用いた翻訳ではなく，画像を言語間の橋渡しとして利用し，音声から画像，画像から音声への相互変換を通じて，多言語間の直接音声翻訳を可能にした．評価実験の結果，視覚的特徴を用いた中間表現が，多言語音声翻訳プロセスにおけるモジュール数の削減に寄与することが示された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This study proposes a novel approach that uses images as intermediate representations to address the challenge of increasing module numbers in multilingual speech-to-speech translation. Rather than relying on language-pair-specific modules, the proposed method enables direct multilingual translation by using images as a bridge between languages, allowing for conversions from speech to images and images to speech. Experimental evaluations demonstrate that using image-based intermediate representations with visual features effectively reduces the number of modules required in the multilingual speech translation process.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2024-SLP-154, 号 29, p. 1-6, 発行日 2024-12-05
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会