| Item type |
SIG Technical Reports(1) |
| 公開日 |
2019-05-23 |
| タイトル |
|
|
タイトル |
画像を説明する多言語音声データを利用したクロスモーダル探索 |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
一般セッション2 |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
日本電信電話株式会社コミュニケーション科学基礎研究所 |
| 著者所属 |
|
|
|
日本電信電話株式会社コミュニケーション科学基礎研究所 |
| 著者所属 |
|
|
|
日本電信電話株式会社コミュニケーション科学基礎研究所 |
| 著者所属 |
|
|
|
日本電信電話株式会社コミュニケーション科学基礎研究所 |
| 著者所属 |
|
|
|
Spoken Language Systems Croup, MIT Computer Science and Artificial Intelligence Laboratory |
| 著者所属 |
|
|
|
Spoken Language Systems Croup, MIT Computer Science and Artificial Intelligence Laboratory |
| 著者所属(英) |
|
|
|
en |
|
|
NTT Communication Science Laboratories, NTT Corporation |
| 著者所属(英) |
|
|
|
en |
|
|
NTT Communication Science Laboratories, NTT Corporation |
| 著者所属(英) |
|
|
|
en |
|
|
NTT Communication Science Laboratories, NTT Corporation |
| 著者所属(英) |
|
|
|
en |
|
|
NTT Communication Science Laboratories, NTT Corporation |
| 著者所属(英) |
|
|
|
en |
|
|
Spoken Language Systems Croup, MIT Computer Science and Artificial Intelligence Laboratory |
| 著者所属(英) |
|
|
|
en |
|
|
Spoken Language Systems Croup, MIT Computer Science and Artificial Intelligence Laboratory |
| 著者名 |
大石, 康智
木村, 昭悟
川西, 隆仁
柏野, 邦夫
David, Harwath
James, Glass
|
| 著者名(英) |
Yasunori, Ohishi
Akisato, Kimura
Takahito, Kawanishi
Kunio, Kashino
David, Harwath
James, Glass
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
画像とその内容を説明する音声キャプションを対応付けるためのニューラルネットワークモデルをクロスモーダル探索の観点で評価する．英語やヒンディ語に加えて，新たに収録した日本語音声キャプションからなる 3 か国語で学習したモデルは 1 か国語だけで学習したモデルよりも精度が高いことを確認した．この 3 か国語モデルは，画像を基点として，異なる言語における音声単語を教師なしで対応付け，単語レベルの翻訳知識を獲得することを示す． |
| 論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
We evaluate a deep neural network model capable of learning to associate images and audio captions describing the content of those images on crossmodal search ( image and speech retrieval ). We show that training a trilingual model simultaneously on English, Hindi, and newly recorded Japanese audio caption data offers improved performance over the monolingual models. Further, we demonstrate the trilingual model implicitly learns meaningful word-level translations based on images. |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AA11131797 |
| 書誌情報 |
研究報告コンピュータビジョンとイメージメディア（CVIM）
巻 2019-CVIM-217,
号 42,
p. 1-6,
発行日 2019-05-23
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8701 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-CVIM19217042.pdf (3.2 MB)
