レシピのテキスト及び画像特徴の学習による画像からの素材・調理法の推定

• Item type: SIG Technical Reports(1)
• 公開日: 2013-08-26
• タイトル: レシピのテキスト及び画像特徴の学習による画像からの素材・調理法の推定
• タイトル / 言語: en
• タイトル: Estimation of Ingredients and Cooking Methods by Learning Texts and Images of Recipes
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 日本電信電話株式会社ＮＴＴメディアインテリジェンス研究所
• 著者所属: 日本電信電話株式会社ＮＴＴメディアインテリジェンス研究所
• 著者所属: 日本電信電話株式会社ＮＴＴメディアインテリジェンス研究所
• 著者所属: 日本電信電話株式会社ＮＴＴメディアインテリジェンス研究所
• 著者所属(英): en
• 著者所属(英): NTT Media Intelligence Laboratories, Nippon Telegraph and Telephone
• 著者所属(英): en
• 著者所属(英): NTT Media Intelligence Laboratories, Nippon Telegraph and Telephone
• 著者所属(英): en
• 著者所属(英): NTT Media Intelligence Laboratories, Nippon Telegraph and Telephone
• 著者所属(英): en
• 著者所属(英): NTT Media Intelligence Laboratories, Nippon Telegraph and Telephone
• 著者名: 数藤, 恭子; 村崎, 和彦; 島村, 潤; 谷口, 行信
• 著者名(英): Kyoko, Sudo; Kazuhiko, Murasaki; Jun, Shimamura; Yukinobu, Taniguchi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 料理レシピから抽出したテキスト特徴と画像特徴を同時に学習しモデル化することによって、料理画像の入力に対し素材や調理法を推定する手法を提案する．料理のジャンルを潜在的な変数として考慮するため，文書解析に用いられるトピックモデルの一つである LDA (Latent Dirichlet Allocation) を適用し，個々のレシピをドキュメント，そのレシピから抽出される特徴ベクトルをワードとしてパラメータの推定を行いモデルを生成する．特徴ベクトルとして，部分画像単位で求めた局所特徴と色ヒストグラムに基づく画像特徴，およびテキストの形態素解析により抽出した単語とをそれぞれシンボル列として結合し同時に学習することで，それらの共起性の高いシンボルを含むトピック群が生成される．4600 レシピの画像とテキストの料理名部分に含まれる単語の学習によってモデルを生成したところ，料理のジャンルに関連すると思われるトピックが観察された．このモデルを用いて料理のジャンル （トピック) と単語の推定実験を行った結果，新たな 100 件のレシピの画像の入力に対して，46 レシピについては上位 10 位以内に実際の料理名中の素材や調理を示す単語が含まれており，今後，栄養推定に応用できる可能性が示唆された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We propose a method for estimating ingredients or cooking methods from food images and texts of recipes. In order to consider food genre as a latent variable, the LDA(Latent Dirichlet Allocation) model, one of the types of topic models for text analysis is adopted. We consider each one recipe as a 'document', and the vectors of symbols generated image features and texts as 'words'. We simultaneously learn the local feature and the color histogram of partial image, and the words obtained by morphological analysis of food name, by making those features into symbols. As a result, topics are derived based on co-occurrence of the symbols. This topic model enables us to probabilistically estimate the word candidates for the input image. The experiment based on learning 4600 recipes and 100 new test images is conducted. The rate that The top 10 words from estimation results correctly includes the words from the corresponding food name of 46 recipes.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2013-CVIM-188, 号 30, p. 1-6, 発行日 2013-08-26
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会