画像解析

私達は料理の作り方を見て、真似ることで効率よく学習します。また、料理の見た目は美味しさにも影響を与えます。 このように、視覚情報は料理において重要です。

クックパッドでは Deep Convolutional Neural Networks で材料や手順、料理の写真を分類したり、美味しそうに見える写真をユーザーに提供しています。 また、Image Embeddings で料理の写真とレシピを紐付けたり、動作認識で料理動画中のユーザーの動作を認識したりしています。 材料は調理の仕方で見た目が複雑に変化し、料理も盛り付け方で見た目が全く違うので、これらの特徴を捉えるために GPU をいつもフル稼働させています!

発表文献

Dividing and Conquering Cross-Modal Recipe Retrieval: from Nearest Neighbours Baselines to SoTA
Mikhail Fain, Andrey Ponikar, Ryan Fox and Danushka Bollegala
arXiv preprint arXiv:1911.12763

Learning Food Appearance by a Supervision with Recipe Text
Atsushi Hashimoto, Takumi Fujino, Jun Harashima, Masaaki Iiyama, and Michihiko Minoh
Proceedings of the 9th Workshop on Multimedia for Cooking and Eating Activities (CEA 2017)

Cookpad Image Dataset: An Image Collection as Infrastructure for Food Research
Jun Harashima, Yuichiro Someya, and Yohei Kikuta
Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2017)

Approaches to Food/Non-food Image Classification Using Deep Learning in Cookpad
Yohei Kikuta, Yuichiro Someya, and Leszek Rybicki
Proceedings of the 9th Workshop on Multimedia for Cooking and Eating Activities (CEA 2017)