Кулинарная нейросеть Pic2Recipe пока что работает лучше всего с десертами, в то время как более сложные блюда даются ей чуть хуже.


Нейросети продолжают удивлять своими творческими успехами. Сегодня роботы, напомним, успешно осваивают журналистику и литературную деятельность, а также делают успехи в музыке и живописи.

Неудивительно, что искусственный интеллект легко покорил ещё одну довольно творческую сферу – кулинарию. Исследователи из Массачусетского технологического института (MIT) совместно с коллегами из Лаборатории искусственного интеллекта (CSAIL) представили систему под названием Pic2Recipe, которая умеет составлять список ингредиентов и рецепт приготовления блюда, основываясь лишь его изображении.

Интернет является чрезвычайно ценным инструментом для учёных, поскольку он даёт им готовый источник слов, изображений и звуков для создания всех видов баз данных. При правильной индексации и аннотации данные в Интернете становятся основой для создания программного обеспечения для распознавания лиц, голосовых интерфейсов и вообще работы с искусственным интеллектом. Однако, когда дело доходит до кулинарии, технологии немного отстают.


"Компьютерным зрением продукты питания в основном игнорируются, потому что у нас нет широкомасштабных наборов данных, необходимых для прогнозирования, — поясняет Юсуф Айтар (Yusuf Aytar) из MIT. – Но даже на первый взгляд бесполезные фотографии в социальных сетях могут дать ценное представление о привычках и предпочтениях в отношении здоровья и питания".






Для начала команда разработала базу данных Recipe1M, содержащую более миллиона изображений продуктов, а также алгоритмы, необходимые для их распознавания и получения полезной информации о них. Затем эти данные исследователи загрузили в нейросеть Pic2Recipe и обучили её искать связи между продуктами и рецептами, а затем создавать шаблоны последних.

То есть, к примеру, если дать Pic2Recipe изображение готовой пищи, то она в ответ сопоставит его с другими изображениями из базы, отыщет список рецептов, а также выдаст список необходимых для приготовления ингредиентов.

Пока Pic2Recipe работает лучше всего с десертами, такими как печенье или кексы, в то время как более сложные блюда и напитки (типа коктейлей) даются ей чуть хуже. Авторы признаются: система изо всех сил пытается распознать набор ингредиентов, закатанных в рулончик роллов, но получается у неё это со средней точностью в 65%.

Кроме того, нейросети ещё предстоит научиться различать разные вариации одного и того же блюда – к примеру, лазаньи с различными начинками.



Далее разработчики хотят обучить систему давать советы, касающиеся тонкостей приготовления (к примеру, как порезать продукт – кубиками или соломкой, потушить овощ или использовать его свежим и так далее).

Потенциально Pic2Recipe может также разрастись до ряда приложений, чтобы пользователи могли отслеживать ежедневный рацион, считать калории или проверять, правильно ли приготовлено блюдо в ресторане.

Более подробное описание разработки содержится на сайте проекта. Там же доступна демо-версия, которую любой пользователь может использовать, чтобы протестировать технологию онлайн.

К слову, ранее была представлена нейросеть-кулинар, адаптирующая рецепты блюд под традиции определённой кухни.