Представьте, что вы можете направить камеру смартфона на блюдо, и тут же получить список его ингредиентов и рецепт приготовления. Звучит фантастически, но такая технология уже существует. Правда, пока работает только с пиццей. Кулинарную нейросеть разработали исследователи Массачусетского технологического института (MIT). Они обучили нейросеть визуально определять точный список ингредиентов пиццы и порядок, в котором они были размещены.
Алгоритм называется PizzaGAN, где GAN - сокращение от generative adversarial network (генеративно-состязательная сеть). Как и в случае с распознаванием фотографий, для тренировки алгоритма понадобилось большое количество изображений. Сперва исследователи показали нейросети 5000 изображений пиццы в стиле клип-арт с промаркированными ингредиентами. Затем - скормили ей 9213 фотографий реальной пиццы из Instagram, также вручную обозначив на них ингредиенты.
Благодаря этому нейросеть научилась не только распознавать компоненты пиццы и порядок их размещения, но и генерировать изображение блюда с заданными компонентами. То есть, пользователь может посмотреть как будет выглядеть пицца, если добавить к ней тот или иной ингредиент. Также можно сгенерировать изображение пиццы до или после приготовления. В общем, MIT создал потрясающий кулинарный конструктор.
По словам разработчиков, PizzaGAN умеет работать только с пиццей, но такая же технология может сработать вообще с любым блюдом, где ингредиенты различимы визуально. Например, с салатами или разнообразными бургерами. Так что в скором времени с помощью смартфона можно будет анализировать свою еду.
