Киберповар: пицца под контролем ИИ

Ликуйте, пиццайоло: даже самую вкусную пиццу сделать теперь гораздо легче. Радуйтесь, программисты: это наша заслуга. Новые технологии позволяют готовить любимое итальянское блюдо, выбирать для него только самые свежие продукты и следить за процессом выпекания. Чтобы тесто было тонким, корочка — хрустящей, а начинка — сочной и ароматной. В общем, всё как нам нравится.

ИИ = ОТК

Все крупные сетевые пиццерии, работающие по франшизе, давно контролируют качество своей продукции с помощью нейросетей.

Например, департамент Domino’s Pizza в Австралии внедрил в 2019 году интеллектуальную систему DOM Pizza Checker. Её ИИ, основанный на нейронных сетях и машинном обучении, способен по внешнему виду определить, соответствует ли пицца высоким стандартам компании.

Чудо-программу создали в Dragontail Systems, которая специализируется на интеллектуальных продуктах для ресторанного бизнеса. На разработку ушло три года. Сердцем Pizza Checker стали умные камеры QT AI Camera, расположенные над столом для разрезания и упаковки готовой продукции.

Изображение с них обрабатывает алгоритм, обученный на тысячах фотографий: он распознаёт тип пиццы, анализирует состав начинки, распределение топпинга и сыра по поверхности. Если блюдо не соответствует допустимым параметрам, DOM Pizza Checker просигнализирует об этом и не позволит отправить покупателю некачественную еду.

С началом пандемии COVID-19 программу модифицировали ещё и под соблюдение эпидемиологических мер. Теперь алгоритмы дополнительно контролируют наличие перчаток и масок на сотрудниках, следят за чистотой и регулярностью обработок разделочного стола. При несоблюдении санитарных норм нейросеть мгновенно сообщает о нарушении менеджеру ресторана.

«Теперь клиенты могут быть спокойны, зная, что их пицца готовится с учётом требований безопасности и гигиены пищевых продуктов. DOM Pizza Checker постоянно следит за разделочным столом и регулярно отправляет напоминания о необходимости очистки и дезинфекции».

Дон Мейдж,
управляющий директор Domino’s Group в Австралии (цитата: Qsrmagazine)

Опыт внедрения Pizza Checker оценивают как очень успешный: уже за первый год с её помощью отсканировали более 50 миллионов пицц, в результате показатели качества увеличились на 15%.

Сегодня система развёрнута во всех 850 ресторанах Австралии и Новой Зеландии. Также Domino’s планирует внедрить Pizza Checker в Северной Америке.

На установку системы в одном ресторане уходит от 500 до 1000 долларов США. Кроме того, придётся раскошелиться на ежемесячную абонентскую плату (50 долларов), обеспечивающую доступ к нейросетям компьютерного зрения на сервере компании.

Аналогичное решение тестирует сеть пиццерий Papa John’s. Её подразделение, работающее в СНГ и Центральной Европе, разработало систему под названием Pizza Magnifico (PizzaM). Она автоматически оценивает качество каждой вышедшей из печи пиццы.

Для обучения ИИ программисты использовали датасет из более чем 700 тысяч фотографий пицц Papa John’s за 10 лет. Каждое фото перед загрузкой в нейросеть было оценено экспертами компании по шкале от 1 до 10.

«Использование возможностей искусственного интеллекта PizzaM поможет контролировать процесс изготовления и быть уверенным в том, что в каждом ресторане сети в России, СНГ и Центральной Европе клиент получит фирменную пиццу Papa John’s.

Мы гордимся тем, что в работе над проектом принимали участие ведущие российские специалисты в области искусственного интеллекта и компьютерного зрения. Их разработки мы применили для улучшения качества нашей пиццы».

Кристофер Уинн,
президент Papa John’s Western (цитата: Horeca-magazine)

Российская «Додо Пицца» также использует ИИ для контроля продукции. Программисты из Dbrain не стали создавать отдельное устройство, а задействовали встроенные камеры смартфонов, которые сегодня есть у каждого.

Программа предназначена для сообщества тайных покупателей бренда, численность которого превышает 50 тысяч человек. Его участники негласно контролируют качество блюд в ресторанах франшизы.

Решение работает в форме Telegram-бота. Чтобы воспользоваться им, проверяющему нужно сделать фото приобретённой пиццы и отправить его нейросети, которая выдаст оценку блюда по десятибалльной системе.

Обучение искусственного интеллекта проходило в несколько этапов. На первом нейросети «скормили» 50 тысяч предварительно размеченных вручную фотографий пиццы, выполненных с разных ракурсов. На втором разработчики позволили тайным покупателям дообучить сеть, предоставив им возможность оценивать работу ИИ.

Получив от пользователей множество отзывов, нейронка подстроила внутренние параметры, чтобы лучше усвоить систему оценки качества, применяемую людьми, и повторить её в своей работе. На обучение и тестирование ИИ ушло полтора месяца.

«Вместе с Dbrain нам удалось создать инструмент, который уже сейчас помогает определять качество теста по отчётам тайных покупателей… Это поможет держать на высоте качество пиццы при дальнейшем масштабировании по всему миру, снижая при этом затраты на контроль качества».

Фёдор Овчинников,
основатель «Додо Пиццы» (цитата: Apptractor)

Всегда свежие ингредиенты

Подразделение Domino’s Pizza в Малайзии и Сингапуре планирует использовать для контроля качества продуктов блокчейн-технологии. Организацией уже заключён договор о партнёрстве с компанией SingularityNET, основанной создателем робота Софии Дэвидом Хэнсоном. Блокчейн позволит проследить путь каждого продукта: от сбора урожая до обработки и упаковки.

Пока эти решения готовятся к внедрению, «Додо Пицца» применяет ИИ для рационального управления поставками ингредиентов в рестораны. Программа прогнозирует, сколько и каких продуктов понадобится каждой пиццерии в ближайшую неделю.

До внедрения системы сотрудники тратили по пять часов в неделю на то, чтобы произвести необходимые расчёты вручную. При этом они часто ошибались, что приводило либо к нехватке продуктов, либо к их переизбытку и порче.

Теперь ИИ оценивает десятки факторов, которые не удержал бы в голове ни один человек. Кроме того, он обнаруживает и учитывает скрытые тенденции в продажах — например, изменение спроса в зависимости от времени года и праздничных дней.

Новая разработка повысила точность прогнозирования закупок на 18% и значительно уменьшила загруженность работников. Это позволяет сэкономить каждому ресторану франшизы в среднем до 100 тысяч рублей в месяц. В 2021 году к системе искусственного интеллекта было подключено 50 точек общепита. В результате за год нейросети сократили расходы на 54 миллиона рублей.

Систему прогнозирования для «Додо Пиццы» создал российский филиал норвежской компании Crayon — давнего партнёра Microsoft в сфере ИИ и машинного обучения. Решение основано на платформе Microsoft Azure Machine Learning.

В скором времени «Додо Пицца» собирается внедрить систему во всех подразделениях Dodo Brands как в России, так и за рубежом. Также в планах сделать полную интеграцию с информационными системами поставщиков ингредиентов.

Нейросеть в роли шеф-повара

ИИ сегодня достиг таких высот, что научился изобретать новые рецепты. Так, студенты Массачусетского технологического института в рамках проекта «Как сгенерировать (почти) всё на свете» надрессировали нейросеть создавать необычные варианты начинок для пиццы.

Они использовали выложенную на GitHub рекуррентную сеть с открытым кодом textgenrnn, разработанную дата-специалистом Максом Вульфом для анализа и генерации текстовой информации.

В неё загрузили сотни текстов разнообразных рецептов из поваренных книг и с интернет-сайтов. На их основе textgenrnn сгенерировала свои собственные рецепты, подчас настолько нетривиальные, что повару такое вряд ли даже в голову бы пришло.

«В целом ИИ-алгоритмы очень хороши в объединении разной информации в единое целое, поэтому во всём, что они генерируют, появляется элемент неожиданности. В нашем эксперименте мы увидели нечто подобное: ИИ решил объединить креветки, итальянские колбаски и джем, который он увидел в рецепте десертной пиццы».

Пинар Янардаг,
руководитель проекта «Как сгенерировать (почти) всё на свете»
(цитата: Inc. Russia)

Помимо необычных сочетаний, ИИ зачастую предлагал добавить в пиццу несуществующие продукты, названия которых нейросеть придумала сама — например, «заправку из грецких орехов „Ранчо“».

Результаты работы ИИ творчески переосмыслил шеф-повар бостонской пиццерии Crush Pizza Тони Насер. Он отобрал пять наиболее перспективных начинок:

• черника, шпинат, сыр фета;
• бекон, авокадо, персик;
• креветки, итальянские колбаски, джем;
• батат, фасоль, сыр бри;
• абрикос, груша, клюква, рикотта.

Потом приготовил каждую из этих пицц, корректируя рецепты на ходу, и предложил участникам проекта продегустировать новинки. Самой вкусной и необычной оказалась пицца с креветками, джемом и итальянскими колбасками. Насер даже включил её в меню своего ресторана.

В «Додо Пицце» также решились на похожий эксперимент, получивший название Dodo AI-pizza. В этом компании помогли специалисты по нейросетям из МФТИ и «Сколтеха».

Отечественная разработка отличается тем, что в ней реализован учёт молекулярной совместимости исходных продуктов. Чтобы добиться этого, использовали две сети. В первую загрузили 300 тысяч рецептов со всего мира. Во вторую — результаты исследований молекулярной совместимости, проведённых в университетах США и Великобритании.

Чтобы представить рецепты в понятном для нейросети виде, программисты пропустили их через алгоритм Word2vec. В результате они получили векторное представление ингредиентов пиццы. С его помощью модель смогла находить хорошо сочетающиеся друг с другом продукты.

Пиццу, приготовленную по рецепту нейросети, назвали «Опенсорс». Её начинка состояла из десяти ингредиентов в довольно оригинальных сочетаниях — например, филе окуня соседствовало с дыней. Попробовать пиццу можно было в московском ресторане «Додо» 10 октября 2019 года. Исходный код, описание методики и несколько сгенерированных рецептов команда Dodo AI-pizza выложила на GitHub.

ИИ рисует пиццу

В 2019 году учёные из США и Катара опубликовали статью о платформе, которая может по тексту рецепта сгенерировать реалистичное изображение будущей пиццы — и таким образом позволяет потребителю оценить её внешний вид ещё до начала готовки. При разработке платформы команда под руководством Дима Пападопулоса использовала генеративно-состязательные сети (они же GAN).

Читайте также:

🐱 Как ИИ рисует котиков. Говорим о генеративно-состязательных нейросетях (GAN)

Эта нейронная модель, изобретённая в 2014 году, уже успела хорошо себя зарекомендовать. С её помощью ИИ научился успешно генерировать фотореалистичные изображения котиков, фейковые аватарки несуществующих людей и даже картины, имитирующие полотна великих мастеров.

Свою версию Пападопулос назвал PizzaGAN. Она способна послойно добавлять ингредиенты на изображение, а также имитировать результат приготовления.

Помимо этого, в программу можно загрузить фото сырой пиццы, а на выходе она выдаст картинку, показывающую, как блюдо будет выглядеть после запекания, — с реалистичными подтёками сыра, румяной корочкой и зажарившимися кусочками бекона.

Одним нажатием кнопки можно заставить PizzaGAN пририсовать к готовой пицце слои оливок, пеперони или свежей зелени. Причём так, что картинка будет практически неотличима от фотографии.

PizzaGAN способна проделать и обратную операцию — последовательно удалить с изображения готового блюда слои ингредиентов или превратить запечённую пиццу в сырую… но только на картинке.

Программа может различать 12 начинок: рукола, бекон, брокколи, кукуруза, базилик, грибы, оливки, лук, пеперони, перец, ананасы, помидоры. Поэкспериментировать можно на сайте проекта. Чтобы добавляемые ингредиенты реалистично распределялись по поверхности пиццы, нейросеть научили генерировать слой-маску, выполняющую те же функции, что и в Photoshop. При удалении слоя ингредиентов PizzaGAN умеет воссоздавать внешний вид находящейся под ним начинки.

Для обучения ИИ команда Дима Пападопулоса использовала два набора изображений. В первом были рисунки пиццы в стиле клип-арт, во втором — полмиллиона настоящих изображений, найденных в соцсетях по хештегу #pizza.

Учёные пропустили их через вспомогательную нейронную сеть, которая удалила из набора неподходящие фотографии, оставив только те, на которых пицца сфотографирована с нужного ракурса и с приемлемым качеством.

В итоговом наборе данных осталось около 9 тысяч изображений, снабжённых текстовой аннотацией (архив объёмом 2,8 ГБ доступен для скачивания).

Модель PizzaGAN получилась хорошей, но не идеальной — она может определить правильный порядок ингредиентов в 88% случаев. Учёные Ратгерского университета (Нью-Джерси, США) продолжили исследование своих коллег и заметно улучшили показатели.

Во-первых, они изучили датасет Пападопулоса, обнаружили в нём ошибки и исправили их. Улучшенный набор данных назвали Pizza10.

Во-вторых, применили более мощный вариант генеративно-состязательной сети StyleGAN2 от компании NVIDIA. Они назвали его MPG (Multi-ingredient Pizza Image Generator), что можно перевести как «Генератор изображений пиццы с несколькими ингредиентами».

В-третьих, создали веб-приложение, в котором можно задать параметры пиццы, передать их в нейросеть и получить изображение. Приложение также позволяет оценить, насколько результаты StyleGAN2 превосходят ранние модели.

Обучение нейронной сети MPG на четырёх графических процессорах NVIDIA K80 (по 12 ГБ памяти каждый) продолжалось шесть дней. Алгоритм сгенерировал 2,4 миллиона изображений несуществующей пиццы.

Учёные поделились итогами своих исследований в научной статье, исходный код MPG выложили на GitHub, а работу приложения показали в видеоролике.

Тем временем разработки, позволяющие рассмотреть пиццу до её изготовления, уже начали использовать в коммерческих целях. Вновь отличилось австралийское подразделение Domino’s, представившее приложение для смартфонов New Pizza Chef с функцией, обеспечивающей заказчикам визуализацию будущей пиццы.

Приложение, работающее на основе технологии дополненной реальности (AR, Augmented Reality), даёт возможность легко создать собственные варианты пиццы, используя предлагаемый набор начинок и коржей. Для этого потребуется только поставить отметки напротив названий продуктов.

Виртуальное изображение пиццы из выбранных ингредиентов мгновенно появится на экране мобильного устройства на фоне окружающего пространства, которое программа считает со встроенной камеры смартфона. Модель блюда можно буквально «примерить» к своему обеденному столу.

«Приложение предоставляет возможность увидеть пиццу своей мечты прямо перед собой и посмотреть на неё под любым углом».

Майкл Гиллеспи,
директор Domino’s Group по цифровым и технологическим вопросам
(цитата: cmo.com.au)