ПРОЕКТ

Конвертер причесок на основе ИИ для виртуальной примерки

Разработка индивидуального ПО, Сканирование лица, AR через камеру в реальном времени, Рекомендации причесок на основе ИИ, Виртуальная примерка, Разработка мобильных приложений, Разработка веб-приложений

  • Сфера: Бьюти-услуги
  • Великобритания Местоположение: Великобритания
  • Срок реализации: 10 недели
  • Технологии: JavaScript / TypeScript (Node.js), Python
3 месяца

Этот салон красоты помогает клиентам выбрать прическу до визита, однако письменное описание или статичное изображение не показывают, как прическа будет выглядеть на настоящем лице. Конвертер причесок на основе ИИ принимает селфи, загруженную фотографию или прямую трансляцию с камеры и показывает прическу, сохраняя черты лица пользователя. Стилист и клиент могут сравнивать варианты, видеть эффект камеры в реальном времени и сохранять выбранное изображение для обсуждения.

Краткое содержание

Проблема

Салону требовался более понятный способ показать клиентам, как разные прически могут выглядеть до визита.

Решение

Создано решение для сканирования лица и виртуальной примерки причесок по селфи, загруженным фотографиям и прямому изображению с камеры.

Результат

ПО помогает салону повысить интерес к услугам стайлинга, предоставляя больше визуальной информации до принятия решения.

История клиента

Клиент - салон красоты из Великобритании. Он помогает клиентам сравнивать варианты причесок до визита.

Салону нужно было показывать прически по селфи, загруженной фотографии или прямому изображению с камеры. Решение предназначено и для клиентов, и для стилистов, выбирающих прическу.

Задача была ясной: принимать разные источники изображений и камеры, отслеживать черты лица, показывать прически в реальном времени и создавать изображения, сохраняющие внешность клиента.

Решение создано так, чтобы путь от сканирования лица до выбора прически, просмотра в реальном времени, рекомендаций и сохранения результата был коротким. Интерфейс адаптирован для стилистов и клиентов салона.

Запрос клиента

  1. Принимать селфи, загруженные фотографии, прямое изображение с камеры и данные о внешности.
  2. С помощью ИИ отслеживать лица, черты лица, особенности тела или руки.
  3. Показывать AR-просмотр бьюти-эффектов и причесок в реальном времени.
  4. Создавать изображения пользователя, композиции, аватары или варианты просмотра.

Почему готовое ПО не подошло

Готовые платформы дополненной реальности добавляют виртуальные объекты в изображение с камеры, а универсальные продукты для виртуальной примерки в основном ориентированы на сгенерированные изображения. Универсальная система сопоставления лиц может сравнивать лица, но не объединяет в одном салонном решении перенос прически, сохранение черт лица, просмотр в реальном времени и рекомендации причесок.

Обзор проекта

Решение создано как адаптивный браузерный сервис с мобильной версией для устройств iOS и Android. На понятном стартовом экране можно отсканировать лицо камерой или загрузить селфи, а перед просмотром выбрать прическу из каталога.

Для анализа лица используются сканирование и ключевые точки лица. В режиме просмотра выбранная прическа накладывается на отслеживаемое лицо, сохраняя его черты и оттенок кожи на обработанном изображении.

Экран рекомендаций создан для сравнения причесок с учетом изображения лица пользователя. Карточки рекомендаций, миниатюры, просмотр адаптированной прически и область пояснений помогают связать выбор с внешностью самого пользователя.

На финальном экране выбранный вариант отображается в одном месте, чтобы его можно было сохранить, скачать или поделиться им. Модульная структура также позволяет позднее добавить рекомендации по стилю, каталоги и административные интеграции.

Реализованные основные функции

  • Ввод селфи, загрузка фотографий и прямое изображение с камеры
  • Сканирование лица с направляющими для отслеживания
  • Наложение прически на отслеживаемое лицо в реальном времени
  • Рекомендации причесок на основе ИИ
  • Выделение черт лица для подбора стиля
  • Сохранение черт лица и оттенка кожи
  • Каталог причесок и выбор стиля
  • Создание снимков экрана
  • Скачивание и отправка готовых изображений

Можно добавить

+ Запись коротких видео + Редактирование видео + Перенос прически между изображениями лиц + Слои бьюти-эффектов + Интеграция каталога стилей + Инструменты администрирования

Кто еще может использовать это решение

Эти компании решают похожую задачу визуального выбора, поэтому то же решение можно адаптировать под их продукты, стили и путь клиента.

Поставщик услуг в сфере моды и персонального стиля

Задача Рекомендует одежду, цвета, аксессуары или весь образ с учетом особенностей и предпочтений пользователя.
Как помогает решение Решение может объединить анализ лица или внешности с визуальными рекомендациями и вариантами, которыми можно поделиться.

Компания, занимающаяся очками, уходом за ногтями или волосами

Задача Должна показать клиентам, как продукт или стиль будет выглядеть до покупки или процедуры.
Как помогает решение Та же камера и система отслеживания лица могут показывать виртуальную примерку выбранных продуктов или стилей.

Розничный продавец одежды

Задача Нуждается в визуальном контенте, создаваемом ИИ или на основе аватаров, без физических фотосессий.
Как помогает решение Решение может создавать варианты просмотра на основе внешности и сохранять визуальный контент для клиентов.

Технологический стек

JavaScript / TypeScript (Node.js)

Слой веб- и мобильных приложений

Это семейство языков поддерживает браузерный интерфейс и мобильное приложение для разных платформ.

Python

Машинное обучение и обработка изображений

Python поддерживает библиотеки анализа лица и машинного обучения, используемые в проекте.

vue

Адаптивный веб-интерфейс

vue (система для создания современных веб-интерфейсов) структурирует браузерный сервис.

react

Компоненты пользовательского интерфейса

react (библиотека для создания пользовательских интерфейсов) поддерживает необходимые компоненты интерфейса.

deepar

AR-эффекты в браузере

deepar (веб-SDK для эффектов камеры и дополненной реальности) обеспечивает прически и бьюти-эффекты в реальном времени.

opencv

Обработка компьютерного зрения

opencv (библиотека компьютерного зрения) поддерживает обработку изображений и кадров камеры.

tensorflow

Модели машинного обучения

tensorflow (система машинного обучения с открытым исходным кодом) поддерживает обработку изображений и характеристик на основе ИИ.

mediapipe

Решения машинного обучения

mediapipe (набор инструментов для создания решений машинного обучения в мобильных, периферийных, облачных и веб-средах) поддерживает обработку лица в проекте.

dlib

Анализ черт лица

dlib (набор инструментов машинного обучения и компьютерного зрения) поддерживает обработку черт лица.

@capacitor/ios and @capacitor/android

Сборка для iOS и Android

Capacitor упаковывает JavaScript и веб-сервис в мобильные приложения для iOS и Android.

Интеграции

Device camera

Приложение получает изображение с камеры в реальном времени и делает снимки для сканирования лица и просмотра.

iOS and Android

Capacitor соединяет приложение с поддерживаемыми мобильными устройствами и их камерами.

Web browser

Адаптивная браузерная версия обрабатывает загруженные селфи и изображение с камеры в реальном времени.

Результат

Понятная отправная точка для выбора любой прически

На первом экране клиенту салона предлагается простой путь: сканирование камерой или загруженное селфи ведет в каталог причесок. На экране отображаются направляющие для сканирования лица и карточка просмотра выбранного стиля.

Как это работает

  1. Камера передает изображение в реальном времени или приложение получает загруженное селфи.
  2. Модуль сканирования считывает лицо и показывает статус сканирования.
  3. Каталог причесок предлагает примеры, а выбранный стиль отображается в карточке просмотра.
  • Ввод с камеры и фотографии
  • Направляющие для сканирования лица
  • Выбор прически
Отсканируйте лицо и выберите прическу

Отсканируйте лицо и выберите прическу

Функции на этом экране
Захват изображений камерой Сканирование лица Рекомендация прически на основе ИИ

Просмотр в реальном времени, выровненный по отслеживаемому лицу

На втором экране выбранный стиль превращается в просмотр с камеры в реальном времени. Ключевые точки или сетка лица сохраняют положение слоя прически при изменении изображения с камеры.

Просмотр предназначен для быстрого сравнения: в одном изображении доступны выбор стиля, кнопка сброса и функция захвата.

Как это работает

  1. Изображение с камеры в реальном времени показывает текущий вид.
  2. deepar (веб-SDK для AR-эффектов) и модуль отслеживания лица определяют положение и ориентиры лица.
  3. Выбранная прическа переносится на отслеживаемое лицо, а его черты сохраняются в обработанном кадре просмотра.
  • Кадр с отслеживанием лица
  • Адаптированный слой прически
  • Кнопки захвата и сброса
Просматривайте прическу в реальном времени

Просматривайте прическу в реальном времени

Функции на этом экране
Обнаружение лица в реальном времени Обработка изображений в реальном времени Перенос прически Сохранение черт лица

Рекомендации с учетом лица пользователя

На экране рекомендаций представлены варианты причесок созданные на основе изображения лица пользователя. Карточки, миниатюры и адаптированный просмотр позволяют клиенту салона сравнивать стили.

В области пояснений рекомендация отображается рядом с адаптированным просмотром.

Как это работает

  1. Загруженное или захваченное изображение лица используется для выделения его черт.
  2. Модуль рекомендаций анализирует черты лица и предлагает прически.
  3. Адаптированный просмотр прически и пояснение рекомендации показывают выбранный результат.
  • Просмотр лица
  • Карточки рекомендаций
  • Миниатюры причесок
Сравнивайте рекомендованные прически

Сравнивайте рекомендованные прически

Функции на этом экране
Выделение черт лица Рекомендация прически на основе ИИ Пояснение рекомендации

Сохраненный результат для дальнейшего обсуждения

На финальном экране выбранный вариант превращается в изображение, которым можно поделиться. Стилист или клиент салона может сделать снимок экрана, записать короткое видео, скачать готовое изображение или поделиться им.

На экране отображается выбранный вариант, который можно скачать или отправить.

Как это работает

  1. Сгенерированное изображение прически отображается как финальный вариант.
  2. Модуль захвата создает снимок экрана или короткое отредактированное видео.
  3. Приложение предоставляет готовое изображение для скачивания и отправки.
  • Создание снимка экрана
  • Кнопки записи видео
  • Скачивание и отправка
Сохраняйте результат и делитесь им

Сохраняйте результат и делитесь им

Функции на этом экране
Создание снимков экрана

Что дает решение

С помощью этого решения салон может:

  • Показывать варианты причесок на лице самого клиента
  • Предлагать просмотр через камеру в реальном времени во время консультации по стайлингу
  • Сравнивать рекомендованные ИИ прически по изображению лица
  • Сохранять черты лица в сгенерированных вариантах причесок
  • Сохранять изображения для скачивания или отправки
  • Создать более наглядный путь принятия решений об услугах стайлинга

В заключение

В итоге решение создано, чтобы уменьшить неопределенность на пути от внешности клиента к выбору прически и помочь повысить интерес к услугам стайлинга.

ЧАСТЫЕ ВОПРОСЫ

Планируете создать похожую систему? Ознакомьтесь с ответами ниже и узнайте, как сочетаются основные продуктовые решения.