Разработка нейросетевых моделей по сегментации стопы для кастомизированной примерки обуви
Сегментация стопы и листов A4 на 2D-изображении для технологии примерки обуви. Первая модель стала основой задания на улучшение качества, скорости и мобильного формата CoreML.

Задача
Для кастомизированной примерки обуви требовалось выделять стопу на фотографии. В проекте TRY.FIT человек снимает стопу на фоне двух листов A4 и окружающей сцены. Задача компьютерного зрения состоит в отделении стопы и листов от остального изображения.
Формат обработки
Входом нейросети служит двумерный кадр размером 1280 на 768 пикселей. В задании предусмотрены два выходных изображения: на одном выделяются листы A4, на другом стопа. Оба результата представляют собой маски в градациях серого со значениями от 0 до 255.
Маски задают области объектов, которые могут использоваться следующими модулями технологии примерки. Они описывают расположение объектов на изображении; получение полноценной трехмерной геометрии требует отдельного процесса.
Этапы разработки
После первого этапа сегментации сформировали задание на доработку нейросети. В нем выделены два направления: повышение качества через более сложные архитектуры или расширение обучающей выборки и ускорение обработки при сохранении достигнутого качества.
Отдельная задача касается детектора листов A4. Для нее предусматривались 200 фотографий от заказчика и выход в виде ограничивающей рамки. У детектора задано ограничение: рамки описываются неповернутыми прямоугольниками. Такой формат важно учитывать при подготовке снимков и оценке работы модели.
Результат и применение
Создана исходная модель сегментации, на результатах которой построен следующий этап доработки. В состав передаваемого результата по заданию входят обученная сеть, код и описание для обучения и тестирования, с конвертацией в CoreML для мобильного использования.
Подобный модуль полезен продуктам, которым нужно выделять объекты на пользовательских фотографиях для последующей обработки средствами компьютерного зрения.
Похожие кейсы
Машинное зрение
Разбор технических чертежей: 3,2 секунды на чертёж и точность 97%
Система извлекает параметры из PDF-чертежа, подсвечивает найденные значения и отдаёт их в CSV. В опубликованном примере: 3,2 секунды на чертёж и 97% точности извлечения.
Машинное зрение
Машинное зрение + LLM на промышленном объекте: выявлены хищения в пилоте
Пилот цифрового аудита на энергетическом объекте связывает камеры с проверкой транспорта, грузов и строительных работ. Выявлены четыре несанкционированных вывоза; материалы используются для отчёта службы безопасности.
Машинное зрение
Разработка модели по распознаванию и выделению контентной части документа
Система размечает однотипные документы, распознаёт их тип и заполняет электронную форму. В результатах разработки отдельно оценены поиск текста, OCR, классификация и распознавание содержимого.