Разработка методов определения антропометрических данных человеческого тела на основе реальных снимков с использованием машинного обучения

Руководитель проекта: Азат Абсадык

Наименование конкурса: МНВО РК, Грантовое финансирование молодых ученых по проекту «Жас ғалым» на 2022-2024 годы (32 месяца).

Разработка и оптимизация нейросетей для точного извлечения антропометрических данных из изображений, с целью минимизации количества возвратов одежды в онлайн-магазинах из-за несоответствия размеров, а также снижения связанных с этим экологических последствий.

• Определение алгоритма для построения трехмерной модели тела человека по фотографиям с использованием машинного обучения.
• Разработка синтетического набора данных для определения силуэта человека из фотографии с учетом одежды.
• Построение модели семантической сегментации для определения формы силуэта человека из фотографии.
• Разработка трехмерной модели человеческого тела с изменяемыми частями тела по технологии «BlendShape».

• Определение силуэта человека по реальным фотографиям спереди и сбоку.
• Определение ключевых точек суставов человека по реальным фотографиям спереди и сбоку.
• Подключаемые модули машинного обучения для веб-сервиса.
• Определение антропометрических характеристик по реальным фотографиям.
• Построение трехмерной виртуальной модели клиента на основе реальных фотографии.
• Веб-сервис определения антропометрических характеристик человека по фотографиям.

1. Сбор данных для обучения нейросетей.
2. Разработка алгоритма определения силуэта человека на основе реальных фотографии с помощью машинного обучения.
3. Разработка алгоритма определения ключевых точек суставов тела на основе реальных фотографии с помощью машинного обучения.
4. Создание трехмерного шаблона человеческого тела, изменяемого под антропометрические данные.
5. Разработка веб приложения определения антропометрических данных из реальных фотографии.

Был создан набор данных с использованием новой технологии NVIDIA Omniverse. С помощью данной технологии можно сгенерировать синтетические данные с очень реалистичной картинкой и возможностью получить разные сценарии что уменьшает ручную работу. Получен синтетически набор данных из более 14000 картинок. Обучение на этом наборе данных показал применимость модели на реальных фотографиях.

Для определение подходящей модели были изменены и протестированы основные архитектуры сверточных нейросетей и предобученными моделями семантической сегментации в качестве энкодера. Для обучения был использован созданный синтетически набор данных. Из 16 моделей 1 модель показала хорошие результаты и применимость для реальных рисунков.

Әбсадык А.М. M.T.Sc,

Web of Science ResearcherID: IXN-3525-2023

ORCID — 0009-0003-6566-8693

Scopus ID — 57480517400

Сумма финансирования: 18 979 301,5