Машиналық оқытудың көмегімен нақты бейнелер негізінде адам ағзасының антропометриялық деректерін анықтау әдістерін әзірлеу

Ғылыми жетекші: Азат Әбсадық

Байқаудың атауы: ҚР ҒЖБМ, 2022-2024 жылдарға арналған «Жас Ғалым» жобасы бойынша жас ғалымдарды гранттық қаржыландыру (32 ай)

Интернет-дүкендердегі өлшемдердің сәйкес келмеуіне байланысты киімнің қайтару санын азайту, сондай-ақ қоршаған ортаға тигізетін әсерлерді азайту үшін суреттерден антропометриялық деректерді дәл алу үшін нейрондық желілерді дамыту және оңтайландыру.

• Машиналық оқытуды қолдану арқылы фотосуреттерден адам денесінің үш өлшемді моделін құру алгоритмін анықтау.
• Киімді ескере отырып, фотосуреттен адамның сұлбасын анықтауға арналған синтетикалық деректер жинағын әзірлеу.
• Фотосуреттен адам силуэтінің пішінін анықтау үшін семантикалық сегментация моделін құру.
• BlendShape технологиясын қолдану арқылы айнымалы дене бөліктері бар адам денесінің үш өлшемді моделін жасау.

• Алдыңғы және бүйірінен нақты фотосуреттерден адамның сұлбасын анықтау.
• Алдыңғы және бүйіріндегі нақты фотосуреттерден адам буындарының негізгі нүктелерін анықтау.
• Веб-қызметке арналған машиналық оқыту плагиндері.
• Нақты фотосуреттерден антропометриялық сипаттамаларды анықтау.
• Нақты фотосуреттер негізінде клиенттің үш өлшемді виртуалды моделін құру.
• Фотосуреттерден адамның антропометриялық сипаттамаларын анықтауға арналған веб-сервис.

1. Нейрондық желілерді оқыту үшін деректерді жинау.
2. Машиналық оқытуды пайдалана отырып, нақты фотосуреттер негізінде адамның сұлбасын анықтау алгоритмін жасау.
3. Машиналық оқытуды пайдалана отырып, нақты фотосуреттер негізінде дене буындарының негізгі нүктелерін анықтау алгоритмін құру.
4. Антропометриялық мәліметтер үшін модификацияланған адам денесінің үш өлшемді үлгісін жасау.
5. Нақты фотосуреттерден антропометриялық деректерді анықтауға арналған веб-қосымшаны әзірлеу.

Деректер жинағы жаңа NVIDIA Omniverse технологиясы арқылы жасалды. Бұл технологияның көмегімен сіз өте шынайы сурет пен әртүрлі сценарийлерді алу мүмкіндігімен синтетикалық деректерді жасай аласыз, бұл қолмен жұмысты азайтады. Синтетикалық жолмен 14 000-нан астам суреттен тұратын деректер жинағы алынды. Бұл деректер жиынтығы бойынша оқыту модельдің нақты фотосуреттерге қолдануға болатындығын көрсетті.

Сәйкес модельді анықтау үшін конволюционды нейрондық желілердің негізгі архитектуралары модификацияланды және кодтаушы ретінде алдын ала дайындалған семантикалық сегментация үлгілерімен сынақтан өтті. Оқыту үшін синтетикалық түрде жасалған деректер жинағы пайдаланылды. 16 модельдің 1 үлгісі жақсы нәтижелер мен нақты сызбаларға қолдану мүмкіндігін көрсетті.

Әбсадык А.М. M.T.Sc,

Web of Science ResearcherID: IXN-3525-2023

ORCID – 0009-0003-6566-8693

Scopus ID – 57480517400

Қаржыландыру сомасы: 18 979 301,5