Жарыстың атауы:
Жас ғалым, 2022–2024 жж
Жоба жетекшісі:
Исламғожаев Т.У., PhD, ассистент профессор, Есептеулер мен деректер ғылымы департаменті
Researcher ID Web of Science — D-6524-2015
ORCID — 0000-0001-7891-242X
Scopus ID — 56826222900
Қаржыландыру сомасы:
18 745 180 теңге
Бейнебақылау камераларынан алынған кескіндер негізінде әрекетті тануды зерттеу және дамыту мәселелерін шешу үшін объектіні анықтау және әрекетті жіктеу жүйесін құру.
Мәселелерді шешу барысында келесі нәтижелер алынады деп күтілуде:
Жоба нәтижесінде келесі жарияланымдар күтілуде:
— Web of Science деректер базасында импакт-фактор бойынша алғашқы үш квартильден журналдарда кемінде 2 (екі) мақала немесе Scopus деректер базасында CiteScore пайыздық көрсеткіші кемінде 50 персентиль ресурстарда мақала жариялау.
Жалпы әрекеттерді тану міндеті 1-суретте көрсетілген келесі қосалқы тапсырмаларға бөлінеді.
1-сурет. Іс-әрекетті тану үшін шешілетін міндеттер
Қазіргі уақытта бейнебақылау камераларының ағындық бейне деректерінен объектілерді (адамдарды) анықтау модулі әзірленді, осылайша мәселенің алғашқы үш қосалқы тапсырмасы шешілді. Осы мақсатта YOLO архитектурасы қолданылды, одан кейін 1000 кескін көлеміндегі қосымша жиналған және өңделген деректер жиынын пайдалана отырып, қосымша оқыту жүргізілді. Нәтижесінде, бізге қажетті қоршаған ортаға (үй-жайлар, ангарлар, жұмыс орындары және т.б.) адамдарды анықтау үлгісін жетілдіре алдық. Атап айтқанда, кескінді өңдеу, объектілерді табу және әрекеттерді жіктеу үлгілері мен әдістерін сипаттайтын балама жұмыстарды іздестіру және талдау жұмыстарын жүргіздік. Нәтижесінде кадрдағы адамды табудың моделі және алгоритмі ретінде объектілерді табудың жоғары жылдамдығы бар YOLO7 алгоритмі таңдалды. Белгілі бір уақыттағы әрекеттерді жіктеу үшін біз адамның немесе адамдардың бейнесінен қаңқаны алу, мүшелердің жағдайын талдау және осы деректер негізінде әрекеттерді одан әрі жіктеу алгоритмін таңдадық. Соңғы тәсіл тапсырманы айтарлықтай қиындатады, бірақ бұл әдіс әртүрлі көздерден және домендерден үлкен деректер жиынын жасауға мүмкіндік береді. Объектілерді табу мысалдары 2 және 3-суреттерде көрсетілген.
2-сурет. Адамды табудың мысалы (жалпыға қолжетімді видеодан)
3-сурет. Адамды табудың мысалы (жалпыға қолжетімді видеодан)
2022 жыл |
||
Мақала (бағдарламадан тыс) |
Kozhirbayev, Z., Islamgozhayev, T., Yessenbayev, Z., & Sharipbay, A. (2022). Preliminary tasks of unsupervised speech recognition based on unaligned audio and text data. In 2022 International Conference on Engineering & MIS (ICEMIS) (pp. 1-3) |
Жарияланды |
2023 жыл |
||
Scopus деректеріндегі мақала (бағдарламадан тыс) |
Zhanibek Kozhirbayev *, Talgat Islamgozhayev. Cascade Speech Translation for the Kazakh language. MDPI Applied Sciences, Acoustic and Vibrations. |
Қабылданды |