Адамның немесе адамдар тобының әрекеттерін тану міндеттерін шешуге арналған интеллектуалды фото және бейне талдау жүйесін әзірлеу

Жарыстың атауы:

Жас ғалым, 2022–2024 жж

Жоба жетекшісі:

Исламғожаев Т.У., PhD, ассистент профессор, Есептеулер мен деректер ғылымы департаменті

Researcher ID Web of Science — D-6524-2015

ORCID — 0000-0001-7891-242X

Scopus ID — 56826222900

Қаржыландыру сомасы:

18 745 180 теңге

Жобаның мақсаты

Бейнебақылау камераларынан алынған кескіндер негізінде әрекетті тануды зерттеу және дамыту мәселелерін шешу үшін объектіні анықтау және әрекетті жіктеу жүйесін құру.

Жобаның міндеттері

  1. Объектіні тану және әрекетті жіктеу мәселелерін шешудің қолданыстағы жүйелерін, тәсілдерін, әдістерін, алгоритмдерін зерттеу және талдау;
  2. Нейрондық желі модельдерін және бейнебақылау камераларынан алынған кескіндерді алдын ала және кейінгі өңдеуді қоса алғанда, нысанды анықтау функционалдығын дамыту;
  3. Видеобейнелердегі объектілердің әрекеттерін классификациялау әдістерін зерттеу және әзірлеу;
  4. GPU үшін TensorRT технологияларын, сондай-ақ орталық процессорлар үшін OpenVINO көмегімен кескінді жылдам өңдеу функционалдығын дамыту.
  5. Күдікті немесе аномальды әрекеттер үшін хабарландыру модулін әзірлеу;
  6. Ұсынылған модельдердің, әдістердің және алгоритмдердің көрсеткіштерін әртүрлі шарттарда сынау.

Күтілетін нәтижелер

Мәселелерді шешу барысында келесі нәтижелер алынады деп күтілуде:

  1. нақты уақыт режимінде аумақты бақылау жүйесінің тұжырымдамасы мен архитектурасы ұсынылады;
  2. компьютерлік көру және машиналық оқыту үлгілерін пайдалана отырып, адамның немесе адамдар тобының әрекеттерін анықтау және жіктеу үшін нейрондық желі модельдері әзірленетін болады;
  3. модульдік бағдарламалық қамтамасыз ету, оның ішінде әдеттен тыс белсенділік туралы ескерту жүйесі жасалады;
  4. зерттеу нәтижелері бойынша отандық және халықаралық журналдар мен конференцияларда мақалалар жарияланады;
  5. әзірленген платформаны бағалау және тестілеу жүргізіледі және оны пайдалану бойынша құжаттама дайындалады.

Жоба нәтижесінде келесі жарияланымдар күтілуде:

— Web of Science деректер базасында импакт-фактор бойынша алғашқы үш квартильден журналдарда кемінде 2 (екі) мақала немесе Scopus деректер базасында CiteScore пайыздық көрсеткіші кемінде 50 персентиль ресурстарда мақала жариялау.

Жоба нәтижелері

Жалпы әрекеттерді тану міндеті 1-суретте көрсетілген келесі қосалқы тапсырмаларға бөлінеді.

1-сурет. Іс-әрекетті тану үшін шешілетін міндеттер

Қазіргі уақытта бейнебақылау камераларының ағындық бейне деректерінен объектілерді (адамдарды) анықтау модулі әзірленді, осылайша мәселенің алғашқы үш қосалқы тапсырмасы шешілді. Осы мақсатта YOLO архитектурасы қолданылды, одан кейін 1000 кескін көлеміндегі қосымша жиналған және өңделген деректер жиынын пайдалана отырып, қосымша оқыту жүргізілді. Нәтижесінде, бізге қажетті қоршаған ортаға (үй-жайлар, ангарлар, жұмыс орындары және т.б.) адамдарды анықтау үлгісін жетілдіре алдық. Атап айтқанда, кескінді өңдеу, объектілерді табу және әрекеттерді жіктеу үлгілері мен әдістерін сипаттайтын балама жұмыстарды іздестіру және талдау жұмыстарын жүргіздік. Нәтижесінде кадрдағы адамды табудың моделі және алгоритмі ретінде объектілерді табудың жоғары жылдамдығы бар YOLO7 алгоритмі таңдалды. Белгілі бір уақыттағы әрекеттерді жіктеу үшін біз адамның немесе адамдардың бейнесінен қаңқаны алу, мүшелердің жағдайын талдау және осы деректер негізінде әрекеттерді одан әрі жіктеу алгоритмін таңдадық. Соңғы тәсіл тапсырманы айтарлықтай қиындатады, бірақ бұл әдіс әртүрлі көздерден және домендерден үлкен деректер жиынын жасауға мүмкіндік береді. Объектілерді табу мысалдары 2 және 3-суреттерде көрсетілген.

2-сурет. Адамды табудың мысалы (жалпыға қолжетімді видеодан)

3-сурет. Адамды табудың мысалы (жалпыға қолжетімді видеодан)

Жарияланымдар тізімі

2022 жыл

Мақала (бағдарламадан тыс)

Kozhirbayev, Z., Islamgozhayev, T., Yessenbayev, Z., & Sharipbay, A. (2022). Preliminary tasks of unsupervised speech recognition based on unaligned audio and text data. In 2022 International Conference on Engineering & MIS (ICEMIS) (pp. 1-3)

Жарияланды

2023 жыл

Scopus деректеріндегі мақала (бағдарламадан тыс)

Zhanibek Kozhirbayev *, Talgat Islamgozhayev. Cascade Speech Translation for the Kazakh language. MDPI Applied Sciences, Acoustic and Vibrations.

Қабылданды