RGB кескіндеріне негізделген терең оқыту және ResNet-50 қолдану арқылы унимодальды бет-әлпетті жалған танудан қорғау жүйесін жасау

Жоба жетекшісі: Правин Кумар, PhD, Компьютерлік инженерия кафедрасының профессоры.

Жобаның мақсаты: Қосымша жабдықты қажет етпей, тек RGB кескіндерінде жұмыс істей алатын, қайта көрсету шабуылдарын (presentation attacks) анықтай алатын ResNet-50 негізіндегі терең конволюциялық нейрондық желіге (CNN) негізделген пассивті бет жалғандығынан қорғау моделін жасау.

1. Бет жалғандығынан қорғаудың бар әдістерін (активті, мультимодальды, тек RGB негізінде) талдау;
2. Жалған шабуылдарды сенімді анықтау үшін ауқымды WFAS деректер жиынын пайдалану;
3. Тек RGB кескіндерімен жұмыс істейтін ResNet-50 архитектурасына негізделген CNN моделін оқытып, бағалау;
4. Гиперпараметрлерді оңтайландыру үшін grid search жүргізу;
5. Аугментациялардың (бұлыңғырлық, айналық көрсету) әсерін бағалау үшін абляциялық талдау жүргізу;
6. Модель сапасын ISO/IEC 30107-3 стандартындағы метрикалармен (APCER, BPCER, ACER) бағалау;
7. Модельдің генерализация қабілетін жеке тест жиынында тексеру;
8. Зерттеу нәтижелерін жариялау және болашақта кросс-деректер жиындары мен attention-механизмдерін зерттеу.

1. ResNet-50 негізіндегі CNN моделі WFAS деректер жиынында (1.3 миллионнан астам кескін) оқытылып, APCER, BPCER және ACER метрикаларымен бағаланды.

2. Деректерді алдын ала өңдеу пайплайны төменде сипатталған.

ISO/IEC 30107-3 стандартындағы бағалау метрикалары

бұл формулаларда FN – жалған терістеу, FP – жалған оң нәтиже, TN – шынайы терістеу, TP – шынайы оң нәтиже.

3. Live/Spoof классификациясының көрінісі. 3 түрлі мысал көрсетілген: нағыз тірі бет, spoof (жалған) бет, аралас кескін (бір уақытта тірі және жалған беттер бар).

4. Grid search оңтайлы параметрлер анықталды: оқыту жылдамдығы: 0.0001, batch өлшемі: 32, эпох саны: 10.

Тестілеу жиынында ең жақсы конфигурацияны таңдағаннан кейін, эпох санын арттырудың өнімділікке әсері зерттелді. Нәтижесінде, валидациялық жиын бойынша ACER 4.9% деңгейіне жетті.

Әртүрлі эпохтардағы модель метрикалары суретте 1 көрсетілген.

5. Аугментациялар, бұлыңғырлық пен айналық көрсет, өнімділікті айтарлықтай арттыратыны көрсетілді.

ACER, APCER және BPCER метрикалары қолданылды. Қысқаша нәтиже 3-кестеде көрсетілген.

6. Финалдық модель тест жиынында ACER = 2.99% нәтижесіне жетті.

Қысқаша қорытынды 4-кестеде берілген.

7. Бұл әдіс RGB камералармен жабдықталған кең тұтынушылық құрылғыларда қолдануға толықтай жарамды екенін дәлелдеді.

8. Scopus индекстелетін конференцияда 1 мақала жариялауға қабылданды.

Praveen Kumar

Жоба жетекші, PhD, профессор Департамента Компьютерной Инженерии.

Алиев Мирас

Жобаның орындаушысы, магистрант 1-го курса Astana IT University

Рахим Риза

Жобаның орындаушысы, студент 1-го курса Astana IT University