«Разработка системы обнаружения спуфинга лица на основе унимодального подходас RGB-изображениями с использованием глубокого обучения и ResNet-50»»

Руководитель проекта: Praveen Kumar, PhD, профессор Департамента Компьютерной Инженерии.

Цель проекта: Разработка пассивной модели обнаружения спуфинга лица, основанной только на RGB-изображениях и сверточной нейронной сети ResNet-50, способной выявлять атаки воспроизведения без использования дополнительного оборудования.

1. Анализ существующих методов антиспуфинга лица (активные, мультимодальные, основанные только на RGB-изображениях).
2. Использование большого датасета WFAS для надежного выявления spoof атак.
3. Обучение и оценка CNN-модели ResNet-50, принимающей только RGB-изображения.
4. Проведение grid search для оптимизации гиперпараметров.
5. Проведение абляционного анализа для оценки влияния аугментаций (размытие, отражение).
6. Оценка качества модели с использованием метрик ISO/IEC 30107-3: APCER, BPCER, ACER.
7. Проверка способности модели к обобщению на выделенном тестовом наборе.
8. Публикация результатов и рассмотрение перспектив (тестирование на других датасетах, применение attention-механизмов).

1. Модель CNN ResNet-50 была обучена на датасете WFAS, содержащем более 1.3 миллиона изображений, и оценена с помощью метрик APCER, BPCER и ACER.

2. Использовался следующий пайплайн предобработки данных, приведенный ниже.

Формулы метрик по стандарту ISO/IEC 30107-3

, где FN — ложные отрицания, FP — ложные срабатывания, TN — истинные отрицания, TP — истинные срабатывания

3. Приведены примеры классификации на трёх изображениях: живые лица, spoof лицо и смешанное изображение (присутствуют и живые лица, и spoof лица).

4. Grid search выявил оптимальные гиперпараметры в виде learning rate 0.0001, размер батча 32 и количество эпох 10.

После выбора лучшей конфигурации на dev-наборе дополнительно проанализировано влияние увеличения количества эпох при обучении. Метрика ACER на валидации достигла максимального значения 4.9% при learning rate 0.0001 и batch_size 32.

Сравнение метрик модели при различном количестве эпох представлено на рисунке 1.

5. Показано, что добавление аугментаций (размытие + отражение) заметно улучшает результат.

Метрики включают APCER, BPCER и ACER. Сводная таблица результатов представлена в таблице 3.

6. Финальная модель достигла значения ACER = 2.99% на тестовом наборе.

Сводка представлена в таблице 4.

7. Подход доказал свою пригодность для использования на потребительских устройствах, оснащённых только RGB-камерами.

8. 1 публикация на конференции, проиндексированной в Scopus, принята к печати.

Praveen Kumar

Руководитель  проекта, PhD, профессор Департамента Компьютерной Инженерии

Алиев Мирас

Исполнитель проекта, магистрант 1-го курса Astana IT University

Рахим Риза

Исполнитель проекта, студент 1-го курса Astana IT University