NGHIÊN CỨU MÔ HÌNH HỌC SÂU CHO HỆ THỐNG XÁC THỰC KHUÔN MẶT EKYC TRÊN THIẾTBỊ DI ĐỘNG

Abstract

"Định danh khách hàng điện tử - eKYC đang được xem là thành phần cốt lỗi của nhiều tổ chức tài chính số lớn trên thế giới. Nó không những giúp người dùng rút ngắn quá trình xác thực khi không cần đến tận nơi mà còn giúp các tổ chức tiết kiệm thời gian, chi phí và quản lý kho dữ liệu tốt hơn. Tuy nhiên, sự phát triển nhanh chóng của trí tuệ nhân tạo tạo sinh đã làm xuất hiện nhiều hình thức tấn công giả dạng tinh vi, đặc biệt là công nghệ sử dụng các thuật toán học sâu và máy học hay còn được gọi là Deepfake. Công nghệ này đang thách thức, đe dọa trực tiếp đến tính nguyên vẹn của các hệ thống xác thực sinh trắc học hiện nay. Để giải quyết thách thức này, luận văn đã đề xuất một quy trình xác thực khuôn mặt cho hệ thống eKYC. Hệ thống được thiết kế theo kiến trúc nhiều quy trình gồm: Quy trình xử lý thứ nhất sử dụng mô hình YOLO kết hợp với mạng MTCNN để tự động phát hiện và căn chỉnh khuôn mặt từ giấy tờ tùy thân. Quy trình xử lý thứ hai đề xuất phân hệ phát hiện giả mạo khuôn mặt dựa trên phương pháp kiểm tra thụ động sử dụng kiến trúc mạng nơ-ron tích chập EfficientNet-B4 nhằm phát hiện các dấu vết thao túng hình ảnh trên video selfie. Quy trình xử lý thứ ba đối chiếu danh tính bằng cách so sánh độ tương đồng giữa các vector đặc trưng khuôn mặt từ mô hình ArcFace. Trong quá trình thực nghiệm và đánh giá kết quả của mô hình EfficientNet-B4 được huấn luyện trên bô dữ liệu Celeb-DF v2 và đánh giá khả năng tổng quát chéo trên tập dữ liệu DFDC. Kết quả cho thấy mô hình đã đạt điểm số ROC-AUC lên đến 0.99 trên tập kiểm thử nội bộ và duy trì kết quả cao 0.784 trên tập dữ liệu kiểm tra chéo, kết quả này cho thấy khả năng ứng dụng của EfficientNet trong hệ thống eKYC có thể đạt hiệu năng cao trong khi vẫn đảm bảo kiến trúc gọn, nhẹ, phù hợp để triển khai trên ứng dụng di động. "Electronic Customer Identification - eKYC is considered a core component of many large digital financial organizations worldwide. It not only shortens the verification process for users by eliminating the need for in-person visits but also helps organizations save time, costs, and manage data more effectively. However, the rapid development of artificial intelligence has led to the emergence of many sophisticated forms of impersonation attacks, particularly those using deep learning and machine learning algorithms, also known as Deepfake. This technology is challenging and directly threatening the integrity of current biometric authentication systems. To address this challenge, the thesis proposed a facial authentication process for the eKYC system. The system is designed with a multi-process architecture: The first processing process uses the YOLO model combined with a neural network to automatically detect and align faces from identification documents. The second processing process proposes a subsystem for detecting face spoofing based on a passive verification method using the EfficientNet-B4 convolutional neural network architecture to detect traces of image manipulation in selfie videos. The third processing process matches identity by comparing the similarity between facial feature vectors from the ArcFace model. During the experiment and evaluation, the EfficientNet-B4 model was trained on the CelebDFv2 dataset and its cross-generalization capability was evaluated on the Deepfake Detection Challenge (DFDC) dataset. The results showed that the model achieved an ROC-AUC score of up to 0.99 on the internal test set and maintained a high score of 0.784 on the DFDC dataset. This demonstrates the potential for applying EfficientNet in eKYC systems to achieve high performance while maintaining a compact and lightweight architecture suitable for mobile application deployment."