ỨNG DỤNG KỸ THUẬT NHẬN DIỆN KÉP DỰA TRÊN BIỂU DIỄN EMBEDDING VÀ MÔ HÌNH SIAMESE NETWORK CHO KIỂM SOÁT PHƯƠNG TIỆN

Abstract

Trong bối cảnh đô thị hóa và sự gia tăng áp lực lên hạ tầng quản lý phương tiện tại các khu lưu trú tập trung như ký túc xá và chuỗi nhà trọ, công tác đảm bảo an ninh bãi xe đang đối mặt với những thách thức lớn về tính chính danh. Các hệ thống quản lý dựa trên công nghệ thẻ từ truyền thống hiện nay bộc lộ lỗ hổng bảo mật nghiêm trọng khi chỉ xác thực dựa trên vật sở hữu mà bỏ qua mối liên hệ giữa phương tiện và người điều khiển. Nghiên cứu này đề xuất một giải pháp quản lý bãi giữ xe thông minh dựa trên cơ chế xác thực kép (Dual Authentication) nhằm thắt chặt quy trình kiểm soát an ninh. Phương pháp tiếp cận cốt lõi của đề tài là xây dựng một quy trình bắc cầu dữ liệu giữa thực thể văn bản và thực thể sinh trắc học. Cụ thể, hệ thống sử dụng mô hình YOLOv11 kết hợp với kỹ thuật nhận diện ký tự quang học thông qua PaddleOCR để trích xuất ký tự trên biển số xe, đóng vai trò là khóa truy vấn trong cơ sở dữ liệu. Song song đó, mạng nơ-ron sâu với kiến trúc ArcFace được triển khai để trích xuất véc-tơ đặc trưng khuôn mặt người điều khiển. Quyết định xác thực được đưa ra dựa trên việc tính toán độ tương đồng Cosine giữa véc-tơ khuôn mặt thời gian thực và mẫu tham chiếu được truy xuất hệ thống. Kết quả thực nghiệm cho thấy hệ thống không chỉ đảm bảo độ chính xác cao trong việc ngăn chặn các hành vi xâm nhập trái phép mà còn tối ưu hóa được tốc độ xử lý, đáp ứng yêu cầu vận hành thời gian thực. Nghiên cứu đóng góp một khung giải pháp kỹ thuật khả thi cho việc phát triển hạ tầng giao thông thông minh, góp phần nâng cao tiêu chuẩn an toàn trong quản lý đô thị hiện đại. Từ khóa: Xác thực kép, Nhận diện biển số xe, Nhận diện khuôn mặt, YOLOv11, ArcFace, Bãi xe thông minh. In the context of rapid urbanization and the escalating pressure on vehicle management infrastructure in concentrated residential areas such as dormitories and apartment complexes, parking security operations are confronting significant challenges regarding identity verification. Current management systems relying on traditional RFID technology exhibit critical security vulnerabilities, as they authenticate solely based on object possession, disregarding the inherent connection between the vehicle and its driver. To address this issue, this study proposes a smart parking management solution based on a Dual Authentication mechanism to tighten the security control process. The core approach of this research involves establishing a data bridging pipeline between textual and biometric entities. Specifically, the system utilizes the YOLOv11 model in conjunction with Optical Character Recognition (OCR) via PaddleOCR to extract license plate characters, which subsequently serve as the query key in the database. Simultaneously, a deep neural network employing the ArcFace architecture is deployed to extract the driver’s facial feature embeddings. The final authentication decision is determined by calculating the Cosine similarity between the real-time facial vector and the reference template retrieved from the system. Experimental results demonstrate that the proposed system not only achieves high accuracy in preventing unauthorized access via lost or stolen parking cards but also optimizes processing latency, successfully meeting real-time operational requirements. This research contributes a feasible technical framework for the development of smart transportation infrastructure, thereby elevating safety standards in modern urban management. Keywords: Dual Authentication, License Plate Recognition, Face Recognition, YOLOv11, ArcFace, Smart Parking.