ỨNG DỤNG THỊ GIÁC MÁY TÍNH ĐỂ PHÁT HIỆN VÀ GHI NHẬN HÀNH VI VI PHẠM GIAO THÔNG

Abstract

Trong bối cảnh giao thông đô thị ngày càng phức tạp, nhu cầu xây dựng các hệ thống giám sát tự động nhằm phát hiện và ghi nhận vi phạm theo thời gian thực trở nên cấp thiết do các phương pháp quan sát thủ công thiếu ổn định, tốn nhân lực và khó đảm bảo tính nhất quán. Luận văn này tập trung phát triển một hệ thống giám sát vi phạm giao thông dựa trên các mô hình thị giác máy tính thuộc họ YOLO, gồm ba mô-đun chính: nhận diện phương tiện (YOLOv11s), phát hiện vùng biển số (YOLOv10n) và OCR nhận dạng ký tự (YOLOv10n). Các mô hình được huấn luyện trên bộ dữ liệu phản ánh đặc trưng giao thông Việt Nam và áp dụng kỹ thuật tăng cường dữ liệu nhằm nâng cao khả năng chịu nhiễu trong môi trường thực tế. Kết quả thực nghiệm cho thấy hệ thống đạt hiệu năng cao ở tất cả các giai đoạn, duy trì mAP, Precision, Recall ổn định, theo dõi phương tiện liên tục, trích xuất khung hình vi phạm chính xác và nhận dạng biển số hiệu quả ngay cả khi ảnh mờ, lệch hoặc che khuất một phần. Bên cạnh kết quả mô hình, đề tài đã triển khai thành công một hệ thống hoàn chỉnh gồm pipeline AI – backend – frontend hoạt động thời gian thực: phát hiện đè vạch, vượt đèn đỏ, theo dõi ID phương tiện bằng ByteTrack, lấy điểm stopline, xác định tín hiệu đèn, sinh bản ghi vi phạm, hiển thị trực quan bounding box, FPS, ROI và các lớp vi phạm trên giao diện. Hệ thống cho phép xem chi tiết vi phạm, hiển thị bằng chứng (ảnh/video), chỉnh sửa OCR, quản lý danh sách vi phạm và truyền dữ liệu qua WebSocket với độ trễ thấp. Những kết quả đạt được chứng minh tính khả thi của giải pháp và cho thấy hệ thống có thể ứng dụng thực tế nhằm hỗ trợ lực lượng chức năng trong giám sát xử phạt vi phạm, đồng thời là nền tảng để phát triển các giải pháp giao thông thông minh quy mô lớn trong tương lai. Từ khóa: AI, ByteTrack, Thị giác máy tính, Nhận dạng biển số, OCR, Xử lý thời gian thực, Nhận dạng đèn giao thông, Hệ thống giám sát giao thông, Phát hiện vi phạm giao thông, YOLO.