ỨNG DỤNG MÔ HÌNH HỌC SÂU TRONG PHÁT TRIỂN HỆ THỐNG PHÂN TÍCH VIDEO GIÁM SÁT CHO BÀI TOÁN KIỂM ĐẾM HÀNG HÓA XUẤT – NHẬP KHO

Abstract

Hiện nay, hệ thống camera giám sát đã được triển khai rộng rãi tại nhiều kho bãi và cơ sở sản xuất nhằm phục vụ mục đích an ninh. Tuy nhiên, nguồn tài nguyên này vẫn chưa được tận dụng hiệu quả để giải quyết bài toán kiểm đếm hàng hóa. Xuất phát từ thực tiễn đó, luận văn đề xuất một hệ thống giám sát tự động hỗ trợ kiểm đếm hàng hóa trong hoạt động xuất - nhập kho dựa trên dữ liệu từ hệ thống camera sẵn có tại một kho hóa chất. Ứng dụng sử dụng YOLO26n để phát hiện và định vị các đối tượng hàng hóa trên từng khung hình, sau đó áp dụng ByteTrack để truy vết và gán định danh theo thời gian. Trong các trường hợp đối tượng bị mất bám ngắn hạn dẫn đến phát sinh ID mới, module TrackletStitcher được sử dụng nhằm nối lại các track dựa trên sự tương đồng về đặc trưng không gian và chuyển động của đối tượng. Hoạt động kiểm đếm được thực hiện dựa trên sự thay đổi trạng thái vùng của đối tượng theo thời gian nhằm hạn chế hiện tượng đếm lặp. Tập dữ liệu được xây dựng từ các video ghi lại hoạt động xuất - nhập hàng thực tế tại kho bãi. Các video được trích xuất thành khung hình, tăng cường dữ liệu và gán nhãn thủ công với ba lớp đối tượng gồm can nhựa xanh 20 lít, can nhựa trắng 10 lít và xô nước. Hiệu năng của ứng dụng được đánh giá thông qua sự so sánh giữa kết quả ghi nhận từ ứng dụng và kết quả kiểm đếm thủ công. Hệ thống đạt độ chính xác kiểm đếm trung bình 0.97 trong điều kiện quá trình vận chuyển được chuẩn hóa và đạt mức 0.82 trong điều kiện có vật gây nhiễu hoặc che khuất tại vạch ảo. Từ khóa: kiểm đếm hàng hóa, xuất - nhập kho, camera giám sát, thị giác máy tính, phát hiện đối tượng, theo dõi đa đối tượng. Nowadays, surveillance camera systems are widely used in warehouses and production facilities for security purposes. However, these systems have not been effectively used for goods counting tasks. Based on this practical need, this thesis proposes an automatic monitoring system to support goods counting in warehouse import and export activities using existing camera data from a chemical warehouse. The application uses YOLO26n to detect and locate goods objects in each video frame, then applies ByteTrack to track and assign IDs to objects over time. In cases where objects are temporarily lost and new IDs are created, the TrackletStitcher module is used to reconnect tracks based on similarities in object position and movement. The counting process is performed based on the change of object region states over time in order to reduce repeated counting. The dataset was built from videos recorded during real import and export activities in the warehouse. The videos were converted into image frames, augmented, and manually labeled with three object classes, including 20-liter green plastic cans, 10-liter white plastic cans, and water buckets. The performance of the application was evaluated by comparing the system counting results with manual counting results. The system achieved an average counting accuracy of 0.97 under standardized transportation conditions and 0.82 in conditions with noise or object occlusion near the virtual line. Keywords: Inventory counting, warehouse inbound and outbound, surveillance camera, computer vision, object detection, multi-object tracking.