ỨNG DỤNG CÁC PHƯƠNG PHÁP HỌC SÂU ĐỂ XÂY DỰNG HỆ THỐNG MÔ PHỎNG XE TỰ LÁI (Phân hệ: Hệ thống giao thông 3D và nhận dạng biển báo giao thông)

Abstract

Trong luận văn này, một ứng dụng các phương pháp học sâu sẽ được giới thiệu để xây dựng hệ thống mô phỏng xe tự hành trên nền tảng Unity 3D. Một mô hình mô phỏng hệ thống giao thông Việt Nam gồm hệ thống đường với các làn đường dành cho xe ô tô, xe máy và người đi bộ cùng với hệ thống biển báo giao thông. Một bộ biển báo gồm 1500 ảnh sẽ được trích xuất từ mô hình mô phỏng hệ thống giao thông được dùng để huấn luyện các mô hình phát hiện biển báo giao thông. Các mô hình phát hiện đối tượng như YOLOv4, SSD MobileNet và SSD ResNet50 được huấn luyện để giải quyết vấn đề phát hiện biển báo giao thông. Việc kiểm thử các mô hình phát hiện biển báo giao thông được thực hiện với 300 ảnh. Kết quả kiểm thử các mô hình với trung bình precision, recall và F1-score của mô hình YOLOv4 lần lượt là 95%, 84% và 89%; mô hình SSD Mobilenet là 99%, 87% và 91%; mô hình SSD ResNet50 là 99%, 85% và 91%. Từ các kết quả kiểm thử mô hình cho thấy mô hình SSD MobileNet phù hợp để tích hợp vào hệ thống điều khiển xe để giải quyết cho vấn đề phát hiện biển báo. Mô hình phát hiện biển báo được sử dụng để phát hiện biển báo và xây dựng kịch bản cho xe tự lái. Hệ thống điều khiển xe sẽ truyền biển báo phát hiện được cho mô hình mô phỏng thông qua hệ điều hành ROS. Từ loại biển báo phát hiện được, xe sẽ tự đưa ra các quyết định lái xe tương ứng. Chẳng hạn, tại các ngã ba, ngã tư đường, để có thể quyết định là chạy thẳng, rẽ trái hay rẽ phải thì xe sẽ dựa trên biển báo rẽ trái hoặc rẽ phải đặt tại các ngã ba, ngã tư để tự động rẽ trái hoặc phải