XÂY DỰNG HỆ THỐNG TRUY VẤN TRANG PHỤC TRUYỀN THỐNG CỦA MỘT SỐ DÂN TỘC VIỆT NAM DỰA TRÊN THỊ GIÁC MÁY TÍNH VÀ MẠNG NGỮ NGHĨA

Abstract

Trong luận văn này, chúng tôi trình bày phương pháp xây dựng hệ thống truy vấn trang phục truyền thống của một số dân tộc Việt Nam bằng cách kết hợp thị giác máy tính với mạng ngữ nghĩa. Dựa trên đặc trưng của trang phục truyền thống một số dân tộc, chúng tôi tạo các hộp giới hạn (bounding box) cho các đối tượng trong ảnh, vận dụng các mô hình thị giác máy tính như là: YOLOv3-Pytorch đạt độ chính xác trung bình khi huấn luyện là 79.5% và đạt 81.74% khi kiểm thử, YOLOv4-Darknet đạt độ chính xác trung bình khi huấn luyện là 77.8% và đạt 82.09% khi kiểm thử, EfficientDet-D0-D7 đạt độ chính xác trung bình khi huấn luyện là 71.4% và đạt 89.57% khi kiểm thử với 10064 ảnh được sử dụng cho huấn luyện và 340 được sử dụng trong kiểm thử. Bộ dữ liệu ban đầu có 893 ảnh được chia thành 70% cho huấn luyện, 20% thẩm định, 10% kiểm thử, chúng tôi sử dụng “Tăng cường dữ liệu” huấn luyện từ 629 ảnh lên 10064 ảnh với 4 chỉ số tăng cường dữ liệu là: lặt ảnh, phóng to hoặc thu nhỏ ảnh, cắt ảnh, tạo 1 ảnh từ 1 phần của 4 ảnh khác nhau. Tiếp theo, dựa vào thông tin của trang phục truyền thống của một số dân tộc Việt Nam, chúng tôi bắt đầu xây dựng mạng ngữ nghĩa (Ontology) gồm có: 17 lớp trang phục, 33 lớp lễ hội, 1 lớp vòng tay, 12 lớp mũ, 2 lớp vòng cổ và 5 lớp thắt lưng. Kết quả đạt được của hệ thống truy vấn trang phục truyền thống của một số dân tộc Việt Nam là người dùng có thể tìm kiếm thông tin theo mạng ngữ nghĩa hoặc tìm kiếm theo hình ảnh.