THIẾT KẾ VÀ TRIỂN KHAI HỆ THỐNG BIỂU DIỄN ĐẶC TRƯNG VĂN BẢN – HÌNH ẢNH DỰA TRÊN MÔ HÌNH HỌC SÂU CHO BÀI TOÁN TÌM KIẾM SẢN PHẨM THỜI TRANG TỪ TRUY VẤN VĂN BẢN

Abstract

Các hệ thống tìm kiếm trên trang thương mại điện tử thời trang thường gặp khó khăn trong việc hiểu ý định phức tạp qua các truy vấn ngôn ngữ tự nhiên. Để giải quyết vấn đề này, luận văn “Thiết kế và triển khai hệ thống biểu diễn đặc trưng văn bản – hình ảnh dựa trên mô hình học sâu cho bài toán tìm kiếm sản phẩm thời trang từ truy vấn văn bản” xây dựng một hệ thống tìm kiếm ngữ nghĩa đa phương thức, có khả năng gợi ý sản phẩm từ mô tả của người dùng. Luận văn đề xuất mô hình CLIPFashion, một kiến trúc đối sánh hình ảnh-văn bản, kết hợp bộ mã hóa văn bản tiếng Việt PhoBERT và so sánh hiệu năng giữa hai bộ mã hóa hình ảnh là Vision Transformer (ViT-B/16) và ResNet-50. Mô hình được huấn luyện trên bộ dữ liệu Fashion Product Images Small (FPISD) gồm 31,112 sản phẩm, thực hiện ánh xạ các cặp hình ảnh-văn bản vào một không gian vector chung để tính toán độ tương đồng. Kết quả thực nghiệm cho thấy biến thể của CLIPFashion sử dụng ViT-B/16 kết hợp tinh chỉnh PhoBERT đạt hiệu năng tốt nhất, với chỉ số MRR là 0.66 và Recall@10 là 88.57% trên 6.223 mẫu thử. Hệ thống sau đó đã được tích hợp vào một website thương mại điện tử. Từ khóa: CLIPFashion, Học đa phương thức, PhoBERT, ResNet-50, Thương mại điện tử, Tìm kiếm ngữ nghĩa, Vision Transformer.