XÂY DỰNG HỆ THỐNG TRUY VẤN TRANH NGHỆ THUẬT DỰA TRÊN HÌNH ẢNH SỬ DỤNG MÔ HÌNH HỌC SÂU

Abstract

Với sự phát triển mạnh mẽ của thương mại điện tử, việc tìm kiếm tranh nghệ thuật thông qua từ khóa văn bản vẫn còn nhiều hạn chế do khó mô tả đầy đủ các đặc trưng trực quan như màu sắc, bố cục và phong cách. Từ thực tế đó, luận văn “Xây dựng hệ thống truy vấn tranh nghệ thuật dựa trên hình ảnh sử dụng mô hình học sâu” được thực hiện nhằm xây dựng một hệ thống truy vấn hình ảnh dựa trên nội dung (CBIR), cho phép người dùng tìm kiếm tranh trực tiếp từ hình ảnh. Hệ thống sử dụng tập dữ liệu WikiArt phiên bản Artificio/WikiArt với 103.250 mẫu ảnh. Mỗi tác phẩm được quản lý cùng các thông tin như tên tranh, tác giả, hình ảnh, thể loại, phong cách và mô tả. Trên website, dữ liệu được tổ chức thành các tác phẩm nghệ thuật gốc và các bản in thương mại với nhiều lựa chọn về kích thước, chất liệu, giá bán và số lượng tồn kho. Hệ thống hỗ trợ các chức năng xem và tìm kiếm sản phẩm, tìm kiếm bằng hình ảnh, đăng ký và đăng nhập, xem chi tiết sản phẩm, quản lý giỏ hàng, đặt hàng và theo dõi đơn hàng; đồng thời cung cấp các chức năng quản trị dữ liệu cho quản trị viên. Đối với chức năng tìm kiếm bằng hình ảnh, luận văn sử dụng mô hình CLIP với Image Encoder ViT-B/32 để trích xuất vector đặc trưng 512 chiều. Các vector được chuẩn hóa bằng L2 Normalization và lập chỉ mục bằng FAISS để tìm kiếm các tác phẩm có mức độ tương đồng cao. Khi người dùng tải ảnh lên, hệ thống thực hiện trích xuất đặc trưng, tìm kiếm Top-k kết quả và tra cứu thông tin tác phẩm tương ứng để hiển thị trên website. Để đánh giá hiệu năng, nghiên cứu sử dụng 1.000 ảnh truy vấn và kiểm thử dưới 5 điều kiện đầu vào, tương ứng với 5.000 lượt ảnh được đánh giá. Với ảnh nguyên bản, hệ thống đạt P@1 = 0,920 và mAP = 0,939 đối với nhiệm vụ Exact Match. Với trường hợp Crop_25, hệ thống vẫn đạt R@10 = 0,851 và mAP = 0,7375. Kết quả cũng cho thấy khả năng truy xuất theo Genre nhìn chung ổn định hơn theo Style khi ảnh bị biến đổi. Bên cạnh đó, thí nghiệm phân loại bằng Linear SVC cho thấy vector đặc trưng CLIP ViT-B/32 đạt kết quả cao nhất ở cả Style và Genre. CLIP đạt Accuracy = 0,4092 và Weighted F1-score = 0,42 đối với Style, trong khi đạt Accuracy = 0,6437 và Weighted F1-score = 0,65 đối với Genre. Kết quả cho thấy vector đặc trưng CLIP có khả năng biểu diễn thông tin về Genre tốt hơn Style. Từ khóa: CBIR, CLIP, FAISS, ViT-B/32, Truy vấn hình ảnh.- Abstract: With the rapid development of e-commerce, searching for artworks using text-basedkeywords still has many limitations because it is difficult to fully describe visual characteristics such as color, composition, and artistic style. Based on this issue, the thesis entitled “Development of an Image-Based Artwork Retrieval System Using Deep Learning” aims to develop a Content-Based Image Retrieval (CBIR) system that allows users to search for artworks directly from images. The system uses the Artificio/WikiArt version of the WikiArt dataset, containing 103,250 image samples. Each artwork is managed with information such as title, artist, image, genre, style, and description. The system is developed as an online art store and supports functions including browsing and searching for products, image-based search, user registration and login, viewing product details, shopping cart management, placing orders, and order tracking. For administrators, the system provides functions for managing artworks, art prints, suppliers, import invoices, users, and orders. For the image-based search function, the thesis uses CLIP with the ViT-B/32 Image Encoder to extract 512-dimensional feature vectors from images. The vectors are normalized using L2 Normalization and indexed using FAISS to retrieve artworks with high visual similarity. When a user uploads an image, the system extracts its feature vector, performs a Top-k similarity search, and retrieves the corresponding artwork information for display on the website. To evaluate retrieval performance, 1,000 query images were tested under five input conditions: Original, Crop_25, Rotate_15, Gaussian_Blur, and Brightness_1.5, resulting in a total of 5,000 evaluation cases. Under the Original condition, the system achieved P@1 = 0.920 and mAP = 0.939 for the Exact Match task. Under the Crop_25 condition, the system still achieved R@10 = 0.851 and mAP = 0.7375. The results also show that Genre-based retrieval was generally more stable than Style-based retrieval when the images were transformed. In addition, a classification experiment was conducted using Linear SVC to evaluate the discriminative ability of feature vectors extracted by ResNet-50, EfficientNet-B3, and CLIP ViT-B/32. CLIP ViT-B/32 achieved the best performance for both Style and Genre classification. For Style, CLIP achieved an Accuracy of 0.4092 and a Weighted F1-score of 0.42, while for Genre, it achieved an Accuracy of 0.6437 and a Weighted F1-score of 0.65. These results indicate that the feature representations extracted by CLIP capture Genre-related information more effectively than Style-related information. Keywords: CBIR, CLIP, FAISS, ViT-B/32, Artwork Retrieval, Image Classification.