HỆ THỐNG GỢI Ý ĐA MÔ THỨC CHO TRANG THƯƠNG MẠI ĐIỆN TỬ

Abstract

Trong bối cảnh thương mại điện tử phát triển nhanh, số lượng sản phẩm lớn khiến người dùng gặp khó khăn trong việc tìm kiếm và lựa chọn sản phẩm phù hợp. Hệ thống gợi ý trở thành công cụ quan trọng giúp cá nhân hóa nội dung, giảm quá tải thông tin và nâng cao trải nghiệm mua sắm. Tuy nhiên, trong thực tế, hành vi người dùng thường diễn ra trong các phiên truy cập ngắn và chịu ảnh hưởng bởi nhiều nguồn thông tin như lịch sử tương tác, văn bản mô tả, hình ảnh và giá sản phẩm. Từ thực tế đó, luận văn nghiên cứu và xây dựng hệ thống gợi ý đa mô thức cho trang thương mại điện tử theo hướng gợi ý dựa trên phiên làm việc. Mô hình đề xuất kết hợp tín hiệu hành vi trong phiên với thông tin mô tả sản phẩm gồm văn bản, hình ảnh và giá nhằm tạo biểu diễn sản phẩm đầy đủ hơn, qua đó cải thiện khả năng dự đoán mục tiếp theo. Về dữ liệu, luận văn xây dựng bộ Amazon_Grocery_Custom từ Amazon Grocery thông qua các bước làm sạch metadata, hợp nhất văn bản, chuẩn hóa giá, xác minh ảnh, tổ chức tương tác theo phiên, lọc k-core và chia tập theo thời gian. Về mô hình, luận văn xây dựng kiến trúc kết hợp nhánh định danh sản phẩm và nhánh mô tả đa mô thức. Văn bản và hình ảnh được mã hóa bằng mô hình Transformer để tạo embedding mô tả hợp nhất; biểu diễn phiên được học bằng cơ chế attention nhằm nắm bắt sở thích ngắn hạn của người dùng; đồng thời tín hiệu giá được sử dụng như thông tin bổ sung để hỗ trợ xếp hạng. Hệ thống được đánh giá theo hướng top-K ranking với các chỉ số Hit@K, MRR@K và nDCG@K ở nhiều mức K khác nhau. Kết quả thực nghiệm cho thấy mô hình đa mô thức đạt hiệu quả tốt và ổn định trên miền dữ liệu Grocery. Các thí nghiệm loại bỏ mô thức chứng minh việc kết hợp nhiều nguồn thông tin giúp cải thiện chất lượng gợi ý so với các cấu hình đơn mô thức. Trong đó, văn bản là tín hiệu đóng góp nổi bật nhất, hình ảnh đóng vai trò bổ trợ và giá giúp tăng cường chất lượng xếp hạng. Ngoài đánh giá định lượng, luận văn còn xây dựng giao diện minh họa trong ngữ cảnh thương mại điện tử, cho thấy tính khả thi ứng dụng của phương pháp đề xuất. Từ khóa: Hệ thống gợi ý đa mô thức, gợi ý theo phiên, thương mại điện tử, Amazon Grocery, văn bản, hình ảnh, giá, Hit@K, MRR@K, nDCG@K. With the rapid growth of e-commerce, users often face difficulties in finding suitable products due to the large number of available items. Recommendation systems help personalize product suggestions, reduce information overload, and improve the online shopping experience. However, user behavior in real-world e-commerce platforms usually occurs within short sessions and is influenced by multiple types of product information, such as text, images, and prices. This thesis proposes a multimodal session-based recommendation system for an e-commerce website. The proposed model combines user behavior within sessions with product information, including textual descriptions, images, and prices, to build richer product representations and improve next-item prediction. The Amazon_Grocery_Custom dataset is constructed from Amazon Grocery through metadata cleaning, text merging, price normalization, image validation, session organization, k-core filtering, and timebased data splitting. The model consists of an item identity branch and a multimodal content branch. Text and image features are encoded using a Transformer-based multimodal encoder, while session preferences are learned through an attention mechanism. Price information is also used as an additional signal to support ranking performance. The system is evaluated using top-K ranking metrics, including Hit@K, MRR@K, and nDCG@K. Experimental results show that the multimodal model performs effectively and stably on the Grocery domain. Ablation studies indicate that combining multiple modalities improves recommendation quality compared with using single modalities. Text contributes the most, images provide useful support, and price further enhances ranking quality. A demonstration interface is also developed to illustrate the practical application of the proposed recommendation system in an e-commerce context. Keywords: Multimodal recommendation system, session-based recommendation, e-commerce, Amazon Grocery, text, image, price, Hit@K, MRR@K, nDCG@K.