GỢI Ý CÁC MÓN ĂN QUA HÌNH ẢNH

Abstract

Luận văn xây dựng hệ thống gợi ý món ăn dựa trên hình ảnh, hỗ trợ truy vấn bằng ảnh hoặc văn bản nguyên liệu. Hệ thống tận dụng các mô hình thị giác đã tiền huấn luyện theo hướng tự giám sát để trích xuất biểu diễn đặc trưng (embedding) từ hai kiến trúc Vision Transformer (ViT-B/16) và ConvNeXt-Base. Embedding của toàn bộ tập dữ liệu được tạo và lưu thành thư viện (gallery/index). Khi người dùng cung cấp ảnh, hệ thống truy hồi các mẫu tương tự dựa trên cosine similarity, đồng thời tính điểm trùng khớp nguyên liệu từ văn bản và kết hợp theo mô hình gợi ý lai (hybrid) với trọng số 0,7 cho độ tương đồng hình ảnh và 0,3 cho mức trùng nguyên liệu. Tập dữ liệu gồm 9.104 mẫu thuộc 25 nhãn món ăn phổ biến. Kết quả thực nghiệm cho thấy ConvNeXt-Base đạt Top-1 87,2%, cao hơn ViT-B/16 13,34 điểm phần trăm. Hệ thống được triển khai với giao diện Streamlit, cung cấp các chức năng nhận diện ảnh, gợi ý nguyên liệu, làm nổi bật nguyên liệu trùng khớp, hiển thị tên món ăn và so sánh kết quả giữa hai mô hình. Từ khóa: Gợi ý món ăn, Self-Supervised Learning, Vision Transformer, ConvNeXt, Hybrid Recommendation, Retrieval.