ỨNG DỤNG HỌC SÂU XÂY DỰNG CHATBOT HỖ TRỢ QUẢNG BÁ CÁC MÓN ĂN ĐẶC SẢN CỦA ĐỒNG BẰNG SÔNG CỬU LONG

Abstract

Dựa vào hình ảnh các các món ăn ở khu vực đồng bằng sông Cửu Long, cùng các câu hỏi xoay quanh món ăn: Món ăn này tên là gì? Nổi tiếng ở đâu? Nguyên liệu chính bao gồm những gì? Cách làm như thế nào? Từ đó, xây dựng ứng dụng chatbot hỗ trợ quảng bá các món ăn đặc sản của đồng bằng sông Cửu Long. Đề tài trình bày cách tiếp cận các mô hình Transformer-based (như ViT cho dữ liệu hình ảnh, BERT/PhoBERT với dữ liệu văn bản, hoặc ViLT xử lý đồng thời dữ liệu hình ảnh và văn bản), để huấn luyện mô hình Visual Question Answering – VQA cho tác vụ phân lớp. Sau đó, sử dụng mô hình VQA như Visual Encoder kết hợp với Decoder là GPT2 xây dựng một mô hình Visual Encoder – Decoder cho tác vụ sinh câu trả lời. Tập dữ liệu thực nghiệm là một phần của tập dữ liệu 30VNFoods và VinaFood21 với 7694 hình ảnh các món ăn ở đồng bằng sông Cửu Long. Kết quả đánh giá các mô hình VQA dựa trên chỉ số Accuracy đạt được kết quả khá cao. Giá trị Accuracy Mô hình 1: ViT và BERT trên tiếng Anh là 94%, ViT và PhoBERT trên tiếng Việt xấp xỉ 95%, với Mô hình 2: ViLT đạt hơn 92% trên tiếng Anh. Với Mô hình 3, mô hình sinh câu trả lời sử dụng ViLT kết hợp GPT-2, chỉ tiếng Anh, đạt kết quả lần lượt là 49.92, 39.26, 47.53 tương ứng với các chỉ số ROUGE-1, ROUGE-2, ROUGE-L trong phương pháp đánh giá ROUGE. Cuối cùng, áp dụng các mô hình đã được huấn luyện vào xây dựng chatbot.