SINH CÂU MÔ TẢ CHO HÌNH ẢNH SỬ DỤNG MÔ HÌNH BLIP VỚI DEEP ATTENTION

Abstract

Sinh câu mô tả cho hình ảnh là một chủ đề trong lĩnh vực học máy, sử dụng kĩ thuật nhận dạng hình ảnh và mô hình xử lý ngôn ngữ tự nhiên để sinh ra các câu mô tả cho các hình ảnh. Trong luận văn này, chúng tôi thực hiện thử nghiệm với mô hình BLIP đồng thời cải tiến mô hình bằng cách tích hợp vào mô hình kĩ thuật deep attention. Chúng tôi thực hiện các thử nghiệm trên tập dữ liệu Flickr8k bằng tiếng Anh và tiếng Việt đồng thời đánh giá nó bằng điểm BLEU. Kết quả thực nghiệm cho thấy mô hình đã được cải tiến giúp đạt điểm BLEU tốt hơn so với mô hình truyền thống. Cụ thể, các điểm BLEU-1, BLEU-2, BLEU-3, BLEU-4 của mô hình đã được cải tiến trên tập dữ liệu Flickr8k tiếng Anh và tiếng Việt lần lượt là 0.792, 0.652, 0.521, 0.411 và 0.770, 0.652, 0.584, 0.450.