SINH CÂU MÔ TẢ CHO HÌNH ẢNH DỰA TRÊN MÔ HÌNH SMALLCAP VỚI DEEP ATTENTION

Abstract

Sinh câu mô tả cho hình ảnh là một trong những bài toán quan trọng trong lĩnh vực hiểu hình ảnh liên quan đến thị giác máy tính và xử lý ngôn ngữ tự nhiên. Trong luận văn này, mô hình học sâu dựa được sử dụng để tạo câu mô tả cho hình ảnh tiếng Việt và tiếng Anh. Kiến trúc hợp kết hợp đặc trưng hình ảnh được rút trích từ mô hình CLIP, cùng với các câu mô tả được mã hoá và đặc trựng ảnh đưa vào deep attention kết hợp mô hình GPT kết để sinh câu mô tả cho hình ảnh. Mô hình được huấn luyện trên tập dữ liệu Flickr8k. Kết quả đánh giá mô hình sử dụng tập dữ liệu Flickr8k tiếng Việt BLEU-1: 72.39, BLEU-2: 59.79, BLEU-3: 49.2, BLEU-4: 39.51. Và trên tập dữ liệu Flickr8k tiếng Anh BLEU-1: 73.9 , BLEU-2: 56.69, BLEU-3: 41.54, BLEU-4: 30.57 .