XÂY DỰNG CÂU MÔ TẢ CHO HÌNH ẢNH SỬ DỤNG MÔ HÌNH INCEPTION-V3 VÀ TRANSFORMER

Abstract

Tự động xây dựng câu mô tả cho hình ảnh là một trong những bài toán quan trọng trong lĩnh vực hiểu hình ảnh liên quan đến thị giác máy tính và xử lý ngôn ngữ tự nhiên. Trong luận văn này, mô hình học sâu dựa trên kiến trúc hợp nhất được sử dụng để rạo câu mô tả cho hình ảnh bằng tiếng Việt. Kiến trúc hợp nhất kết hợp đặc trưng hình ảnh được rút trích từ mô hình Inception-V3 với các câu mô tả đã được mã hóa bằng mô hình Transformer. Sử dụng hình ảnh và câu mô tả của hai tập dữ liệu Flickr8k và Flickr30k để tiến hành huấn luyện mô hình. Kết quả đánh giá mô hình sử dụng tập dữ liệu Flickr8k (BLEU-1: 55,14; BLEU-2: 42,96; BLEU-3: 40,86; BLEU4: 36,42) cao hơn kết quả đánh giá của mô hình sử dụng tập trên tập Flickr30k (BLEU-1: 49,35; BLEU-2: 37,91; BLEU-3: 37,32; BLEU-4: 33,28).