XÂY DỰNG CÂU MÔ TẢ CHO HÌNH ẢNH SỬ DỤNG MÔ HÌNH VISION TRANSFORMER VÀ BI-TRANSFORMER

Abstract

Tự động xây dựng câu mô tả cho hình ảnh là một trong những bài toán quan trọng trong lĩnh vực hiểu hình ảnh liên quan đến thị giác máy tính và xử lý ngôn ngữ tự nhiên. Trong luận văn này, mô hình học sâu dựa được sử dụng để tạo câu mô tả cho hình ảnh bằng tiếng Việt. Kiến trúc hợp kết hợp đặc trưng hình ảnh được rút trích tư mô hình Vision Transformer với các câu mô tả đã được mã hóa bằng BiTransformer. Mô hình được huấn luyện trên tập dữ liệu Flickr8k. Kết quả đánh giá mô hình sử dụng tập dữ liệu Flickr8k là BLEU-1: 81.57, BLEU-2: 75.93, BLEU-3: 70.06, BLEU-4: 64.80.