NHẬN DẠNG CẢM XÚC KHUÔN MẶT VÀ XÂY DỰNG MÔ TẢ CHO HÌNH ẢNH

Abstract

Tự động nhận dạng cảm xúc khuôn mặt và xây dựng mô tả cho hình ảnh là những bài toán quan trọng trong lĩnh vực hiểu hình ảnh. Trong luận văn này, chúng tôi nghiên cứu mô hình nhận dạng cảm xúc con người và mô hình xây dựng mô tả cho hình ảnh để xây dựng câu mô tả cho hình ảnh và con người trong hình ảnh đó ở tiếng Việt. Đầu tiên, chúng tôi nghiên cứu mô hình CNN và YOLOv5 để nhận dạng cảm xúc khuôn mặt của con người trên tập dữ liệu KDEF. Thực nghiệm cho thấy sử dụng mô hình YOLOv5 để nhận dạng cảm xúc giúp đạt được kết quả tốt hơn so với mô hình CNN. Sau đó, chúng tôi nghiên cứu mô hình tự động xây dựng mô tả cho hình ảnh dựa trên kiến trúc hợp nhất. Kiến trúc hợp nhất kết hợp các đặc trưng hình ảnh được trích xuất từ mô hình CNN với các mô tả đã được mã hóa qua mạng LSTM để huấn luyện xây dựng mô tả cho hình ảnh trên tập dữ liệu Flickr8k. Nếu câu mô tả có cụm từ chỉ người, chúng tôi sẽ nhận dạng cảm xúc của người trong ảnh. Cuối cùng, chúng tôi kết hợp câu mô tả hình ảnh được sinh ra với cảm xúc của người xuất hiện trong bức ảnh đó để tạo ra câu mô tả hình ảnh có chứa cả nội dung của hình ảnh và cảm xúc của người trong ảnh. Kết quả mô hình xây dựng mô tả cho hình ảnh kết hợp với nhận diện cảm xúc được đánh giá trên tập dữ liệu Flickr8k đạt điểm BLEU như sau: BLEU-1: 0,62; BLEU-2: 0,38; BLEU-3: 0,27 và BLEU-4: là 0,16