ƯỚC LƯỢNG TRẠNG THÁI CẢM XÚC VALENCE-AROUSAL VỚI MULTI-AXIS VISION TRANSFORMER VÀ CƠ CHẾ ATTENTION

Abstract

Trong những năm gần đây, phân tích cảm xúc con người từ ảnh khuôn mặt nhận được nhiều quan tâm do có thể ứng dụng trong tương tác người–máy, giáo dục thông minh, chăm sóc sức khỏe tinh thần và giám sát an toàn. Thay vì chỉ phân loại cảm xúc theo các nhãn rời rạc như vui, buồn, giận hay sợ, nhiều nghiên cứu hiện nay biểu diễn cảm xúc theo không gian liên tục Valence–Arousal, trong đó Valence thể hiện mức độ tích cực hoặc tiêu cực, còn Arousal thể hiện mức độ kích hoạt cảm xúc từ bình tĩnh đến hưng phấn. Tuy nhiên, ước lượng Valence–Arousal từ ảnh khuôn mặt trong điều kiện tự nhiên vẫn là một bài toán khó do ảnh có thể đa dạng về ánh sáng, góc mặt, chất lượng ảnh và biểu cảm thường tinh tế. Trong luận văn này, tôi đề xuất một mô hình học sâu cho bài toán ước lượng Valence–Arousal từ ảnh khuôn mặt sử dụng bộ dữ liệu AffectNet. Mô hình được xây dựng trên backbone Multi-Axis Vision Transformer, cụ thể được hiện thực bằng MaxViT, nhằm khai thác đồng thời đặc trưng cục bộ và quan hệ toàn cục trên khuôn mặt. Trên nền tảng đó, luận văn thay thế head hồi quy thông thường bằng một Attentive Pooling Head để học trọng số chú ý trên các vùng không gian khác nhau của feature map, từ đó nhấn mạnh các vùng khuôn mặt mang nhiều thông tin cảm xúc trước khi dự đoán đồng thời valence và arousal. Ngoài ra, mô hình còn kế thừa trọng số khởi tạo từ một checkpoint combined để tăng khả năng hội tụ và cải thiện hiệu quả học biểu diễn cảm xúc. Mô hình được huấn luyện với hàm mất mát kết hợp giữa Mean Squared Error (MSE) và Concordance Correlation Coefficient loss (CCCLoss), trong đó CCC được sử dụng làm chỉ số đánh giá chính. Kết quả thực nghiệm cho thấy cấu hình tốt nhất là MaxViT với Attention Pooling Head cùng Combined Weight, đạt CCCv = 0.7231, CCCa = 0.6459 và CCCmean = 0.6845 trong thiết lập huấn luyện theo phương pháp của CAGE. Kết quả này cao hơn mô hình tham chiếu CAGE trong cùng giao thức thực nghiệm, đồng thời cho thấy việc bổ sung attention ở head và sử dụng combined weight mang lại cải thiện nhất quán cho bài toán ước lượng cảm xúc liên tục. Ngoài ra, các thí nghiệm cũng cho thấy valence thường được dự đoán tốt hơn arousal, gợi ý rằng arousal vẫn là thành phần cần được cải thiện thêm trong các nghiên cứu tiếp theo. Từ khóa: Valence–Arousal, AffectNet, Multi-Axis Vision Transformer, MaxViT, Attention, Concordance Correlation Coefficient. In recent years, emotion analysis from facial images has attracted much attention because it can be used in human–computer interaction, smart education, mental health care, and safety monitoring. Instead of only classifying emotions into discrete labels such as happy, sad, angry, or fear, many recent studies represent emotions in the continuous Valence–Arousal space. In this model, Valence describes how positive or negative an emotion is, while Arousal describes the level of activation, from calm to excited. However, estimating Valence–Arousal from facial images in real-world conditions is still difficult because images may vary in lighting, head pose, image quality, and subtle facial expressions. In this thesis, I propose an end-to-end deep learning model for Valence–Arousal estimation from facial images using the AffectNet dataset. The model is built on a Multi-Axis Vision Transformer backbone, implemented with MaxViT, to capture both local facial patterns and global spatial relationships. On top of this backbone, the thesis replaces the standard regression head with an Attentive Pooling Head. This head learns attention weights over different spatial regions of the feature map, so that the model can focus more on emotionally informative facial areas before predicting valence and arousal at the same time. In addition, the model is initialized from a combined checkpoint to improve convergence and strengthen emotion-related feature learning. The model is trained with a hybrid loss that combines Mean Squared Error (MSE) and Concordance Correlation Coefficient loss (CCCLoss), while CCC is used as the main evaluation metric. Experimental results show that the best configuration is MaxViT with Attention Pooling Head and Combined Weight, which achieves CCCv = 0.7231, CCCa = 0.6459, and CCCmean = 0.6845 under the CAGE training protocol. This result is higher than the CAGE baseline under the same evaluation setting, and it shows that adding attention in the regression head together with combined-weight initialization brings consistent improvement for continuous emotion estimation. The experiments also show that valence is usually easier to predict than arousal, which suggests that arousal should be further improved in future work. Keywords: Valence–Arousal, AffectNet, Multi-Axis Vision Transformer, MaxViT, Attention, Concordance Correlation Coefficient.