PHÂN TÍCH CẢM XÚC ĐA PHƯƠNG THỨC TRÊN ẢNH VÀ VĂN BẢN VỚI CLIP VÀ CƠ CHẾ CHÚ Ý CHÉO

Abstract

Trong những năm gần đây, sự phát triển nhanh chóng của các nền tảng mạng xã hội đã tạo ra một lượng lớn dữ liệu đa phương thức, trong đó hình ảnh và văn bản thường được kết hợp để thể hiện quan điểm và cảm xúc của người dùng. Các phương pháp phân tích cảm xúc truyền thống chỉ khai thác một phương thức dữ liệu còn nhiều hạn chế trong việc nắm bắt thông tin ngữ nghĩa bổ sung giữa các nguồn dữ liệu khác nhau. Xuất phát từ thực tế đó, luận văn đề xuất một phương pháp phân tích cảm xúc đa phương thức dựa trên sự kết hợp giữa mô hình CLIP và cơ chế chú ý chéo nhằm tăng cường khả năng tương tác ngữ nghĩa giữa đặc trưng hình ảnh và văn bản. Luận văn trước hết nghiên cứu cơ sở lý thuyết về phân tích cảm xúc đa phương thức, mô hình CLIP và cơ chế chú ý chéo, đồng thời khảo sát các nghiên cứu tiêu biểu trong lĩnh vực. Trên cơ sở đó, một mô hình phân loại cảm xúc đa phương thức được xây dựng, trong đó CLIP ViT-B/32 được sử dụng để trích xuất đặc trưng của hình ảnh và văn bản, còn cơ chế chú ý chéo được áp dụng để hợp nhất hiệu quả hai phương thức trước khi thực hiện phân loại cảm xúc. Mô hình được huấn luyện và đánh giá trên bộ dữ liệu MVSA-Single với ba lớp cảm xúc gồm tích cực, trung lập và tiêu cực. Kết quả thực nghiệm cho thấy mô hình đề xuất đạt độ chính xác là 76,77% và chỉ số F1 là 75,60%, vượt trội so với nhiều phương pháp phân tích cảm xúc đa phương thức tiêu biểu trên cùng bộ dữ liệu. Những kết quả này khẳng định rằng việc kết hợp CLIP với cơ chế chú ý chéo giúp nâng cao khả năng học biểu diễn đa phương thức và cải thiện hiệu quả phân loại cảm xúc. Từ khóa: Phân tích cảm xúc đa phương thức, CLIP, Cơ chế chú ý chéo, Mô hình thị giác - ngôn ngữ, MVSA-Single. ABSTRACT In recent years, the rapid growth of social media platforms has led to an increasing amount of multimodal data, where images and text are often combined to express users' opinions and emotions. Traditional sentiment analysis methods that rely on a single modality are limited in their ability to capture the complementary semantic information contained in different data sources. Motivated by this challenge, this thesis proposes a multimodal sentiment analysis approach that integrates the Contrastive Language–Image Pre-training (CLIP) model with a CrossAttention mechanism to enhance semantic interaction between visual and textual features. The study first investigates the theoretical foundations of multimodal sentiment analysis, CLIP, and Cross-Attention, followed by a review of representative related works. Based on these foundations, a multimodal sentiment classification model is developed in which CLIP ViT-B/32 is employed to extract feature representations from both images and text, while the Cross-Attention module is used to effectively fuse the two modalities before sentiment classification. The proposed model is trained and evaluated on the MVSA-Single dataset, which consists of three sentiment categories: positive, neutral, and negative. Experimental results demonstrate that the proposed model achieves an Accuracy of 76.77% and an F1-score of 75.60%, outperforming several representative multimodal sentiment analysis methods on the same dataset. These results confirm that the combination of CLIP and Cross-Attention effectively improves multimodal representation learning and enhances sentiment classification performance. Keywords: Multimodal Sentiment Analysis, CLIP, Cross-Attention, Vision -Language Model, MVSA-Single.