TÓM TẮT NỘI DUNG VIDEO TỰ ĐỘNG DỰA TRÊN HỌC SÂU

Abstract

Trong kỷ nguyên số, nhu cầu tóm tắt video tự động để tối ưu hóa việc quản lý và khai thác dữ liệu ngày càng trở nên cấp thiết. Để giải quyết bài toán này, luận văn đề xuất hệ thống tóm tắt video tự động dựa trên kiến trúc học sâu lai VASNet. Mô hình kết hợp mạng nơ-ron tích chập Inception V3 để trích xuất đặc trưng không gian, mạng hồi quy hai chiều Bi-LSTM để mô hình hóa phụ thuộc thời gian và cơ chế chú ý tự thân (Self-Attention) nhằm tính toán độ quan trọng toàn cục giữa các khung hình. Hệ thống được triển khai theo hướng học có giám sát trên hai bộ dữ liệu chuẩn SumMe và TVSum với giao thức kiểm tra chéo 5-fold. Nghiên cứu áp dụng hàm mất mát kết hợp giữa Focal Binary Cross-Entropy và Diversity Loss giúp tối ưu hóa sự cân bằng giữa độ chính xác và tính đa dạng của nội dung tóm tắt. Đặc biệt, chiến lược Tăng cường dữ liệu tách biệt (Decoupled Augmentation) kết hợp làm mượt nhãn Gaussian được thực hiện nhằm nâng cao tính tổng quát hóa của mô hình. Kết quả thực nghiệm cho thấy sự vượt trội của phương pháp đề xuất khi đạt F-score lần lượt là 49.3\% (trên SumMe) và 63.2\% (trên TVSum) ở chế độ Augmented. Đáng chú ý, các hệ số tương quan thứ bậc Spearman ($\rho = 0.443$) và Kendall ($\tau = 0.316$) đều vượt qua ngưỡng tham chiếu đồng thuận của con người (Human baseline), khẳng định khả năng xếp hạng khung hình cực kỳ hiệu quả. Đóng góp chính của luận văn trong việc tối ưu hóa kiến trúc VASNet thông qua chiến lược tăng cường dữ liệu và quy trình đánh giá đa chiều đã tạo ra một giải pháp toàn diện, làm tiền đề vững chắc cho các ứng dụng quản lý kho dữ liệu video thông minh. Từ khóa: Tóm tắt video, học sâu, mạng Bi-LSTM, cơ chế Self-Attention, Inception V3, kiến trúc VASNet, tăng cường dữ liệu, hệ số tương quan Spearman In the digital era, the demand for automatic video summarization to optimize multimedia data management and retrieval has become increasingly urgent. To address this challenge, this thesis proposes an automatic video summarization system based on the hybrid deep learning architecture VASNet. The proposed model integrates the Inception V3 convolutional neural network for spatial feature extraction, a Bidirectional Long Short-Term Memory (Bi-LSTM) network for modeling temporal dependencies, and a Self-Attention mechanism to evaluate the global importance of frames. The system is trained under a supervised learning framework on two benchmark datasets, SumMe and TVSum, utilizing a 5-fold cross-validation protocol. Furthermore, a joint loss function combining Focal Binary Cross-Entropy and Diversity Loss is employed to strike an optimal balance between the accuracy and diversity of the generated summaries. Notably, a Decoupled Augmentation strategy integrated with Gaussian label smoothing is implemented to enhance the model's generalization capability. Experimental results demonstrate the superiority of the proposed approach, achieving impressive F-scores of 49.3\% on SumMe and 63.2\% on TVSum under the Augmented setting. Remarkably, the rank correlation coefficients, including Spearman's ($\rho = 0.443$) and Kendall's ($\tau = 0.316$), both surpass the human consensus baseline, confirming the model's robust frame-ranking efficacy. The core contribution of this research lies in the comprehensive optimization of the VASNet architecture via advanced data augmentation and multi-dimensional evaluation, laying a solid foundation for intelligent video repository management applications. Keywords: Video summarization, deep learning, Bi-LSTM, Self-Attention, Inception V3, VASNet architecture, data augmentation, Spearman rank correlation