TÓM TẮT TÓM LƯỢT VĂN BẢN SỬ DỤNG MÔ HÌNH MLONGT5 VỚI DEEP ATTENTION

Abstract

Tóm tắt văn bản là đang được nhiều nhà nghiên cứu quan tâm. Luận văn này đề xuất mô hình tóm tắt văn bản tóm lược dựa trên mô hình tóm tắt văn bản mLongT5 kết hợp với re-attetion. Phương pháp được đề xuất tận dụng các ưu điểm tiềm ẩn của cơ chế tập trung sâu để nâng cao sự hiểu biết về ngữ cảnh và cải thiện việc tạo ra tóm tắt súc tích và mạch lạc hơn. Giai đoạn thử nghiệm bao gồm việc huấn luyện mô hình trên bộ dữ liệu CNN/Daily Mail. Kết quả cho thấy mô hình của chúng tôi có kết quả tốt hơn. Cụ thể, điểm số ROUGE-1, ROUGE-2 và ROUGE-L của mô hình mLongT5 kết hợp re-attention lần lượt là 38.7, 21.3 và 39.4.