TÓM TẮT TÓM LƯỢC VĂN BẢN SỬ DỤNG MÔ HÌNH TRANSFORMER VỚI DEEP ATTENTION

Abstract

Luận văn này đề xuất sử dụng mô hình Transformer với deep attention cho bài toán tóm tắt tóm lược văn bản. Chúng tôi đã thực nghiệm mô hình trên tập dữ liệu CNN/Daily mail và Inshort news. Chúng tôi nhận thấy rằng mô hình đã cho kết quả tốt hơn so với mô hình Transformer truyền thống. Cụ thể điểm số ROUGE-1, ROUGE-2, ROUGE-L của mô hình trên tập dữ liệu CNN/Daily mail lần lượt là : 40.92, 10.67, 14.11. Còn với tập dữ liệu Inshort news lần lượt là: 58.59, 14.90, 30.93.