TÓM TẮT RÚT TRÍCH VĂN BẢN SỬ DỤNG MÔ HÌNH SEQUENCE-TO-SEQUENCE VỚI CƠ CHẾ ATTENTION VÀ MÔ HÌNH BERT

Abstract

Tóm tắt văn bản là một chủ đề đang rất được quan tâm trong lĩnh vực xử lý ngôn ngữ tự nhiên. Các tóm tắt văn bản là một phiên bản rút gọn hoặc cô đọng của văn bản gốc, nhưng vẫn giữ được ý chính của nó. Luận văn này nghiên cứu phương pháp tóm tắt trích xuất văn bản cho các bài báo sử dụng mô hình sequence-to-sequence với cơ chế attention, xây dựng nhúng từ bằng mô hình word2vec và BERT. Chúng tôi thử nghiệm trên bộ dữ liệu CNN / Daily Mail ở tiếng Anh và bộ dữ liệu bao gồm các bài báo được rút trích từ các trang báo mạng ở tiếng Việt. Độ chính xác của mô hình được đánh giá bằng chỉ số ROUGE. Chúng tôi sẽ nghiên cứu sự kết hợp của các mô hình khác nhau và điều chỉnh các thông số để nâng cao kết quả.