TẠO DỰNG VĂN BẢN TIẾNG VIỆT BẰNG PHƯƠNG PHÁP GPT-2

Abstract

Tạo dựng văn bản là quá trình sáng tác một đoạn văn hoàn chỉnh từ một hoặc nhiều câu văn đầu vào sao cho phù hợp với yêu cầu của người dùng. Thông thường, việc tạo dựng văn bản phải tiêu tốn nhiều thời gian, tiền bạc và công sức. Trong luận văn này, chúng tôi nghiên cứu một phương pháp tạo dựng văn bản trong tiếng Việt sử dụng mô hình GPT-2, một mô hình dựa trên Transformer. Dữ liệu huấn luyện được rút trích từ các trang báo trực tuyến. Mô hình GPT-2, Transformer và một số công cụ xử lý ngôn ngữ tự nhiên khác được sử dụng để sinh ra văn bản tiếng Việt từ một hoặc nhiều câu văn đầu vào. Việc đánh giá mô hình được thực hiện bởi các tình nguyện viên, những người sử dụng ngôn ngữ chính là tiếng Việt. Mỗi tình nguyện viên sẽ được yêu cầu đánh giá theo thang điểm 5 – 5: chính xác, 4: tốt, 3: trung bình, 2: tạm chấp nhận và 1:không tốt. Điểm trung bình của các văn bản tiếng Việt được tạo ra là 3,39/5,00.