KHẢO SÁT CÁC PHƯƠNG PHÁP XÁC ĐỊNH ĐỘ TƯƠNG TỰ VĂN BẢN TIẾNG VIỆT

Abstract

Đạo văn là một mối quan tâm đáng kể đối với các ấn phẩm và bài tập nghiên cứu, báo cáo của sinh viên và học sinh tại các trường phổ thông và đại học tại Việt Nam. Học sinh phải đảm bảo rằng bài tập của mình đã được hoàn thành bởi chính họ và không thể sao chép kết quả chính từ người khác. Do đó, việc kiểm tra tính tương tự của tài liệu là điều cần thiết để xác định và chứng minh nguồn tài liệu mà học sinh đã sao chép. Vì thế đề tài “Khảo sát các phương pháp xác định độ tương tự văn bản tiếng Việt” được đề xuất. Trong bài luận văn này, đề tài tìm hiểu và khảo sát một số phương pháp xác định độ tương tự văn bản, sau đó tôi đề xuất một phương pháp để tính toán và tìm kiếm các bài tập tương tự của học sinh. Phương pháp này tính toán sự giống nhau giữa từng cặp câu và tích hợp kiểm tra ngữ nghĩa. Ngoài ra, đề tài đã thu thập và xây dựng bộ dữ liệu gồm các từ đồng nghĩa, trái nghĩa, từ dừng, các động từ bổ trợ có nghĩa phủ định để kiểm tra ngữ nghĩa và lấy mẫu một bộ dữ liệu để đánh giá phương pháp kiểm tra, tìm kiếm sự tương đồng được đề xuất. Đề tài đã so sánh và đánh giá kỹ thuật dựa trên tập dữ liệu đã xây dựng với các cách tiếp cận khác nhau. Kết quả thử nghiệm trên 200 tài liệu cho thấy những hiệu suất đầy hứa hẹn trong việc xác định các tài liệu có thể được sao chép từ các tài liệu khác có sửa đổi và không có sửa đổi với độ đo Precison là 0.96488 và Recall là 0.87333.