HỆ THỐNG KIỂM TRA ĐỘ TƯƠNG TỰ GIỮA VĂN BẢN TIẾNG ANH VÀ TIẾNG VIỆT TRÊN MỘT HỆ THỐNG NỘP BÀI TẠP CHÍ

Abstract

Trong bối cảnh học thuật, đạo văn được coi là hành động thiếu trung thực và có tác động tiêu cực đến tới công trình nghiên cứu và môi trường học thuật. Các tạp chí khoa học có những chính sách liên quan đến đạo văn nhằm ngăn chặn các tác giả sao chép tài liệu học thuật đã được xuất bản. Việc kiểm tra độ tương tự của bản thảo được nộp với kho tài liệu đã xuất bản để phát hiện dấu hiệu đạo văn và ngăn chặn kịp thời trước khi đưa vào các giai đoạn tiếp theo trong quá trình xử lý bài viết ở các tạp chí là vô cùng cần thiết, nhằm nâng cao chất lượng bài báo, và tiết kiệm thời gian để xử lý những vấn đề phát sinh về sau. Trong luận văn này đã triển khai phương pháp Cosine kết hợp với Term Frequency - Inverse Document Frequency (TF-IDF) cùng với xác định tương đồng ngữ nghĩa với các cặp từ tương đồng, trái nghĩa để so sánh độ tương tự văn bản giữa các văn bản tiếng việt với nhau, và kết hợp với các công cụ dịch thuật để nhằm phát hiện các tài liệu được dịch từ tài liệu nào trong kho được lưu trữ sẵn. Đề tài đã đánh giá tính hiệu quả của phương pháp trên kho dữ liệu gồm 64 bài báo tiếng Việt và 19 bài tiếng Anh được trích xuất từ tạp chí khoa học trường Đại Học Cần Thơ và cho những kết quả khả quan. Đề tài đã triển khai việc so sánh độ tương tự giữa các văn bản và phát hiện bài dịch trên một hệ thống nền Web được lập trình với các công nghệ: Django Framework, Postgres, DBeaver, HTML, CSS, Javascript, kết hợp ngôn ngữ lập trình Python với các thư viện sklearn, docx2txt, pandas, underthesea,... Hướng phát triển đề tài mong đợi có thể giúp cho biên tập viên có thể kiểm tra được độ tương tự giữa các bản thảo đã nộp dựa trên kho tài liệu đang có để từ đó có thể tạo ra bộ lọc tốt trước khi đưa các bản thảo vào các quá trình xử lý tiếp theo.