PHÁT HIỆN ĐỘ TƯƠNG ĐỒNG VĂN BẢN TIẾNG VIỆT ĐƯỢC DỊCH TỪ TIẾNG ANH

Abstract

Hiện nay có nhiều nghiên cứu về đo độ tương đồng giữa các văn bản ở một ngôn ngữ cụ thể như tiếng Việt - tiếng Việt, tiếng Anh – tiếng Anh. Tuy nhiên, gần đây xuất hiện thêm một vấn đề là có nhiều bài có nguồn từ tiếng Anh được dịch lại thành qua tiếng Việt và chỉnh sửa câu từ lại biến nó thành bài của mình. Hiểu được các nhu cầu cần thiết của việc này, đề tài đã ứng dụng theo cách tiếp cận mới là dịch văn bản tiếng Anh sang tiếng Việt từ đó đi tìm kiếm, so sánh bài đã được dịch với các bài được sao chép, chỉnh sửa từ các bản dịch. Trong đề tài chủ yếu tập trung thành các giai đoạn như: Dịch văn bản tiếng Anh sang tiếng Việt, tiền xử lý các văn bản, xác định độ tương đồng giữa các văn bản. Việc xác định độ tương đồng giữa các văn bản được đề cập đến trong đề tài này là: Độ tương đồng Cosine dựa trên Term Frequency * Inverse Document Frequency và độ tương đồng thứ tự từ trong văn bản. Kết hợp cả 2 độ đo này lại để cho ra kết quả độ tương đồng có kết quả chính xác và thuyết phục hơn.