ỨNG DỤNG MÔ HÌNH TRANSFORMER VÀO SỬA LỖI CHÍNH TẢ TIẾNG VIỆT

Abstract

Các mô hình nhận dạng chữ viết hay chuyển đổi giọng nói thành văn bản có tỉ lệ sai sót nhất định khi nhận dạng thành văn bản gây sai sót chính tả. Và để khắc phục hạn chế trên đề tài "Ứng dụng mô hình Transformer vào sửa lỗi chính tả tiếng Việt" ra đời. Áp dụng bài toán dịch máy (Model Translation) khi bài toán này có nét tương đồng với bài toán sửa lỗi chính tả. Cụ thể bài toán dịch máy có dữ liệu đầu vào là ngôn ngữ gốc và dữ liệu đích là ngôn ngữ cần dịch thì đối với bài toán sửa lỗi chính tả dữ liệu đầu vào là dữ liệu sai chính tả và dữ liệu đích là dữ liệu đúng chính tả. Dữ liệu sẽ được thu thập từ nguồn là một trang báo mạng. Dữ liệu thu thập được sẽ được tiền xử lý và sinh ra thêm tập dữ liệu đầu vào là dữ liệu sai chính tả. Đề tài sử dụng kiến trúc cơ bản của mô hình Transformer với 2 khối encoder và decoder được hỗ trợ bởi thư viện Tensorflow. Mô hình cho ra độ chính xác cao lên đến 92,8%. Ngoài ra, xây dựng thêm API giúp người dùng dễ dàng truy cập vào máy chủ để sử dụng mô hình đã được huấn luyện hoàn chỉnh.