ỨNG DỤNG MÔ HÌNH PHOBERT TRONG PHÂN LOẠI VĂN BẢN

Abstract

Hiện nay, có rất nhiều phương pháp phân loại văn bản và đều đạt được những kết quả nhất định như Phương pháp k láng giềng gần nhất, Cây quyết định, Máy học Vector hỗ trợ,... Các phương pháp này lại chỉ áp dụng hầu hết trong việc phân loại tiếng Anh, còn phân loại tiếng Việt hiện nay lại khá ít nghiên cứu và phương pháp áp dụng. Đây chính là một thách thức, một bài toán đặt ra cho việc xử lý ngôn ngữ tự nhiên, đặc biệt là là xử lý ngôn ngữ tiếng Việt. Chính vì giải quyết vấn đề trên nên tôi đã chọn đề tài “Ứng dụng mô hình PhoBERT trong phân loại văn bản” nhằm tập trung vào việc tìm hiểu và ứng dụng mô hình PhoBERT vào việc phân loại văn bản tiếng Việt. Mô hình PhoBERT là một mô hình pre-trained cho tiếng Việt. Đây là một mô hình vượt trội và hiệu quả cho việc xử lý tiếng Việt, vì vậy tôi quyết định chọn mô hình này để phân loại văn bản tiếng Việt. Quá trình phân loại văn bản gồm các giai đoạn: Xử lý dữ liệu, huấn luyện mô hình với dữ liệu của đề tài, đánh giá mô hình. Mô hình đã phân loại được văn bản tiếng Việt và độ chính xác tương đối cao, khoảng trên 94%. Trong tương lai sẽ tiến hành cải tiến để mô hình huấn luyện được hoàn thiện hơn.