PHÂN LOẠI SẮC THÁI BÌNH LUẬN SỬ DỤNG MÔ HÌNH PRE-TRAINED PHOBERT

Abstract

Bài toán phân tích sắc thái bình luận từ lâu đã là một trong những vấn đề cơ bản của lĩnh vực xử lý ngôn ngữ tự nhiên, cùng với đó là hàng loạt các phương pháp và mô hình học sâu khác nhau đã được đề xuất. Đề tài này giới thiệu một cách tiếp cận mới dựa vào model pre-trained. PhoBERT là một model pre-trained được huấn luyện danh riêng cho tiếng Việt và để giải quyết các bài toán liên quan tới phân tích sắc thái bình luận tiếng Việt. Đề tài sử dụng dataset SA_demo của cuộc thi phân loại sắc thái bình luận do AIVIVN tổ chức và datatset NTC-SCV. Qua thực nghiệm cho thấy bằng cách tinh chỉnh mô hình PhoBERT kết quả thu được rất khả quan khi so sánh với phương pháp cổ điển là sử dụng mô hình Support Vector Machine. Cụ thể, kết quả mô hình PhoBERT thu được trên 2 tập dữ liệu là SA_demo và NTC-SCV với độ chính xác lần lượt là : 88.72% và 90.76%, còn đối với mô hình SVM kết quả là 87.16% và 88.99%.