TÌM HIỂU MÔ HÌNH ELECTRA VÀ ỨNG DỤNG

Abstract

ELECTRA là một mô hình ngôn ngữ đƣợc huấn luyện trƣớc, nó sử dụng một phƣơng pháp pretrain mới mang tên “replaced token detection”. Phƣơng pháp này tận dụng đƣợc lợi thế của BERT nhƣng học hiệu quả hơn. Theo nhƣ công bố trên bài báo của Google các tác giả đã cho thấy ELECTRA vƣợt trội hơn các kỹ thuật hiện tại với cùng nguồn lực tính toán. Ví dụ, ELECTRA đạt kết quả của RoBERTa và XLNet trên bộ dữ liệu chuẩn GLUE dù sử dụng ít hơn 25% tài nguyên tính toán và đạt kết quả state-of-the-art trên bộ dữ liệu chuẩn SQuAD. Đó là những kết quả trên xử lý ngôn ngữ tiếng Anh, chúng ta chƣa có nghiên cứu chính thức nào về hiệu quả của ELECTRA đối với các bài toán xử lý tiếng Việt. Luận văn này thực hiện tìm hiểu mô hình ELECTRA và áp dụng vào 3 bài toán phân loại sắc thái bình luận, nhận dạng thực thể đƣợc đặt tên và trả lời câu hỏi. Với bài toán phân loại sắc thái bình luận mô hình sẽ học để nhận biết bình luận mang sắc thái tích cực hay tiêu cực. Với bài toán nhận dạng thực thể đƣợc đặt tên, mô hình sẽ học để nhận biết các thực thể liên quan đến bệnh nhân COVID19 xuất hiện trong văn bản. Còn với bài toán trả lời câu hỏi mô hình sẽ học để tìm ra đáp án cho câu hỏi từ một đoạn văn cho trƣớc. Độ chính xác của mô hình đƣợc đánh giá bằng các độ đo Precision, Recall, F1-score và EM (dùng cho bài toán trả lời câu hỏi). Các kết quả về độ chính xác trung bình của mô hình đƣợc thể hiện nhƣ sau: - Bài toán phân loại cảm xúc bình luận: Mô hình đƣợc huấn luyện và đánh giá trên tập dữ liệu hơn 16000 bình luận. Các kết quả thu đƣợc lần lƣợt là: Precision 89.63%, Recall 90.33%, F1-score 89.89%. - Bài toán nhận dạng thực thể đƣợc đặt tên: Mô hình đƣợc huấn luyện và đánh giá trên bộ dữ liệu với gần 35000 thực thể trên 10000 câu. Các kết quả thu đƣợc lần lƣợt là: Precision 80.93%, Recall 82.43%, F1-score 81.63%. - Bài toán trả lời câu hỏi: Mô hình đƣợc huấn luyện và đánh giá trên bộ dữ liệu gồm gần 3000 câu hỏi đáp tiếng Việt và hơn 60000 câu đƣợc dịch sang tiếng Việt từ bộ dữ liệu chuẩn SquAD v2.0 tiếng Anh. Các kết quả thu đƣợc lần lƣợt là: F1-score 74.92% và EM 68.09%. Kết quả thực nghiệm cho thấy mặc dù lƣợng dữ liệu cho huấn luyện mô hình còn tƣơng đối ít nhƣng hiệu quả của mô hình khá tốt. Nếu đƣợc huấn luyện với nguồn dữ liệu đủ nhiều và có chất lƣợng tốt ELECTRA sẽ mang đến những kết quả đáng mong đợi.