XÂY DỰNG HỆ THỐNG TƯ VẤN TUYỂN SINH THÔNG MINH DỰA TRÊN MÔ HÌNH HỘI THOẠI TỰ ĐỘNG

Abstract

Trong bối cảnh tuyển sinh đại học ngày càng cạnh tranh, việc tiếp cận thông tin chính xác và kịp thời là một thách thức lớn đối với cả thí sinh và các cơ sở giáo dục. Luận văn này trình bày quá trình nghiên cứu và xây dựng "Hệ thống Tư vấn Tuyển sinh Thông minh" cho Đại học Cần Thơ, dựa trên mô hình hội thoại tự động nhằm giải quyết vấn đề này. Mục tiêu chính của đề tài là phát triển một chatbot có khả năng cung cấp thông tin tuyển sinh năm 2025 một cách chính xác, đáng tin cậy và tức thì. Hệ thống được xây dựng dựa trên kỹ thuật Retrieval-Augmented Generation (RAG), kết hợp sức mạnh của các mô hình ngôn ngữ lớn với một cơ sở tri thức chuyên biệt được trích xuất từ các nguồn dữ liệu chính thức của nhà trường như đề án tuyển sinh, các quy định, quy chế và thông báo. Luận văn mô tả chi tiết quy trình thực hiện, bao gồm các giai đoạn: thu thập và tiền xử lý dữ liệu từ các nguồn và định dạng khác nhau, xây dựng hệ thống truy xuất thông tin hiệu quả bằng cách áp dụng các kỹ thuật tối ưu như mở rộng truy vấn và tái xếp hạng và sau đó sinh câu trả lời dựa trên các thông tin truy xuất được với một mô hình ngôn ngữ lớn. Để đánh giá hiệu quả, hệ thống được thực nghiệm trên hai bộ dữ liệu: một bộ được tổng hợp (Synthesized) và một bộ được thu thập từ các cuộc hội thoại thực tế (Collected). Thành phần truy xuất được đánh giá bằng các chỉ số tiêu chuẩn như Recall@k, MRR@k, MAP@k, và NDCG@k. Thành phần phản hồi được đánh giá dựa trên bộ tiêu chí của framework RAGAS, bao gồm Faithfulness (tính trung thực), Answer Relevance (sự liên quan của câu trả lời) và Context Relevance (sự liên quan của ngữ cảnh). Kết quả thực nghiệm cho thấy việc áp dụng kết hợp các kỹ thuật mở rộng truy vấn và tái xếp hạng giúp cải thiện đáng kể hiệu suất của hệ thống so với phương pháp cơ bản giúp nâng cao độ chính xác và mức độ liên quan của thông tin được cung cấp. Cụ thể đạt được các kết quả tốt nhất cho thành phần truy xuất là 0.7713 trên Recall@10, 0.7008 trên MRR@10, 0.6906 trên MAP@10 và 0.7133 trên NDCG@10. Về phần phản hồi của toàn hệ thống, đạt được các kết quả tốt nhất trên tập Synthesized với 0.9060 trên Context Relevance, 0.7923 trên Faithfulness và 0.7518 trên Answer Relevance cho thấy độ hiệu quả và tin cậy của hệ thống.