XÂY DỰNG HỆ THỐNG HỎI ĐÁP THỦ TỤC HÀNH CHÍNH Ở THÀNH PHỐ CẦN THƠ

Abstract

Đề tài luận văn này tập trung vào việc nghiên cứu và phát triển một hệ thống hỗ trợ hỏi đáp thủ tục hành chính tại Cần Thơ dựa vào tất cả 1828 thủ tục hành chính được công bố trên Cổng Dịch Vụ Công Thành Phố Cần Thơ. Mục tiêu là xây dựng một hế thống hỏi đáp về các thủ tục này, và trích dẫn các thủ tục để người dùng có thể tra cứu. Đề tài đã nghiên cứu về các cơ sở lý thuyết của phương pháp Retrieval-Augmented Generation và xử lý tự nhiên, học sâu, bao gồm kiến trúc Transformer, Siamese Network, Kiến trúc encoder-decoder trong mô hình Seq2Seq, cơ chế Attention cùng các mô hình TransformerEncoder là vietnamese-SBERT, PhoBERT-base-v2 , Cohere reranker-multilingual-v3 và mô hình ngôn ngữ lớn là GPT3.5. Về hệ thống hỏi đáp với RAG, đề tài đã xây dựng một quy trình áp dụng các phương pháp RAG Fusion, xử lý chat theo hội thoại và reranking để truy vấn tri thức về thủ tục hành chính phù hợp để trả lời cho câu hỏi của người dùng. Đề tài đã sử dụng các phương pháp đánh giá RAG và sử dụng mô hình GPT4 để đánh giá tự động. Kết quả đạt được cho hệ thống hỏi đáp với RAG là 78.47% với recall@4 = 75.78% và precision@4 = 68.78%. Áp dụng quy trình với phương pháp RAG, đề tài đã xây dựng một ứng dụng web hỗ trợ giải đáp các câu hỏi về thủ tục hành chính tại Cần Thơ cho người dùng. Ứng dụng cung cấp các chức năng tra cứu thông tin, hỏi đáp theo hội thoại và trả lời câu hỏi của người dùng kèm trích dẫn thủ tục hành chính liên quan.