XÂY DỰNG NỀN TẢNG KHÁM PHÁ DI SẢN VĂN HÓA VIỆT NAM TÍCH HỢP AI - PHÂN HỆ NHẬN DIỆN DI SẢN VĂN HÓA TỪ HÌNH ẢNH VÀ TRỢ LÝ TRI THỨC TƯƠNG TÁC

Abstract

Bối cảnh: Di sản văn hóa Việt Nam có giá trị quan trọng đối với giáo dục, du lịch và việc gìn giữ bản sắc dân tộc. Tuy nhiên, người dùng có thể gặp khó khăn khi bắt gặp một di tích hoặc công trình văn hóa nhưng không biết chính xác tên gọi để tra cứu. Trong khi nhiều cổng thông tin hiện nay chủ yếu cung cấp nội dung theo danh mục và bài viết, nhu cầu nhận diện từ hình ảnh và tìm hiểu thông tin bằng ngôn ngữ tự nhiên ngày càng trở nên phổ biến. Mục tiêu: Đề tài “Xây dựng nền tảng khám phá di sản văn hóa Việt Nam tích hợp AI – Phân hệ nhận diện di sản văn hóa từ hình ảnh và trợ lý tri thức tương tác” hướng đến xây dựng hệ thống web hỗ trợ người dùng tra cứu, nhận diện và tìm hiểu thông tin về di sản văn hóa Việt Nam. Hệ thống đồng thời hỗ trợ lưu lịch sử tương tác, tiếp nhận phản hồi, quản lý dữ liệu và phân quyền người dùng phục vụ quá trình vận hành. Phương pháp: Hệ thống được tổ chức theo kiến trúc nhiều dịch vụ, tách biệt giao diện, xử lý nghiệp vụ, nhận diện hình ảnh và truy xuất tri thức. Phân hệ nhận diện hoạt động trong phạm vi 20 lớp di sản, sử dụng DINOv3 ViT-S/16 để trích xuất đặc trưng, kết hợp lớp chiếu đặc trưng và FAISS weighted KNN để xác định lớp liên quan; kết quả được kiểm soát theo các trạng thái MATCHED, UNCERTAIN và UNKNOWN. Trợ lý tri thức được xây dựng theo hướng Retrieval-Augmented Generation, sử dụng multilingual-e5-small, ChromaDB và Gemini để truy xuất nội dung liên quan, sinh câu trả lời theo ngữ cảnh và cung cấp nguồn tham khảo. Kết quả: Hệ thống đã triển khai các chức năng chính gồm xác thực và phân quyền, tra cứu và quản lý di sản, nhận diện hình ảnh, hỏi đáp với trợ lý tri thức, lưu lịch sử tương tác, tiếp nhận phản hồi và các chức năng quản trị. Kết quả kiểm thử cho thấy 33/33 trường hợp kiểm thử của 10 chức năng đều đạt trạng thái Pass. Trên tập kiểm thử gồm 658 ảnh thuộc 20 lớp di sản, phương pháp nhận diện đạt Accuracy 97,4164%, Balanced Accuracy 96,2622% và Macro-F1 96,4478%. Trên tập hardnegative proxy OOD, hệ thống đạt tỷ lệ từ chối 90,1235% và AUROC 96,3094%. Kết luận: Kết quả cho thấy việc kết hợp công nghệ web, nhận diện hình ảnh và trợ lý tri thức hỗ trợ người dùng tiếp cận thông tin di sản trực quan và tương tác hơn. Hệ thống đáp ứng các mục tiêu chính của đề tài, tuy nhiên chức năng nhận diện hiện giới hạn ở 20 lớp và chất lượng trợ lý còn phụ thuộc vào phạm vi kho tri thức được xây dựng. Background: Vietnamese cultural heritage holds significant value for education, tourism, and the preservation of national identity. However, users may encounter difficulties when seeing a historical site or cultural structure without knowing its exact name for further searching. While many existing information portals mainly provide content through categories and articles, the demand for imagebased recognition and natural-language exploration is becoming increasingly common. Objective: The thesis, “Building an AI-integrated platform for exploring Vietnamese cultural heritage – Image-based cultural heritage recognition and interactive knowledge assistant subsystem,” aims to develop a web-based system that supports users in searching for, recognizing, and learning about Vietnamese cultural heritage. The system also supports interaction history storage, feedback collection, data management, and role-based access control for system operation. Methodology: The system is organized using a multi-service architecture that separates the user interface, business logic, image recognition, and knowledge retrieval components. The recognition subsystem operates within 20 heritage classes and uses DINOv3 ViT-S/16 for feature extraction, combined with a feature projection layer and FAISS weighted KNN for class identification. Recognition results are controlled using the MATCHED, UNCERTAIN, and UNKNOWN states. The knowledge assistant is developed based on Retrieval-Augmented Generation, using multilingual-e5-small, ChromaDB, and Gemini to retrieve relevant content, generate context-based answers, and provide reference sources. Results: The system implements the main functions of authentication and rolebased access control, heritage searching and management, image recognition, knowledge-assistant question answering, interaction history storage, feedback collection, and administrative management. Functional testing showed that 33 out of 33 test cases across 10 functions achieved Pass status. On a test set of 658 images from 20 heritage classes, the recognition method achieved an Accuracy of 97.4164%, Balanced Accuracy of 96.2622%, and Macro-F1 of 96.4478%. On the hard-negative proxy OOD set, the system achieved a rejection rate of 90.1235% and an AUROC of 96.3094%. Conclusion: The results show that integrating web technologies, image recognition, and a knowledge assistant enables users to access heritage information in a more visual and interactive manner. The system meets the main objectives of the thesis; however, the recognition function is currently limited to 20 heritage classes, and the quality of the knowledge assistant remains dependent on the scope of the constructed knowledge base.