TRỢ LÝ ẢO GIỚI THIỆU DI SẢN VĂN HÓA CÁCH MẠNG TÂY NAM BỘ DỰA TRÊN HÌNH ẢNH VỚI E5 KẾT HỢP VỚI VIT5

Abstract

Việc tìm hiểu lịch sử cách mạng vùng Tây Nam Bộ hiện nay còn gặp khó khăn do tƣ liệu phân tán, thiếu trực quan và thiếu công cụ tra cứu thông minh. Từ thực tế đó, luận văn ―Trợ lý ảo giới thiệu di sản văn hóa cách mạng vùng Tây Nam Bộ‖ đƣợc thực hiện nhằm xây dựng một ứng dụng có khả năng giới thiệu, tƣơng tác và trả lời câu hỏi về các di sản và bảo tàng cách mạng trong khu vực. Hệ thống đƣợc phát triển theo hƣớng Visual Question Answering (VQA), kết hợp thế mạnh của từng mô hình. E5 dùng để mã hóa văn bản, CLIP trích xuất đặc trƣng hình ảnh từ di tích, hiện vật và bối cảnh lịch sử, các đặc trƣng này đƣợc hợp nhất và đƣa vào ViT5 - mô hình sinh ngôn ngữ chịu trách nhiệm suy luận và tạo câu trả lời tự nhiên, mạch lạc và phù hợp với yêu cầu của ngƣời dùng. Tập dữ liệu huấn luyện của hệ thống đƣợc xây dựng từ nhiều nguồn khác nhau, bao gồm 1126 ảnh thu thập từ internet. Mỗi ảnh đều đƣợc gắn kèm mô tả chi tiết, thông tin về địa điểm, cũng nhƣ bộ câu hỏi – câu trả lời tƣơng ứng. Tổng cộng, tập dữ liệu gồm 5.631cặp câu hỏi – câu trả lời, tạo thành một nguồn tƣ liệu phong phú và có cấu trúc. Việc xây dựng dữ liệu theo cách có cấu trúc này giúp mô hình học đƣợc mối liên hệ giữa hình ảnh và văn bản, đồng thời nâng cao độ chính xác khi trả lời các câu hỏi về di sản văn hóa cách mạng.