TRỢ LÝ ẢO GIỚI THIỆU DI SẢN VĂN HÓA CÁCH MẠNG TÂY NAM BỘ DỰA TRÊN HÌNH ẢNH VỚI PHOBERT KẾT HỢP VIT5

Abstract

Xuất phát từ nhu cầu cung cấp thông tin văn hóa qua hình thức hỏi–đáp, hệ thống được xây dựng nhằm hỗ trợ giới thiệu các di sản văn hóa cách mạng tại khu vực Tây Nam Bộ. Hệ thống cho phép người dùng tương tác trực tiếp bằng tiếng Việt thông qua việc đặt câu hỏi về hình ảnh các di tích lịch sử và nhận lại câu trả lời phù hợp với ngữ cảnh. Nghiên cứu đề xuất và đánh giá hai hướng tiếp cận: (i) kiến trúc Modular kết hợp Vision Transformer (ViT), PhoBERT và ViT5; và (ii) kiến trúc Unified dựa trên mô hình Qwen2-VL. Cả hai mô hình được huấn luyện trên bộ dữ liệu VQA tiếng Việt được xây dựng riêng, gồm 1.226 hình ảnh của 81 di tích thuộc năm tỉnh Tây Nam Bộ và 5.631 cặp câu hỏi – câu trả lời. Để tối ưu tài nguyên tính toán, luận văn áp dụng phương pháp Parameter-Efficient Fine-Tuning (PEFT) với kỹ thuật LoRA, giúp giảm chi phí tinh chỉnh xuống còn 0,1–0,3% tổng số tham số mô hình. Kết quả thực nghiệm cho thấy mô hình Modular đạt BERTScore-F1 0,81 và CIDEr 0,79, trong khi mô hình Unified đạt BERTScore-F1 0,80 và CIDEr 0,76, chứng minh khả năng sinh câu trả lời có mức tương đồng ngữ nghĩa cao với tham chiếu. Hệ thống được tích hợp vào giao diện web trực quan, hỗ trợ tải ảnh, đặt câu hỏi và nhận câu trả lời tự động, qua đó góp phần vào công tác bảo tồn, giáo dục và quảng bá di sản trong thời kỳ chuyển đổi số. Từ khóa: Visual Question Answering, di sản văn hóa cách mạng, Tây Nam Bộ, Vision Transformer, PhoBERT, ViT5, Qwen2-VL, LoRA, trợ lý ảo.