CULANA: HỆ THỐNG PHÂN TÍCH DI SẢN VĂN HÓA PHI VẬT THỂ VỚI CÁCH TIẾP CẬN FEWSHOT MULTI-MODAL RAG

Abstract

Mỗi quốc gia đều có những nét đặc sắc riêng biệt từ những thứ nhỏ nhặt như thức ăn, phương tiện, con người tới những thứ lớn hơn như phong cảnh, văn hóa. Trong đó văn hóa nói chung là thứ quan trọng nhất khi nhắc tới một quốc gia và văn hóa phi vật thể nói riêng là linh hồn của những nét đặc sắc ấy. Nhưng không phải những văn hóa phi vật thể nào cũng được biết đến rộng rãi và được hiểu biết sâu sắc, nhận thấy được sự quan trọng đó nên đề tài “Hệ thống Phân tích Di sản Văn hóa Phi vật thể với Cách tiếp cận Fewshot Multi-Modal RAG” dùng để nhận biết và phân tích các văn hóa phi vật thể được làm ra áp dụng các công nghệ về máy học hiện nay. Đề tài tập trung xây dựng hệ thống giúp nhận diện, phân tích, và quảng bá các di sản văn hóa phi vật thể bằng công nghệ trí tuệ nhân tạo (AI). Hệ thống sử dụng mô hình học máy tiên tiến, cụ thể là Fewshot Learning và RAG (Retrieval-Augmented Generation), để giải quyết bài toán nhận diện và truy vấn dữ liệu văn hóa từ hình ảnh và văn bản. Hệ thống này ứng dụng Fewshot Learning kèm theo model của ChatGPT và RAG để nhận biết, phân tích, và cung cấp thông tin chuyên sâu về các di sản từ hình ảnh và văn bản. Dữ liệu sau khi được chuyển đổi thành vector sẽ được lưu trữ trong cơ sở dữ liệu KDB.AI, cho phép truy vấn thông tin bằng ảnh hoặc mô tả văn bản. Hệ thống được thiết kế với các chức năng chính nhằm tối ưu hóa việc phân tích và nhận diện văn hóa phi vật thể. Người dùng có thể dễ dàng truy vấn thông tin về các lễ hội và di sản văn hóa thông qua ba phương thức chính: dùng ảnh mẫu để truy vấn hoặc nhập mô tả về lễ hội hoặc có thể kết hợp cả hai phương thức trên để cho ra kết quả chính xác nhất. Ngoài ra, hệ thống hỗ trợ người dùng mở rộng cơ sở dữ liệu bằng cách tải thêm ảnh mới về các lễ hội hoặc di sản chưa được lưu trữ. Hệ thống không chỉ trả về các thông tin chi tiết, đầy đủ mà còn tạo ra các bản tóm tắt dễ hiểu, giúp tăng cường nhận thức và hiểu biết về giá trị của di sản văn hóa phi vật thể, chức năng này đặc biệt phù hợp cho giáo dục, du lịch, và nghiên cứu văn hóa.