HỆ THỐNG TỰ ĐỘNG TẠO CHÚ THÍCH ẢNH BẰNG MÔ HÌNH BLIP-2 VÀ LORA

Abstract

Luận văn "Hệ thống tự động tạo chú thích ảnh bằng mô hình BLIP-2 và LoRA" giải quyết bài toán sinh câu mô tả hình ảnh tự động. Hiện nay, các mô hình đa phương thức lớn (VLMs) ở chế độ Zero-shot thường chỉ sinh ra câu chú thích chung chung, sơ sài, trong khi việc tinh chỉnh toàn bộ đòi hỏi chi phí phần cứng đắt đỏ và dễ làm mất đi tính tổng quát ban đầu của kiến trúc gốc. Để giải quyết vấn đề này, đề tài đề xuất giải pháp kết hợp mô hình đa phương thức lớn BLIP-2 (gồm bộ mã hóa ViT-g/14, Q-Former và bộ giải mã ngôn ngữ OPT-2.7B) với kỹ thuật tinh chỉnh tham số hiệu quả LoRA. Hệ thống áp dụng cơ chế lượng hóa ma trận 4-bit (NF4 QLoRA) để tối ưu hóa không gian bộ nhớ VRAM trên GPU NVIDIA Tesla T4, huấn luyện trên tập dữ liệu Flickr30k và kiểm định liên miền trên eepFashion. Về mặt phần mềm, đề tài xây dựng tầng dịch vụ Backend bằng FastAPI để tiếp nhận ảnh và xử lý suy luận, kết hợp giao diện ứng dụng web trực quan triển khai trực tuyến trên nền tảng đám mây Hugging Face Spaces. Kết quả thực nghiệm về máy học cho thấy mô hình đề xuất đạt hiệu năng nội miền vượt trội trên tập Flickr30k với chỉ số CIDEr đạt 69.15 và BLEU-4 đạt 25.96, đồng thời chỉ yêu cầu cập nhật khoảng 0.14% tổng số tham số cấu trúc gốc. Về phần mềm website, hệ thống xây dựng thành công ứng dụng cho phép người dùng tải ảnh tĩnh, tự động gọi mô hình qua RESTful API để sinh câu chú thích tiếng Anh chi tiết, tích hợp hiển thị thông số vận hành và tính năng sao chép kết quả nhanh chóng.