XÂY DỰNG ỨNG DỤNG TÌM KIẾM HÌNH ẢNH TỪ MÔ TẢ VĂN BẢN

Abstract

Tìm kiếm hình ảnh bằng mô tả văn bản sử dụng phương pháp sinh ảnh là chủ đề quan trọng trong lĩnh vực thị giác máy tính. Trong những năm gần đây, học sâu (Deep learning) đã thể hiện được ưu thế trong bài toán xử lý dữ liệu ảnh, âm thanh cả trong nghiên cứu và công nghiệp.Trong đề tài này, sử dụng các phương pháp skip-thought và Bert để vector hóa văn bản đầu vào, sau đó sử dụng một mô hình học sâu có tính ứng dụng cao và phát triển mạnh mẽ trong những năm gần đây là mô hình StackGAN để tạo hình ảnh dựa trên mô tả văn bản. Mô hình có 2 giai đoạn: Giai đoạn 1 sẽ phác thảo hình dạng và màu sắc cơ bản tạo hình ảnh có độ phân giải thấp của đối tượng dựa trên mô tả đầu vào; Giai đoạn 2 sẽ lấy kết quả ở giai đoạn 1 để tạo hình ảnh có độ phân giải cao hơn với các chi tiết chân thật. Mô hình được đánh giá trên tập dữ liệu CUB chứa các đối tượng là loài chim được sử dụng phổ biến và rộng rãi để phân tích tạo hình ảnh bằng văn bản. Kết quả thực nghiệm dựa trên mô hình được đề xuất tạo hình ảnh đa dạng, trực quan phù hợp về mặt ngữ nghĩa với mô tả văn bản nhất định.