TẠO CHÚ THÍCH ẢNH BẰNG PHƯƠNG PHÁP HỌC SÂU

Abstract

Tạo chú thích ảnh là một vấn đề đầy thách thức trong lĩnh vực trí tuệ nhân tạo, khi đó một mô tả bằng văn bản phải được tạo cho một bức ảnh nhất định. Nó đòi hỏi kết hợp cả hai phương pháp từ lĩnh vực thị giác máy tính để hiểu nội dung của hình ảnh đến mô hình ngôn ngữ từ lĩnh vực xử lý ngôn ngữ tự nhiên để biến sự hiểu biết về nội dung của hình ảnh thành các từ theo đúng thứ tự. Vấn đề này nếu nghiên cứu thành công nó có thể mang lại nhiều lợi ích cho con người trong thế giới thực. Bây giờ, chúng ta hãy liệt kê một vài ứng dụng mà giải pháp cho vấn đề này có thể rất hữu ích đối với nhiều vấn đề trong cuộc sống như: Xe tự lái - Lái xe tự động là một trong những thách thức lớn nhất và nếu chúng ta có thể đưa ra những chú thích chính xác về cảnh vật xung quanh, nó có thể thúc đẩy hệ thống tự lái. Trợ giúp người mù - Chúng ta có thể tạo ra một sản phẩm dành cho người mù sẽ hướng dẫn họ đi trên đường mà không cần sự hỗ trợ của bất kỳ người nào. Chúng ta có thể làm điều này bằng cách đầu tiên chuyển quang cảnh bên ngoài thành văn bản và sau đó là chuyển đổi văn bản thành giọng nói. Cả hai đều là ứng dụng nổi tiếng trong lĩnh vực học sâu. Hơn nữa, chú thích tự động cũng có thể giúp cho công cụ Tìm kiếm hình ảnh của Google trở nên tốt hơn như đối với Tìm kiếm bằng văn bản của Google, vì sau đó mọi hình ảnh có thể được chuyển đổi thành văn bản chú thích và sau đó nó có thể thực hiện tìm kiếm dựa trên chú thích đó. Gần đây, các phương pháp học sâu đã đạt được nhiều kết quả khả quan về vấn đề này. Dựa trên những tiến bộ này, chúng ta có thể xây dựng được ứng dụng “Tạo chú thích ảnh bằng phương pháp học sâu” một cách dễ dàng hơn và rút ngắn được thời gian thực hiện. Mục tiêu chính của luận văn này là xây dựng một mô hình để có thể “Tạo chú thích ảnh” từ hình ảnh đầu vào dưới định dạng jpeg. Để giải quyết được vấn đề của bài toán trên ta cần phải sử dụng kỹ thuật rút trích đặc trưng để mã hóa ảnh đầu vào thành các véc tơ ảnh và áp dụng phương pháp nhúng từ để chuyển đổi các từ vựng thu được trong bộ dữ liệu thành các véc tơ từ. Với hai nguồn dữ liệu đầu vào trên, chúng ta sẽ tạo ra một mô hình kết hợp với các giải thuật tìm kiếm để tạo một câu chú thích ảnh hoàn chỉnh. Cuối cùng, ta sẽ sinh ra các câu chú thích ảnh dựa trên tập dữ liệu kiểm tra và đánh giá chất lượng của nó bằng phương pháp tính điểm BLEU score.