TỐI ƯU VÀ ỨNG DỤNG GAUSSIAN SPLATTING TRONG XÂY DỰNG MÔ HÌNH 3D TỪ DỮ LIỆU 2D

Abstract

Đề tài “Tối ưu và ứng dụng Gaussian Splatting trong tái tạo góc nhìn 3D” tập trung vào việc ứng dụng phương pháp Gaussian Splatting để tạo ra các góc nhìn trong không gian 3 chiều từ dữ liệu hình ảnh thu thập. Mục tiêu chính là tối ưu đầu vào và phát triển một phương pháp mới hiệu quả đối với những dữ liệu cách thông thường không thể tái tạo được. Trong phương pháp thực hiện, đầu tiên ta tiến hành quá trình thu thập dữ liệu ảnh đa góc nhìn, có thể là tự quay hoặc lấy trực tuyến. Tiếp đó, dữ liệu sẽ sử dụng kỹ thuật Structure-from-Motion (SfM) trong COLMAP để hình thành một mô hình điểm rời rạc trong không gian ba chiều làm đầu vào cho quá trình huấn luyện. Cuối cùng, các điểm rời rạc trong mô hình sẽ được khởi tạo thành các hàm Gaussian 3D và bắt đầu quá trình huấn luyện để tối ưu các tham số của hàm, kết quả thu được là một góc nhìn mới đã được tổng hợp từ các góc nhìn của hình ảnh trong không gian 3D. Trong quá trình huấn luyện, những mô hình không được huấn luyện thành công sẽ được ứng dụng phương pháp mới do đề tài đề xuất, cụ thể là sử dụng hai mạng học sâu là Disk và LightGlue để thay thế cho những phương pháp truyền thống trong quá trình tái tạo và tối ưu mô hình. Kết quả nghiên cứu cho thấy phương pháp Gaussian Splatting vô cùng hiệu quả trong việc tái tạo các góc nhìn ba chiều với độ chính xác cao trên 5 tập dữ liệu được đem thực nghiệm. Hơn nữa dựa trên dữ liệu đầu ra, việc sử dụng một phương pháp lọc cũng như sử dụng mạng học sâu để thay thế cho phương pháp truyền thống đã giúp cho một số dữ liệu vốn thất bại trong việc tái tạo đã được tái tạo thành công cùng chất lượng mô hình được đảm bảo. Bên cạnh đó, đề tài còn cung cấp một giao diện người dùng trực quan. Điều này rất có ý nghĩa đối với sự phát triển của Gaussian Splatting, giúp cho nó trở nên hứa hẹn trong nhiều lĩnh vực sau này như giải trí, giáo dục, y tế.