TÁI TẠO CHUYỂN ĐỘNG 3D TỪ VIDEO QUAY BẰNG CAMERA ĐƠN

Abstract

Trong bối cảnh thị giác máy tính ngày càng phát triển, việc tái tạo chuyển động ba chiều từ dữ liệu hai chiều đang trở thành một hướng nghiên cứu tiềm năng, đặc biệt trong hiệu chỉnh camera và phân tích hành vi động vật. Đề tài “Tái tạo chuyển động 3D từ video quay bằng camera đơn” hướng đến việc khôi phục lại tư thế và chuyển động 3D của một con cá dựa trên video 2D và mô hình 3D có sẵn. Hệ thống được phát triển bằng ngôn ngữ Python, sử dụng các thư viện mã nguồn mở như OpenCV, NumPy, PyRender, Trimesh, SciPy,.… cho các bước xử lý video, kết xuất mô hình và đánh giá độ khớp. Quá trình xử lý gồm hai giai đoạn: đầu tiên là ước lượng tư thế sơ bộ bằng cách so khớp ảnh từ các góc nhìn khác nhau để tìm tư thế gần đúng; tiếp theo là ước lượng tư thế chi tiết bằng thuật toán tối ưu để nâng cao độ khớp giữa ảnh render và ảnh thực. Hệ thống cũng xử lý định vị cá trong video và điều chỉnh sự khác biệt về màu sắc giữa ảnh kết xuất và khung hình gốc. Hiện tại, hệ thống đã cho phép khớp tương đối chính xác mô hình 3D của cá với từng khung hình trong video đầu vào, và xuất ra một video kết quả trong đó mô hình chuyển động mượt mà theo chuyển động của cá. Đây là bước đầu quan trọng cho việc áp dụng mô hình vào các tình huống thực tế như theo dõi hành vi động vật trong nghiên cứu sinh học. Trong tương lai, hệ thống sẽ được mở rộng để hỗ trợ nhiều sinh vật khác và ứng dụng vào các lĩnh vực như mô phỏng, game, giáo dục và nghiên cứu khoa học. Từ khóa: Tái tạo chuyển động 3D, video quay bằng camera đơn, Python, OpenCV, NumPy, PyRender, Trimesh, SciPy, ước lượng tư thế sơ bộ, ước lượng tư thế chi tiết.