XÂY DỰNG ỨNG DỤNG NHÂN VẬT AVATAR 3D MÔ PHỎNG CỬ CHỈ NGƯỜI KẾT HỢP GƯƠNG MẶT ĐỂ HỖ TRỢ NGƯỜI KHIẾM THÍNH

Abstract

Cử chỉ con người là một hình thức giao tiếp phi ngôn ngữ hoặc giao tiếp không bằng giọng nói trong đó các hành động cơ thể có thể truyền đạt các thông điệp cụ thể. Kỹ thuật nhận dạng và phát hiện cử chỉ của cơ thể người là một trong những phương pháp giúp con người có thể tương tác với nền công nghệ thực tế tăng cường (AR) đang phát triển vượt trội như hiện nay. Đề tài "Xây dựng ứng dụng nhân vật avatar 3D mô phỏng cử chỉ người kết hợp gương mặt để hỗ trợ người khiếm thính" tập trung vào việc phát triển một ứng dụng đặc biệt nhằm hỗ trợ người khiếm thính bằng cách sử dụng một nhân vật avatar 3D mô phỏng. Với mục tiêu của đề tài là nghiên cứu và áp dụng thư viện MediaPipe để nhận dạng chuyển động cơ thể, bàn tay và gương mặt thông qua một camera thông thường. Từ dữ liệu nhận dạng này, ứng dụng sẽ xây dựng một nhân vật 3D mô phỏng theo các chuyển động của người dùng để truyền tải thông tin và hỗ trợ giao tiếp cho người khiếm thính. Hướng tiếp cận chính của đề tài là sử dụng Unity với các dạng Framework Mediapipe. Người thực hiện các cử chỉ sẽ đứng trước camera và hệ thống sẽ tiến hành nhận dạng khung xương, các điểm sau đó tiến hành nhận dạng cử chỉ người dùng. Nếu các cử chỉ của người dùng nằm trong nhóm các cử chỉ được xây dựng thuật toán nhận dạng như: vẫy tay, biểu cảm gương mặt, cười,…thì hệ thống sẽ cho nhân vật 3D tương tác lại với người dùng bằng các cử chỉ tương ứng. Trong khi đó Unity được sử dụng để xây dựng giao diện (UI) cho ứng dụng. Đề tài này thực hiện với mục tiêu chính nghiên cứu “Xây dựng ứng dụng nhận vật avatar 3D mô phỏng cử chỉ người kết hợp gương mặt để hỗ trợ người khiếm thính” trong thời gian thực của cơ thể, biểu cảm gương mặt con người bằng Framework Mediapipe và kết nối kết quả vừa nhận dạng với nhân vật 3D trên ứng dụng Unity.