HỆ THỐNG NHẬN DẠNG CỬ CHỈ ỨNG DỤNG TRÊN HOLOGRAM 3D

Abstract

Cử chỉ con người là một hình thức giao tiếp phi ngôn ngữ hoặc giao tiếp không bằng giọng nói trong đó các hành động cơ thể có thể truyền đạt các thông điệp cụ thể. Kỹ thuật nhận dạng và phát hiện cử chỉ của cơ thể người là một trong những phương pháp giúp con người có thể tương tác với nền công nghệ thực tế ảo tăng cường (AR) đang phát triển vượt trội như hiện nay. Mục tiêu của đề tài này là xây dựng một hệ thống nhận dạng cử chỉ cơ thể con người trong thời gian thực cho phép người dùng có thể tương tác với nhân vật 3D được hiển thị bên trong 1 Hologram. Nhận dạng cử chỉ của hệ thống này được xây dựng dựa trên phương pháp nhận dạng chuyển động OpenPose. Người thực hiện các cử chỉ sẽ đứng trước camera và hệ thống sẽ tiến hành nhận dạng khung xương dựa trên OpenPose sau đó tiến hành nhận dạng cử chỉ người dùng. Nếu các cử chỉ của người dùng nằm trong nhóm các cử chỉ được xây dựng thuật toán nhận dạng như: vẫy tay, bắt tay, cúi chào và chạy thì hệ thống sẽ cho nhân vật 3D tương tác lại với người dùng bằng các cử chỉ tương ứng.