XÂY DỰNG TRÒ CHƠI BẰNG CỬ CHỈ TAY VỚI MEDIAPIPE

Abstract

Mục tiêu của hệ thống là xây dựng trò chơi cho người chơi mà không cần đến sự hỗ trợ của các thiết bị vật lý. Máy ảnh hoặc webcam được sử dụng kết nối với trò chơi để có thể nhận ra cử chỉ tay của con người. Và đương nhiên, hầu hết các máy tính xách tay hay máy tính để bàn hiện tại đều được trang bị webcam, đó sẽ là điểm khởi đầu. Người dùng sẽ sử dụng các cử chỉ tay khác nhau, mỗi cử chỉ tay sẽ được ánh xạ tới một tập hợp các tổ hợp nút trên một Gamepad ảo. Vì việc phát hiện cử chỉ sẽ được thực hiện trong thời gian thực nên việc sử dụng OpenCV để hỗ trợ là cần thiết để xử lý hình ảnh và hiển thị thao tác người chơi. Cuối cùng là sử dụng thư viện với các thuận toán đã được xây dựng sẵn để kết hợp với hệ thống trò chơi để hoàn thành trò chơi nhận dạng với cử chỉ tay. Kết quả là một bộ điều khiển độ trễ thấp với các ứng dụng trong thế giới thực. Trong đề tài này, sử dụng thư viện Mediapipe, là một thư viện phát hiện cử chỉ hình thể rất chính xác và nhẹ. Đầu ra của giải pháp này là một mô hình Skeleton (khung xương) của bàn tay, gồm vị trí của các landmarks trên bàn tay và được nối với nhau thành một khung bàn tay hoàn chỉnh. Hệ thống xây dựng trò chơi nhận dạng cử chỉ tay được xây dựng dựa trên sự hỗ trợ của ba thư viện chính là OpenCV, Pygame, Mediapipe và sử dụng ngôn ngữ lập trình Python. Các cử chỉ sẽ được thực hiện trên lòng bàn tay. Hệ thống sẽ bao gồm 3 mô-đun là giao diện người chơi, nhận dạng và phân tích cử chỉ.