ỨNG DỤNG MEDIAPIPE HAND ĐỂ NHẬN DIỆN BÀN TAY VÀ ĐIỀU KHIỂN TƯƠNG TÁC BÀN TAY ROBOT

Abstract

Đề tài “Ứng dụng MediaPipe Hand để nhận diện bàn tay và điều khiển tương tác bàn tay Robot” tập trung vào việc xây dựng một hệ thống điều khiển bàn tay Robot bằng công nghệ nhận diện cử chỉ tay thông qua MediaPipe Hand. Hệ thống này được thiết kế để tái hiện cử chỉ tay người dùng trên bàn tay Robot trong thời gian thực và cung cấp trải nghiệm tương tác qua trò chơi kéo, búa, bao. Hệ thống gồm ba chức năng chính: điều khiển bàn tay Robot, mô phỏng cử chỉ và trò chơi tương tác. Điều khiển bàn tay Robot cho phép người dùng thao tác các ngón tay của bàn tay Robot bằng chuột. Mỗi ngón tay có thể được điều khiển riêng lẻ để thực hiện các hành động co hoặc duỗi. Đây là cách trực tiếp để kiểm tra khả năng hoạt động của hệ thống không dây và độ chính xác của động cơ. Chức năng mô phỏng sử dụng MediaPipe Hand để nhận diện cử chỉ tay từ camera, sau đó gửi tín hiệu qua đường truyền không dây đến bàn tay Robot, giúp nó tái hiện chính xác cử chỉ co hoặc duỗi. Bàn tay Robot được phát triển bởi 3D LIFE Maker JuN Collaboration-một startup về mô hình stem ở Hàn Quốc, tích hợp các cảm biến và động cơ để điều khiển chuyển động của các ngón tay. Hành động bàn tay Robot có thể thực hiện được là co và duỗi các ngón tay. Người dùng thực hiện điều khiển và tương tác với bàn tay Robot thông qua kết nối không dây. Trò chơi kéo, búa, bao tạo nên sự tương tác thú vị giữa người và bàn tay Robot. Người chơi thực hiện một cử chỉ kéo, búa hoặc bao trước camera thì hệ thống sẽ nhận diện cử chỉ bằng thuật toán xử lý ảnh. Đồng thời, bàn tay Robot sẽ chọn ngẫu nhiên một biểu tượng và thực hiện cử chỉ tương ứng. Kết quả được so sánh theo quy tắc trò chơi để xác định người thắng cuộc. Dự án này không chỉ mang tính giải trí mà còn ứng dụng công nghệ nhận diện hình ảnh và điều khiển Robot để tạo ra một hệ thống thông minh và linh hoạt. Đây là một bước khởi đầu tiềm năng trong nghiên cứu và phát triển các ứng dụng Robot điều khiển bằng cử chỉ trong tương lai.