ỨNG DỤNG NHẬN BIẾT NGÔN NGỮ KÝ HIỆU – THỦ NGỮ

Abstract

Công nghệ - một lĩnh vực nghiên cứu có thể gọi là “biến những gì không thể thành có thể”, chúng ta có thể dễ dàng thấy được sự phát triển vượt trội của nó trong những năm qua. Từ những năm đầu, rõ ràng có những sự thô sơ về mặt kỹ thuật cũng như công nghệ thì ngày nay lĩnh vực này đã thay đổi một cách nhanh chóng và đang tiến bộ vượt bật, điển hình như các thiết bị phần cứng vật lý ngày càng được tinh chỉnh nhẹ hơn, tối giản hơn và mượt mà hơn, cung cấp cho người dùng sự trải nghiệm sẩn phẩm ngày một tối ưu hơn. Ở đây ta có thể thấy rõ ở hai vật dụng không thể thiếu khi sử dụng máy tính là chuột và bàn phím, từ kích thước to và nặng nề lúc ban đầu, nó đã được tinh chỉnh nhẹ hơn và thao tác dễ hơn, rồi sau đó tối ưu nó thành chuột và bàn phím không dây để dễ di chuyển và thay thế. Hiện nay, với sự tiến bộ của kỹ thuật và công nghệ, ta có thể tin rằng việc xây dựng một trải nghiệm người dùng “không chạm” là hoàn toàn có thể. Điển hình như hiện tại công nghệ Speak To Text – nhập liệu bằng giọng nói đang được sử dụng rộng rãi con người giảm bớt việc nhập dữ liệu bằng cách gõ phím như trước đây và giúp nâng cao hiệu suất làm việc với máy tính. Với sự tiến bộ của lĩnh vực máy học và trí tuệ nhân tạo thì đề tài này đang được phát triển một cách đầy hiệu quả, trong đề tài này một hướng tiếp cận Nhận Biết Ngôn Ngữ Ký Hiệu – Thử Ngữ dựa trên tập dữ liệu Ngôn Ngữ Kí Hiệu Hoa Kỳ (American Sign Language) đang được nghiên cứu và thực nghiệm đó là phương pháp Pose Estimation (Ước Lượng Tư Thế) sử dụng các thư viện như MediaPipe Pose, OpenPose để phát hiện bàn tay và khuôn mặt trong không gian và từ đó trích xuất tọa độ của các khớp trên bàn tay và các điểm trên gương mặt trong không gian 2D hay 3D thành các điểm tọa độ (x, y, z) và sau đó dùng các mô hình máy học truyền thống như Support Vector Machine (SVM), Random Forest hoặc Multi-Layer Perception (MLP) để phân loại từ các điểm tọa độ được phân tích. Tập dữ liệu được sử dụng trong đề tài này được tự thu thập và phân tích thành cái vecto tọa độ chia làm 25 file .npy. Kết quả đạt được từ mô hình này với độ Validation Accuracy (độ chính xác thực) là 98.91%