XÂY DỰNG MÔ HÌNH NHẬN DẠNG NGÔN NGỮ KHIẾM THÍNH CỦA NGƯỜI VIỆT NAM

Abstract

Người khiếm thính, hay những người có khiếm khuyết về thính giác, gặp phải vô vàn khó khăn trong cuộc sống hàng ngày. Các rào cản về ngôn ngữ nói gây ảnh hưởng nghiêm trọng đến khả năng giao tiếp của họ trong nhiều hoàn cảnh khác nhau, từ nơi làm việc, trường học đến gia đình. Mặc dù nhiều người khiếm thính sử dụng ngôn ngữ ký hiệu để giao tiếp, không phải ai cũng hiểu được ngôn ngữ này, dẫn đến việc họ thường gặp trở ngại trong giao tiếp. Nhằm giải quyết vấn đề này, luận văn “Xây dựng mô hình nhận dạng ngôn ngữ khiếm thính của người Việt Nam” ra đời với mục tiêu giúp nhận dạng và hiểu các cử chỉ, biểu hiện trong ngôn ngữ ký hiệu của cộng đồng người khiếm thính Việt Nam. Mô hình này sử dụng thư viện Mediapipe để nhận dạng và theo dõi các cử chỉ tay trong khung hình, xác định các điểm mốc quan trọng. Áp dụng các giải thuật, mô hình học sâu như LSTM, GRU và Transformer để nhận dạng ngôn ngữ ký hiệu. Mô hình sẽ được huấn luyện và kiểm tra trên một bộ dữ liệu gồm hơn 5700 video và 19 lớp dữ liệu, với mỗi video dài từ 3 đến 5 giây, ghi lại các cử chỉ tay và động tác của người dùng ngôn ngữ ký hiệu. Mô hình đạt được với độ chính xác 99,5%,