PHIÊN DỊCH CHỮ CÁI NGÔN NGỮ KÝ HIỆU SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP

Abstract

Theo thống kê, trên thế giới hiện có hơn 70 triệu người khiếm thính. Như mọi người bình thường, người khiếm thính cũng cần phải đi học, giao tiếp với nhau và mọi người xung quanh. Ngôn ngữ ký hiệu ra đời giúp họ thực hiện những việc đó. Việc nhận dạng được ngôn ngữ ký hiệu giúp cho người khiếm thính có thể dễ dàng trong việc truyền tải thông tin đến với nhau và với người bình thường khác, giúp họ tự tin hơn và nâng cao được chất lượng cuộc sống. Vấn đề được đặt ra ở đây là làm thế nào để có thể phiên dịch ngôn ngữ ký hiệu của họ sang ngôn ngữ bình thường để có thể giao tiếp một cách dễ dàng. Đã có nhiều đề tài nghiên cứu, xây dựng hệ thống để giải quyết vấn đề này. Tuy nhiên, các hệ thống được xây dựng đều cần những phần cứng đắt tiền, cùng với những thuật toán phức tạp. Vì vậy, mục tiêu của đề tài này nhằm xây dựng hệ thống phiên dịch chữ cái ngôn ngữ ký hiệu áp dụng nguyên lý máy học và thị giác máy tính, sử dụng phần cứng với chi phí vừa phải. Hệ thống này được phát triển bằng ngôn ngữ lập trình Python, gồm 2 phần chính. Trong đó, phần đầu là xây dựng mô hình máy học để nhận dạng ngôn ngữ ký hiệu, áp dụng mạng mạng nơ-ron tích chập (CNN – Convolutions Neural Network). Tập dữ liệu được sưu tầm trên mạng, là hình ảnh nhị phân của bàn tay khi thực hiện các chữ cái, sau đó đưa vào mô hình huấn luyện. Phần còn lại là vấn đề xử lý dữ liệu. Sau khi hình ảnh được bắt từ webcam, dùng công cụ OpenCV để tiền xử lý. Các bước xử lý dữ liệu gồm tách nền, chuyển ảnh thành ảnh xám, chuyển về nhị phân và resize. liệu Kế tiếp, dữ liệu xử lý xong sẽ đưa vào mô hình đã được huấn luyện để dự đoán hoặc tạo thành tập dữ liệu mới. Kết quả thực nghiệm cho thấy độ chính xác của mô hình huấn luyện là khoảng 99,52% và của hệ thống là khoảng 90.55%.