CTU.SIGNBRIDGE: DESIGN AND DEVELOPMENT OF A WEB-BASED PLATFORM FOR TRAINING MULTI-DIALECT VIETNAMESE SIGN LANGUAGE RECOGNITION MODELS

Abstract

Sign language supports communication and social participation for deaf and hard-ofhearing communities, but recognition technologies may not adequately represent signing practices in smaller or underrepresented communities. In Vietnam, Vietnamese Sign Language (VSL) remains a low-resource domain with substantial variation across communities and individual performers, creating challenges for building reliable recognition models. This thesis develops the training and recognition subsystem of CTU.SignBridge, a web-based platform for reproducible development of low-resource sign language recognition models. The subsystem manages prepared hand-landmark datasets and published partitions through preprocessing, model training, performer-disjoint evaluation, experiment provenance, checkpoint validation, model promotion, and browser-based real-time isolated-sign recognition. Five architectures CNN, TCN, BiGRU with Attention, LSTM and HandGCN were evaluated using Hòa Đê workplace signs and Vietnamese fingerspelling recognition profiles. Experimental results show that performer identity has a substantially greater influence on recognition performance than architecture under the evaluated lowresource conditions. Performer identity accounted for 87.3% and 71.6% of the estimated performance variance across the two profiles, compared with 1.9% and 5.9% attributable to architecture. The results also indicate that no single architecture consistently dominates across profiles and that performer diversity is particularly important when the available performer pool is small. From a Software Engineering perspective, the thesis provides a traceable model-development lifecycle that connects data, experiments, evaluation evidence, model candidates, and deployment, supporting the development of recognition models for underrepresented communityspecific signing profiles. Keywords: Vietnamese Sign Language, sign language recognition, signerindependent evaluation, deep learning, model provenance, reproducible machine learning. Ngôn ngữ ký hiệu đóng vai trò quan trọng trong giao tiếp và tham gia xã hội của cộng đồng người Điếc và người khiếm thính. Tuy nhiên, các công nghệ nhận dạng hiện nay có thể chưa phản ánh đầy đủ các phương thức ký hiệu được sử dụng trong những cộng đồng nhỏ hoặc chưa được đại diện đầy đủ. Tại Việt Nam, Ngôn ngữ Ký hiệu Việt Nam (VSL) vẫn là một lĩnh vực thiếu dữ liệu, với sự khác biệt đáng kể giữa các cộng đồng và người thực hiện ký hiệu, gây khó khăn cho việc xây dựng các mô hình nhận dạng đáng tin cậy. Luận văn phát triển phân hệ huấn luyện và nhận dạng của CTU.SignBridge, một nền tảng web hỗ trợ phát triển có khả năng tái lập các mô hình nhận dạng ngôn ngữ ký hiệu trong điều kiện dữ liệu hạn chế. Phân hệ quản lý các tập dữ liệu điểm mốc bàn tay và các phân hoạch dữ liệu đã được chuẩn bị, thực hiện tiền xử lý, huấn luyện mô hình, đánh giá độc lập theo người thực hiện ký hiệu, quản lý provenance của thí nghiệm, xác thực checkpoint, kiểm soát phát hành mô hình và nhận dạng ký hiệu đơn theo thời gian thực trên trình duyệt. Năm kiến trúc CNN, TCN, BiGRU with Attention, LSTM và HandGCN được đánh giá trên hai recognition profile gồm ký hiệu nghề nghiệp Hòa Đê và fingerspelling tiếng Việt. Kết quả thực nghiệm cho thấy danh tính người thực hiện ký hiệu có ảnh hưởng đáng kể hơn đến hiệu năng nhận dạng so với kiến trúc mô hình trong điều kiện dữ liệu hạn chế được đánh giá. Yếu tố người thực hiện ký hiệu chiếm lần lượt 87,3% và 71,6% phương sai hiệu năng ước tính trên hai profile, trong khi kiến trúc mô hình chiếm 1,9% và 5,9%. Kết quả cũng cho thấy không có một kiến trúc nào luôn vượt trội trên mọi profile, đồng thời tính đa dạng của người thực hiện ký hiệu đặc biệt quan trọng khi số lượng người trong tập dữ liệu còn hạn chế. Dưới góc độ Kỹ thuật phần mềm, luận văn xây dựng một vòng đời phát triển mô hình có khả năng truy vết, liên kết dữ liệu, thí nghiệm, bằng chứng đánh giá, các mô hình ứng viên và triển khai, qua đó hỗ trợ phát triển các mô hình nhận dạng cho những profile ký hiệu đặc thù của các cộng đồng chưa được đại diện đầy đủ. Từ khóa: Ngôn ngữ Ký hiệu Việt Nam, nhận dạng ngôn ngữ ký hiệu, đánh giá độc lập theo người thực hiện ký hiệu, học sâu, provenance của mô hình, học máy có khả năng tái lập.