ỨNG DỤNG MÔ HÌNH NGÔN NGỮ LỚN ĐA PHƯƠNG THỨC TRONG PHÁT TRIỂN PHẦN MỀM NHẬN DẠNG VÀ ĐỌC VĂN BẢN HỖTRỢ NGƯỜI MÙ TRÊN THIẾT BỊ DI ĐỘNG

Abstract

Bối cảnh: Hiện nay, Việt Nam có khoản 2 triệu người mù, 1/3 trong số đó là những người nghèo không có tiền điều trị mang lại ánh sáng [19]. Người mù vẫn gặp nhiều rào cản trong việc đọc hiểu các tài liệu in ấn, giấy tờ viết tay hoặc văn bản thường nhật. Sự phát triển của trí tuệ nhân tạo, đặc biệt là mô hình ngôn ngữ lớn đa phương thức, đã mở ra nhiều cơ hội mới trong việc xử lý và nhận dạng hình ảnh, chữ viết tay. Mặc dù đã có một số thiết bị chuyên dụng hỗ trợ người mù tiếp cận văn bản, chi phí cao và sự phức tạp trong sử dụng khiến chúng chưa thực sự phổ biến tại Việt Nam. Mục tiêu: Mục tiêu chính của dự án xây dựng phần mềm trên di động nhận dạng chữ viết và đọc văn bản dành cho người mù là phát triển một ứng dụng hỗ trợ người khiếm thị tiếp cận thông tin văn bản một cách dễ dàng, thuận tiện và độc lập trong đời sống hằng ngày. Phương pháp: Ứng dụng sẽ được xây dựng trên nền tảng React Native để phát triển giao diện người dùng trên thiết bị di động, giúp tạo ra các thành phần như giao diện camera, nút điều hướng và hiển thị kết quả nhận dạng. Đồng thời, hệ thống Backend sử dụng Flask (Python) sẽ đảm nhận việc xử lý ảnh, nhận dạng chữviết bằng mô hình Vintern-1B-v3.5 và trả về kết quả văn bản. Ngoài ra, ứng dụng sẽ tích hợp công nghệ Text-to-Speech để chuyển văn bản đã nhận dạng thành âm thanh giúp người mù có thể nghe nội dung văn bản một cách trực tiếp. Kết quả: Ứng dụng đáp ứng được nhu cầu hỗ trợ người mù trong việc tiếp cận và hiểu nội dung văn bản thông qua thiết bị di động, Đặc biệt, ứng dụng cho phép người dùng sử dụng camera để quét chữ viết tay hoặc văn bản in, sau đó chuyển đổi thành giọng nói một cách nhanh chóng và chính xác. Ứng dụng không chỉ manglại sự tiện lợi trong đời sống hằng ngày mà còn đóng góp tích cực vào việc nâng cao tính bình đẳng trong tiếp cận công nghệ cho người khuyết tật. Kết luận: Việc xây dựng ứng dụng di động nhận dạng chữ viết và đọc văn bản dành cho người mù đã thành công trong việc hỗ trợ người khiếm thị tiếp cận thông tin một cách chủ động và thuận tiện hơn. Dự án không chỉ thể hiện sự kết hợp hiệu quả giữa công nghệ và nhu cầu thực tế của cộng đồng, mà còn mở ra hướng phát triển mới cho các ứng dụng hỗ trợ người khuyết tật trong thời đại số.