XÂY DỰNG HỆ THỐNG CHUYỂN ĐỔI GIỌNG NÓI TIẾNG ANH SANG VĂN BẢN TIẾNG VIỆT THEO THỜI GIAN THỰC

Abstract

Trong môi trường giao tiếp hiện nay, tiếng Anh đã trở thành một ngôn ngữ toàn cầu, đóng vai trò quan trọng và không thể thiếu trong việc trao đổi thông tin. Tuy nhiên, với nhiều người Việt Nam, việc tiếp nhận và xử lý thông tin trực tiếp bằng tiếng Anh vẫn còn nhiều khó khăn. Đề tài "Xây dựng hệ thống chuyển đổi giọng nói tiếng Anh sang văn bản tiếng Việt theo thời gian thực" được thực hiện nhằm cung cấp một công cụ hỗ trợ người dùng theo dõi nội dung hội thoại tiếng Anh. Hệ thống này không chỉ giúp người dùng hiểu rõ hơn về nội dung cuộc trò chuyện mà còn tạo điều kiện thuận lợi cho việc ghi chép và lưu trữ thông tin quan trọng. Về phương pháp, hệ thống được phát triển bằng Python và thư viện PyQt6 kết hợp cơ sở dữ liệu SQLite, tích hợp Faster-Whisper cho tác vụ nhận dạng giọng nói cục bộ. Mô hình Whisper Tiny được tinh chỉnh (fine-tuning) theo chiến lược đóng băng Encoder và tinh chỉnh LoRA, trên tập dữ liệu kết hợp LibriSpeech (100h), VoxPopuli và WhissleAI Medical. Tính năng dịch thuật sang tiếng Việt được tích hợp qua Google Translate API và sử dụng Groq API để thay đổi đầu ra như tóm tắt văn bản, sơ đồ tư duy, biên bản. Ngoài ra, chức năng nhận diện người nói (Speaker Diarization) cũng được tích hợp nhằm hỗ trợ gán nhãn người nói cho từng đoạn hội thoại. Kết quả thực nghiệm được đánh giá trên GPU cho thấy mô hình Whisper Tiny.en sau tinh chỉnh với LoRA (r=32) đạt WER 5.29% trên tập LibriSpeech, cải thiện 0.52% so với mô hình gốc (5.81%). Trên tập VoxPopuli, mô hình đạt WER 11.09%, cải thiện 2.19% so với mô hình gốc (13.28%). Đáng chú ý, mô hình Whisper Tiny.en sau tinh chỉnh với LoRA (r=8) đạt WER 12.99% trên tập dữ liệu y tế, so với Whisper Small không qua tinh chỉnh (WER 14.87%), đồng thời duy trì RTF 0.0122, đảm bảo yêu cầu xử lý thời gian thực. Từ khóa: Nhận dạng giọng nói tự động, Whisper, Faster-Whisper, thời gian thực, tinh chỉnh mô hình, nhận diện người nói. In today’s communication landscape, English has become a global language, playing an important and indispensable role in the exchange of information. However, for many Vietnamese people, receiving and processing information directly in English remains a significant challenge. The project "Building a Real-Time English Speech-to-Vietnamese Text Conversion System" was carried out to provide a tool that helps users follow English conversations. The system not only helps users better understand the content of conversations but also facilitates the recording and storage of important information. In terms of methodology, the system was developed using Python and the PyQt6 library combined with an SQLite database, integrating Faster-Whisper for local speech recognition. The Whisper Tiny model was fine-tuned using an Encoder-freezing and LoRA fine-tuning strategy on a combined dataset of LibriSpeech (100h), VoxPopuli, and WhistleAI Medical. Vietnamese translation is integrated via the Google Translate API, and the Groq API is used to transform outputs into formats such as text summaries, mind maps, and meeting minutes. In addition, Speaker Diarization functionality was also integrated to support speaker labeling for each conversational segment. Experimental results evaluated on GPU show that the Whisper Tiny.en model finetuned with LoRA (r=32) achieves a WER of 5.29% on LibriSpeech, an improvement of 0.52% over the baseline (5.81%). On VoxPopuli, the model achieves a WER of 11.09%, an improvement of 2.19% over the baseline (13.28%). The Whisper Tiny.en model finetuned with LoRA (r=8) achieves a WER of 12.99% on the medical dataset, compared to the untuned Whisper Small (WER 14.87%), while maintaining an RTF of 0.0122, ensuring real-time processing requirements. Keywords: Automatic speech recognition, Whisper, Faster-Whisper, real-time, model finetuning, speaker diarization.