ỨNG DỤNG HỌC SÂU TRONG TÁI TẠO GIỌNG NÓI

Abstract

Trong phạm vi nghiên cứu của đề tài này, chúng ta sẽ ứng dụng kỹ thuật học sâu để giải quyết bài toán tái tạo giọng nói tiếng Việt bằng cách dựa vào các mạng nơ ron nhân tạo để tổng hợp văn bản thành giọng nói của những người nói khác nhau bao gồm cả giọng của những người không có trong quá trình huấn luyện. Hệ thống gồm có ba thành phần tương ứng với ba mô hình khác nhau được huấn luyện độc lập với nhau: Một là mô hình xác thực giọng nói được huấn luyện về tác vụ xác minh người nói bằng cách sử dụng một bộ dữ liệu độc lập với hai mô hình còn lại nhằm mục đích tạo ra một vectơ để ánh xạ được hầu hết các đặc trưng âm thanh từ không gian sóng âm của người nói sang không gian của vectơ đó với số chiều cố định. Hai là mô hình tổng hợp văn bản thành giọng nói dựa trên kiến trúc của Tacotron với mục đích tạo ra Mel-Spectrograms từ các đặc trưng văn bản và âm thanh của giọng nói. Ba là mô hình mã hóa giọng nói được huấn luyện với mục đích mã hóa phổ âm thanh Mel-Spectrograms được tổng hợp thành đoạn sóng âm mà tai người có thể nghe được. Kết quả chúng ta đạt được là một hệ thống có khả năng tổng hợp được giọng nói tiếng Việt từ những người nói ngẫu nhiên.