TẠO VIDEO LỒNG TIẾNG VÀ THUYẾT MINH DỰA TRÊN NHẬN DẠNG GIỚI TÍNH CỦA NHÂN VẬT BẰNG KỸ THUẬT HỌC SÂU

Abstract

Ngày nay, sự phát triển mạnh mẽ của ngành giải trí và thông tin đã đưa video trở thành một phương tiện truyền thông quan trọng. Việc xem video bằng tiếng nước ngoài mà không có phụ đề, lồng tiếng hoặc thuyết minh có thể là một thử thách. Việc lồng tiếng cho phép chúng ta đắm mình hoàn toàn vào các yếu tố hình ảnh của video mà không bị phân tâm bởi phụ đề. Việc lồng tiếng cho video với giới tính của người nói phù hợp cũng có thể nâng cao tác động cảm xúc của nội dung, đặc biệt là trong lĩnh vực điện ảnh. Nghiên cứu này đề xuất một quy trình lồng tiếng video thích ứng sử dụng kiến trúc học sâu và trực quan hóa dựa trên tín hiệu giọng nói để phát hiện chính xác giới tính của người nói. Sau đó, nghiên cứu sử dụng tính năng Chuyển văn bản thành giọng nói của Microsoft Edge, tính năng này nhúng hai giọng nam và nữ tiếng Việt để lồng tiếng video bằng tiếng Việt. Đánh giá của chúng tôi về hiệu suất nhận dạng giới tính của người nói trên các bộ dữ liệu công khai khác nhau cho thấy rằng việc tận dụng hình ảnh dựa trên phổ cho tín hiệu giọng nói của người nói và ResNet34 có thể đạt được kết quả tốt hơn so với các nghiên cứu trước đây. Hơn nữa, nghiên cứu đã đạt được f1-score là 0,946 cho việc nhận dạng giới tính của người nói trên các video có mục đích lồng tiếng bằng tiếng Việt.