PHÁT HIỆN GIẢ MẠO GIỌNG NÓI DÙNG AUDIO FOUNDATION MODEL

Abstract

Đề tài này nghiên cứu nhằm xây dựng mô hình phân loại âm thanh giọng nói thật và giọng nói giả (deepfake audio). Những giọng giả này được tạo ra hoặc chỉnh sửa bằng các mô hình deep learning, có khả năng bắt chước giọng con người với độ chân thực cao, gây khó khăn cho cả con người và hệ thống tự động trong việc phân biệt. Bằng cách kết hợp XLS-R (phiên bản đa ngôn ngữ của wav2vec 2.0) làm bộ trích xuất đặc trưng với bộ phân loại tích hợp Sensitive Layer Selection (SLS), cùng các chiến lược tăng cường dữ liệu và kỹ thuật huấn luyện phù hợp, mô hình đạt Equal Error Rate (EER) là 3.15% trên tập đánh giá của ASVspoof 5. Sản phẩm của đề tài là một hệ thống được triển khai dưới dạng dịch vụ web, nhận đầu vào là tệp âm thanh và trả về kết quả dự đoán “thật” hoặc “giả”. Từ khoá: Phát hiện giả mạo giọng nói; ASVspoof 5; XLS-R; Sensitive Layer Selection (SLS); Học tự giám sát; Tăng cường dữ liệu; Equal Error Rate (EER). This research aims to develop a model capable of classifying audio as either bonafide speech or spoofed voices. These spoofed voices are created or manipulated by deep learning models to mimic human speech with high fidelity, making them difficult for both humans and automated systems to distinguish from genuine voices. By combining XLS-R (the multilingual version of wav2vec 2.0) as a feature extractor with a classifier integrating Sensitive Layer Selection (SLS), along with appropriate data augmentation strategies and training techniques, the model achieved an Equal Error Rate (EER) of 3.15% on the ASVspoof 5 evaluation set. The final product of this thesis is a system deployed as a web service that accepts audio files as input and returns "bonafide" or "spoof" prediction results. Key words: Speech Anti-Spoofing; ASVspoof 5; XLS-R; Sensitive Layer Selection (SLS); Self-Supervised Learning; Data Augmentation; Equal Error Rate (EER).