TÌM KIẾM BÀI HÁT KHÔNG LỜI DỰA VÀO PHÂN TÍCH GIAI ĐIỆU ÂM THANH

Abstract

Ngày nay nhu cầu nghe nhạc để giải trí rất phổ biến ở mọi lứa tuổi. Nhưng đôi khi lại có những bài nhạc không lời rất hay nhưng bạn lại không nhớ tên thì bạn cũng không thể nào mà tìm ra được bài nhạc đó bằng cách tìm kiếm thông thường. Vì vậy đề tài “Tìm kiếm bài hát không lời dựa vào phân tích giai điệu âm thanh” đã được đề xuất để giúp người nghe có thể tìm kiếm được những bài nhạc không lời.. Hệ thống sử dụng thuật toán Approximate Nearest Neighbors để tiền xử lý bài nhạc và trích xuất đặc trưng để lấy được đặc điểm của bài nhạc trong kho bằng cách sử dụng hàm trích xuất đặc trưng MFCC của thư viện python_speech_features. Sau đó dùng thư viện annoy để tạo chỉ mục. Để tìm kiếm bài hát thì ta sẽ số hóa đoạn nhạc, trích dẫn đặc trưng của đoạn nhạc, tải lại chỉ mục đã tạo, thực hiện tìm kiếm trong chỉ mục với các tham số khác nhau của nfilt (độ dài của mỗi MFCC) và f (số chiều của vector), sau cùng là nhập n để in ra danh sách Top bài hát có độ tương tự với đoạn nhạc. Khi kiểm thử thì thấy được kết quả của bài hát được đề xuất ở tỷ lệ lấy mẫu là 16000 có độ chính xác cao hơn tỷ lệ lấy mẫu là 40000 và tốt nhất khi nfilt = 12 với độ chính xác ở Top 1 là 10%, Top 5 là 16,6667% và Top 10 là 20%. Khi kiểm thử với tập dữ liệu train và test 100 bài thì với tỷ lệ lấy mẫu là 16000 thì với tham số nfilt=13 cho kết quả tốt nhất với độ chính xác ở Top 1 là 36%, Top 5 là 41%, Top 10 là 44%. Giải pháp thứ hai là sử dụng mô hình CNN để phân tích hình ảnh sau khi đã chuyển đổi âm thanh thành hình ảnh quang phổ. Sau khi huấn luyện với các mô hình CNN, VGG, Fully Connected Layer, Efficient thì ta đã tìm ra được các kiến trúc nông cho kết quả tốt hơn nhưng gặp vấn đề overfitting khi độ chính xác trên tập train là 100% nhưng chỉ đạt 9% trên tập test nhưng vẫn cần có sự tinh chỉnh siêu tham số phù hợp với các mô hình trên. Sau khi kiểm thử hoàn tất thì chúng được tích hợp vào hệ thống xây dựng trên nền tảng Website, với những công cụ và ngôn ngữ hỗ trợ như: HTML, CSS, Javascript, Python, Flask Framework cho việc xây dựng giao diện web.