ỨNG DỤNG ĐIỀU KHIỂN THIẾT BỊ NHÀ THÔNG MINH KẾT HỢP NHẬN DẠNG NGƯỜI DÙNG THÔNG QUA GIỌNG NÓI

Abstract

Điều khiển thiết bị IoT bằng giọng nói đã không còn là một điều quá xa lạ với chúng ta bây giờ, việc điều khiển những chiếc ti vi, máy lạnh hay những thiết bị công tắc đèn được tích hợp thông minh trên chính chiếc điện thoại đã là việc quen thuộc hằng ngày. Tuy nhiên cũng từ chính việc phổ biến của các thiết bị IoT đang đặt ra một vấn đề khác cần giải quyết, trường hợp được đề cập là việc nếu một “người lạ” có thể điều khiển các thiết bị trong chính gia đình, nó sẽ mang lại rất nhiều hậu quả nghiêm trọng nhất có thể là cả Camera trong gia đình cũng bị điều khiển, từ chính vấn đề này nhóm nghiên cứu đã đưa ra một ý tưởng về việc tạo một lớp bảo mật bên ngoài hệ thống giúp nhận định xem người đang ra lệnh cho hệ thống có phải là chủ hệ thống không, đồng thời khi đã có một vòng xác nhận bên ngoài thì cũng sẽ phải kèm theo chức năng thêm người dùng mới vào hệ thống. Ý tưởng chính cho việc giải quyết bài toán trên nhóm nghiên cứu đã thu thập giọng nói của nhiều người và phân thành 02 nhóm chính là nhóm người chủ hệ thống và nhóm người lạ, từ dữ liệu giọng nói của những người thu được để tiến hành xây dựng mô hình, nhóm nghiên cứu đã xây dựng 07 mô hình máy học cho việc nhận diện giọng nói của từng người bao gồm 07 nhãn tính cả nhãn người lạ (chưa tính nhãn được thêm bởi chức năng thêm người mới), với quy mô là một gia đình vừa và nhỏ nên bài toán chọn số lượng nhãn cho mô hình là không quá 08 nhãn, tổng dữ liệu nhóm nghiên cứu thu được là trên 10000 đoạn âm thanh(mỗi đoạn 10s). Qua quá trình thực nghiệm với nhiều mô hình CNN DenseNet121, Mobilenet, VGG16, SVM, Lenet-5,…Và dựa vào kết quả thực nghiệm mô hình Lenet-5 cho kết quả tốt nhất với việc nhận dạng người dùng với độ chính xác trên 98%, do đó mô hình Lenet-5 được chọn làm mô hình chính trong dự án này. Với ứng dụng này việc huấn luyện được tiến hành bắt đầu từ việc thu thập dữ liệu người dùng, sau đó tiền xử lý dữ liệu, chuyển đổi âm thanh thành ảnh spectrogram và đưa vào mô hình học sâu để huấn luyện kết quả, ứng dụng được cài đặt và chạy trên Windows.