Ứng dụng thuật toán K-means trong phân tích dữ liệu

Abstract

Trình bày tổng quan về khái niệm, phân loại về học máy và nêu khái quát về học máy không giám sát, đồng thời nói về cơ sở lý thuyết cơ bản có trong học máy bao gồm đại số tuyến tính, các khái niệm xác suất mẫu và các thư viện Python cơ bản. Giới thiệu về phân cụm dữ liệu như khái niệm, mục đích, các phương pháp phân cụm phổ biến và một số hạn chế và thách thức phân cụm khi áp dụng, nêu rõ hơn về cốt lõi của học máy không giám sát nói chung cũng như thuật toán K-means nói riêng. Trình bày chi tiết về mô hình, nguyên lý hoạt động, chứng minh tính hội tụ của hàm mất mát, chứng minh nghiệm tối ưu của K-means, trình bày thuật toán K-means++, các phương pháp chọn số cụm K tối ưu phổ biến, các chỉ số thang đo sau khi phân cụm K-means và nêu ra ưu điểm và nhược điểm của K-means. Đề tài có trình bày một ứng dụng về đánh giá dữ liệu doanh thu dựa trên bộ dữ liệu hơn 72000 biến quan sát của một cửa hàng siêu thị địa phương bằng thuật toán K-means bao gồm tiến hành xử lý giá trị ngoại lệ và giá trị bị thiếu, loại bỏ biến trùng lặp, tiến hành phân cụm, chạy thuật toán chọn số K phân cụm tối ưu, chạy và so sánh giữa 2 thuật toán K-means và K-means++ và thể hiện các biểu đồ và bảng chỉ số cần thiết và đánh giá chất lượng phân cụm và trình bày kết quả trực quan. Kết quả cho thấy phân cụm dữ liệu doanh thu làm rõ bức tranh vận hành của cửa hàng, tầm quan trọng của việc kiểm soát dữ liệu đầu vào và đầu ra, vai trò khi áp dụng các chính sách khuyến mãi cần thiết và cần khai thác hợp lý các nhóm sản phẩm dựa trên cụm doanh thu để tối ưu chiến lược kinh doanh tại thị trường địa phương.