NGHIÊN CỨU CÁC MÔ HÌNH MÁY HỌC TRONG PHÁT HIỆN MÃ ĐỘC

Abstract

Luận văn nghiên cứu bài toán phát hiện và phân loại đa lớp mã độc trên hệ điều hành Windows dựa trên dữ liệu đặc trưng tĩnh của các tệp thực thi PE. Trong bối cảnh mã độc ngày càng đa dạng, có khả năng biến đổi nhanh và gây khó khăn cho các phương pháp phát hiện truyền thống, việc ứng dụng máy học được xem là một hướng tiếp cận có nhiều tiềm năng. Tuy nhiên, bài toán phân loại mã độc đa lớp vẫn tồn tại nhiều thách thức như dữ liệu mất cân bằng, không gian đặc trưng có số chiều lớn, sự chồng lấn giữa các họ mã độc và mức độ nhầm lẫn cao ở một số nhóm lớp. Để giải quyết các vấn đề trên, luận văn sử dụng bộ dữ liệu BODMAS làm cơ sở thực nghiệm và tiến hành xây dựng, huấn luyện, đánh giá các mô hình máy học tiêu biểu gồm LightGBM, MLP, CNN, LSTM và GRU. Trên cơ sở phân tích kết quả thực nghiệm ban đầu, nghiên cứu đề xuất kiến trúc phân loại phân tầng nhằm cô lập và xử lý chuyên sâu các nhóm mã độc dễ nhầm lẫn. Trong kiến trúc đề xuất, LightGBM được sử dụng làm mô hình lõi cho dữ liệu đặc trưng dạng bảng, kết hợp với SHAP để chọn lọc các đặc trưng quan trọng cho nhóm lớp khó. Bên cạnh đó, luận văn áp dụng các kỹ thuật cải tiến như hiệu chỉnh xác suất, hiệu chỉnh phân bố nhãn, điều chỉnh ngưỡng quyết định, gate động, hợp nhất xác suất giữa mô hình lõi và các expert cục bộ, cùng cơ chế kiểm tra đồng thuận sau phân loại. Kết quả thực nghiệm cho thấy hướng tiếp cận phân tầng giúp cải thiện khả năng nhận diện đối với các lớp mã độc khó, đặc biệt là các lớp thiểu số và các cặp lớp có mức độ nhầm lẫn cao. Nghiên cứu góp phần làm rõ hiệu quả của việc kết hợp mô hình học máy truyền thống với các kỹ thuật hậu xử lý và expert chuyên biệt trong bài toán phân loại mã độc đa lớp. Kết quả đạt được có thể được sử dụng làm cơ sở tham khảo cho các nghiên cứu tiếp theo về phát hiện mã độc tự động trên dữ liệu đặc trưng tĩnh. This thesis investigates the problem of multi-class malware detection and classification on the Windows operating system using static features extracted from PE executable files. As malware becomes increasingly diverse, rapidly evolving, and difficult to detect using traditional signature-based or rule-based methods, machine learning has emerged as a promising approach for automated malware detection. However, multi-class malware classification remains challenging due to class imbalance, high-dimensional feature spaces, overlapping characteristics among malware families, and severe misclassification among certain difficult classes. To address these challenges, this study employs the BODMAS dataset as the experimental foundation and develops, trains, and evaluates several representative machine learning models, including LightGBM, MLP, CNN, LSTM, and GRU. Based on the analysis of initial experimental results, the thesis proposes a hierarchical classification architecture designed to isolate and handle highly confused malware groups more effectively. In the proposed architecture, LightGBM is used as the core model for high-dimensional tabular features, while SHAP is applied to select important features for difficult malware classes. In addition, several improvement techniques are incorporated, including probability calibration, label-shift correction, decision-threshold adjustment, dynamic gating, probability fusion between the core model and local expert models, and a consensus-based post-classification mechanism. Experimental results indicate that the proposed hierarchical approach improves the recognition capability for difficult malware classes, particularly minority classes and class pairs with high confusion rates. The study demonstrates the effectiveness of combining traditional machine learning models with post-processing strategies and specialized local experts for multi-class malware classification. The obtained results can serve as a useful reference for further research on automated malware detection using static feature-based datasets.