PHÁT HIỆN VÀ PHÂN LOẠI MÃ ĐỘC SỬ DỤNG MÔ HÌNH HỌC MỜ

Abstract

Luận văn tập trung nghiên cứu và xây dựng hệ thống tự động phát hiện, phân loại đa lớp mã độc trên hệ điều hành Windows bằng cách kết hợp logic Mờ với các kiến trúc học sâu tiên tiến. Nghiên cứu sử dụng bộ dữ liệu tiêu chuẩn EMBER 2024 với hơn 3,2 triệu mẫu tệp thực thi PE, tập trung vào việc giải quyết các thách thức về tính bất định và sự mất cân bằng dữ liệu cực đoan giữa các họ mã độc. Phương pháp tiếp cận bao gồm quy trình tiền xử lý nghiêm ngặt: tinh lọc 136 đặc trưng tĩnh cốt lõi, áp dụng các kỹ thuật cân bằng dữ liệu gồm Downsampling, SMOTE, Tomek Links và tích hợp các lớp mờ hóa có khả năng học vào mạng nơ-ron. Nghiên cứu đã thực nghiệm và so sánh 10 cấu trúc học sâu khác nhau, bao gồm các mô hình chuyên biệt cho dữ liệu bảng như Transformer, LightGBM, TabMamba và SAINT. Kết quả thực nghiệm cho thấy mô hình lai MLP kết hợp với lớp Fuzzy Learnable cải tiến đạt hiệu năng vượt trội. Đặc biệt, kỹ thuật học tập hợp Stacking Ensemble với cơ chế Meta-learning đã giúp tối ưu hóa thế mạnh của các kiến trúc cơ sở, đạt độ chính xác tổng thể lên tới 97,84% và chỉ số Macro F1-score 0,9384 trên 30 họ mã độc phổ biến nhất. Nghiên cứu không chỉ nâng cao khả năng định danh chính xác mã độc mà còn cung cấp cơ sở để giải thích các quyết định phân loại thông qua logic mờ, hỗ trợ đắc lực cho công tác giám sát an ninh mạng thực tế. Abstract: This thesis focuses on researching and developing an automated multi-class malware detection and classification system on the Windows operating system by combining Fuzzy logic with advanced deep learning architectures. The research utilizes the standard EMBER 2024 dataset with over 3.2 million PE (Portable Executable) file samples, focusing on addressing the challenges of uncertainty and extreme data imbalance among malware families. The approach involves a rigorous preprocessing pipeline: extracting 136 core static features, applying data balancing techniques including Downsampling, SMOTE, and Tomek Links, and integrating learnable fuzzification layers into neural networks. The study experimented with and compared 10 different deep learning architectures, including specialized models for tabular data such as Transformer, LightGBM, TabMamba, and SAINT. Experimental results show that the hybrid MLP model combined with an improved Fuzzy Learnable layer achieves outstanding performance. Specifically, the Stacking Ensemble learning technique with a Meta-learning mechanism helped optimize the strengths of the base architectures, achieving an overall accuracy of up to 97.84% and a Macro F1-score of 0.9384 across the 30 most common malware families. The research not only enhances the capability of accurate malware identification but also provides a foundation for explaining classification decisions through fuzzy logic, strongly supporting practical cybersecurity monitoring efforts.