HỆ THỐNG PHÁT HIỆN VÀ NGĂN CHẶN RANSOMEWARE BẰNG MÔ HÌNH MÁY HỌC

Abstract

Luận văn này trình bày việc nghiên cứu và xây dựng một hệ thống AntiRansomware hoạt động trên nền tảng Windows nhằm phát hiện và ngăn chặn mã độc tống tiền theo thời gian thực. Hệ thống kết hợp nhiều phương pháp phân tích, bao gồm phân tích tĩnh dựa trên chữ ký tệp (file signature) và entropy, cùng với phân tích động thông qua giám sát hành vi tiến trình sử dụng cơ chế Event Tracing for Windows (ETW) và cuối cùng là phân tích bằng máy học. Dữ liệu hành vi được thu thập trong môi trường máy ảo, sau đó được tiền xử lý và sử dụng để huấn luyện các mô hình học máy như Random Forest, XGBoost và SVM. Các mô hình được đánh giá dựa trên các chỉ số Accuracy, Precision, Recall và F1-score. Kết quả thực nghiệm cho thấy Random Forest và XGBoost đạt hiệu suất cao, vượt trội so với SVM trong việc phát hiện ransomware. Hệ thống được triển khai dưới dạng ứng dụng desktop, tích hợp mô hình đã huấn luyện thông qua ONNX để thực hiện suy luận trong thời gian thực. Kết quả cho thấy giải pháp đề xuất có khả năng phát hiện hiệu quả các hành vi mã hóa bất thường, góp phần nâng cao khả năng bảo vệ hệ thống trước các mối đe dọa ransomware. This thesis presents the research and development of an Anti-Ransomware system on the Windows platform designed to detect and prevent ransomware in real-time. The system integrates a multi-layered analysis approach, including static analysis based on file signatures and entropy, alongside dynamic analysis through process behavior monitoring using the Event Tracing for Windows (ETW) mechanism, and finally, machine learning-based analysis. Behavioral data was collected in a virtual machine environment, preprocessed, and utilized to train various machine learning models, including Random Forest, XGBoost, and SVM. These models were evaluated based on key metrics: Accuracy, Precision, Recall, and F1-score. Experimental results indicate that Random Forest and XGBoost achieved high performance, significantly outperforming SVM in ransomware detection. The system is deployed as a desktop application, integrating the trained models via ONNX for real-time inference. The results demonstrate that the proposed solution effectively detects abnormal encryption behaviors, contributing to enhanced system protection against evolving ransomware threats.