XÂY DỰNG MÔ HÌNH HỌC MÁY CHO PHÁT HIỆN HÀNH VI WEB SHELL TRÊN MÁY CHỦ WEB DỰA TRÊN PHÂN TÍCH DỮ LIỆU ĐO LƯỜNG ĐIỂM CUỐI

Abstract

Trong những năm gần đây, các cuộc tấn công vào máy chủ Web ngày càng gia tăng, trong đó Web Shell là một trong những kỹ thuật phổ biến được sử dụng để duy trìquyền truy cập trái phép và thực hiện nhiều hành vi nguy hiểm sau khi xâm nhập hệthống. Tuy nhiên, các phương pháp truyền thống chỉ dựa vào chữ ký số hoặc là phân tích mã nguồn còn gặp nhiều hạn chế trước các biến thể Web Shell mới và các kỹ thuật né tránh khác. Xuất phát từ thực trạng đó, luận văn nghiên cứu xây dựng mô hình học máy nhằm phát hiện hành vi Web Shell trên máy chủ Web thông qua phân tích dữ liệu đo lường điểm cuối (EDR Telemetry). Đề tài sử dụng dữ liệu từ ba nguồn gồm OTRF Security Datasets (Mordor), Splunk Attack Data và dữ liệu mô phỏng trên máy chủ IIS kết hợp với Sysmon. Dữ liệu sau khi thu thập được kỹ nghệ đặc trưng, tiền xử lý và tổ chức thành hai dạng biểu diễn là cấp độ sự kiện (Event) và cấp độ phân đoạn (Segment) để phục vụ quá trình huấn luyện và đánh giá các mô hình học máy. Luận văn đánh giá hai nhóm mô hình gồm mô hình phân loại với Random Forest, XGBoost, LightGBM, Decision Tree và mô hình phát hiện bất thường với Isolation Forest, One-Class SVM, Local Outlier Factor (LOF), KNN và ECOD. Kết quả thực nghiệm cho thấy dữ liệu ở cấp độ phân đoạn giúp nâng cao đáng kể hiệu quả phát hiện so với dữ liệu ở cấp độ sự kiện. Trên dữ liệu thực tế, các mô hình Random Forest, LightGBM và Decision Tree đạt F1-score 93,33% đối với bài toán phân loại, trong khi One-Class SVM đạt F1-score 84,21% đối với bài toán phát hiện bất thường. Bên cạnh đó, kết quả thực nghiệm trên bộ dữ liệu thực tế kết hợp với mô phỏng cũng cho thấy các mô hình học máy có khả năng nhận diện tốt các hành vi Web Shell trong phạm vi các kịch bản được xây dựng. In recent years, attacks targeting web servers have increased significantly, with Web Shells being one of the common techniques used to maintain unauthorized access and perform various malicious activities after system compromise. However, traditional methods that rely solely on signatures or source code analysis still face limitations in detecting new Web Shell variants and evasion techniques. In response to this issue, this thesis investigates the development of a machine learning model for detecting Web Shell behavior on web servers through the analysis of Endpoint Detection and Response (EDR) telemetry. The study utilizes data from three sources, including OTRF Security Datasets (Mordor), Splunk Attack Data, and simulated data collected from an IIS web server integrated with Sysmon. The collected data are subjected to feature engineering and preprocessing and are organized into two levels of representation, namely eventlevel and segment-level, to support the training and evaluation of machine learning models. The thesis evaluates two groups of models: classification models, including Random Forest, XGBoost, LightGBM, and Decision Tree, and anomaly detection models, including Isolation Forest, One-Class SVM, Local Outlier Factor (LOF), KNN, and ECOD. The experimental results show that segment-level data significantly improve detection performance compared with event-level data. On the real-world dataset, the Random Forest, LightGBM, and Decision Tree models achieve an F1-score of 93.33% for the classification task, while One-Class SVM achieves an F1-score of 84.21% for the anomaly detection task. In addition, experiments conducted on the combined real-world and simulated dataset demonstrate that the machine learning models are capable of effectively identifying Web Shell behaviors within the defined