HỆ THỐNG PHÁT HIỆN NGĂN CHẶN PHẦN MỀM TROJAN TRUY CẬP TỪ XA – PHÂN HỆ: XÂY DỰNG VÀ HUẤN LUYỆN MÔ HÌNH MÁY HỌC

Abstract

Đề tài tập trung xây dựng và huấn luyện mô hình học máy phát hiện Trojan truy cập từ xa (Remote Access Trojan – RAT), một loại mã độc nguy hiểm có khả năng chiếm quyền điều khiển hệ thống từ xa, sử dụng kỹ thuật mã hóa và fileless để né tránh các hệ thống phát hiện dựa trên chữ ký truyền thống. Thực trạng an ninh mạng hiện nay cho thấy RAT đang trở thành mối đe dọa phổ biến trên toàn cầu. Tại Việt Nam, thiệt hại do virus máy tính gây ra lên tới hàng chục nghìn tỷ đồng, với hàng trăm nghìn máy tính bị tấn công. Trên thế giới, các dòng RAT như Agent Tesla, VenomRAT liên tục nằm trong top mã độc nguy hiểm nhất, gây thiệt hại hàng nghìn tỷ USD mỗi năm. Do đó, ứng dụng máy học để phát hiện RAT dựa trên phân tích hành vi lưu lượng mạng là hướng tiếp cận cấp thiết. Đối tượng nghiên cứu là bộ dữ liệu công khai “Trojan Detection” trên Kaggle, do Viện An ninh mạng Canada xây dựng, gồm 177.482 bản ghi với 85 thuộc tính hành vi, được gắn nhãn nhị phân (Trojan/Benign). Phạm vi nghiên cứu là bài toán phân loại nhị phân dựa trên phân tích hành vi và metadata lưu lượng mạng, không giải mã nội dung. Phương pháp nghiên cứu gồm: làm sạch dữ liệu, loại bỏ thuộc tính không phân biệt, mã hóa nhãn, chuẩn hóa, chia tập huấn luyện. Các thuật toán áp dụng gồm Logistic Regression, Decision Tree, Random Forest, XGBoost, MLP và Stacking. Tối ưu tham số bằng Optuna kết hợp với Stratified K-Fold Cross-Validation. Toàn bộ thực nghiệm trên môi trường Python với các thư viện chuyên dụng. This research focuses on building and training machine learning models to detect Remote Access Trojans (RATs), a dangerous type of malware capable of remotely controlling infected systems. RATs often employ encryption and fileless techniques to evade traditional signature-based detection systems. Current cybersecurity reports indicate that RATs are becoming a prevalent global threat. In Vietnam, annual damages caused by computer viruses amount to tens of thousands of billions of VND, with hundreds of thousands of computers attacked. Worldwide, RAT families such as Agent Tesla and VenomRAT consistently rank among the most dangerous malware, causing hundreds of billions of USD in damages each year. Therefore, applying machine learning to detect RATs through network traffic behavior analysis is an urgent and necessary approach. The research object is the public “Trojan Detection” dataset on Kaggle, constructed by the Canadian Institute for Cybersecurity, comprising 177,482 records with 85 behavioral features, binary-labeled (Trojan/Benign). The research scope is limited to binary classification based on behavioral analysis and metadata of network traffic, without decrypting packet contents. The research methodology includes: data cleaning, removal of non-discriminative attributes, label encoding, normalization, and stratified train/test splitting. Applied algorithms include Logistic Regression, Decision Tree, Random Forest, XGBoost, MLP, and Stacking. Hyperparameter optimization is performed using Optuna combined with Stratified K-Fold Cross-Validation. All experiments are conducted in a Python environment with specialized libraries.