NGHIÊN CỨU MÔ HÌNH HỌC SÂU GỌN NHẸ CHO HỆ THỐNG PHÁT HIỆN XÂM NHẬP TẠI BIÊN TRONG MẠNG IOT – PHÂN HỆ 2

Abstract

Bối cảnh và vấn đề đặt ra: Sự phát triển bùng nổ của các thiết bị IoT đã làm gia tăng đáng kể các nguy cơ tấn công mạng, đặc biệt khi các thiết bị biên thường có tài nguyên tính toán hạn chế và thiếu các biện pháp bảo mật chuyên sâu. Các mô hình học sâu hiệu năng cao khó có thể triển khai trực tiếp trên những nền tảng này do yêu cầu lớn về bộ nhớ, CPU và năng lượng. Chưng cất tri thức (Knowledge Distillation) nổi lên như một hướng giải quyết tiềm năng, cho phép tạo ra các mô hình học sinh nhẹ hơn nhưng vẫn giữ được khả năng phân loại tốt. Tuy nhiên, các đánh giá thực nghiệm trên dữ liệu bảng (tabular) và trên thiết bị vật lý thực còn rất hạn chế, đặt ra nhu cầu cần một nghiên cứu toàn diện trong bối cảnh bài toán phát hiện xâm nhập IoT. Phương pháp đề xuất: Luận văn xây dựng và huấn luyện các mô hình giáo viên đa dạng về kiến trúc, bao gồm CNN, DNN, SSL-CL-DNN, XGBoost và LSTM, trên tập dữ liệu CICIoT2023 (được tổ chức lại thành bài toán phân loại đa lớp 8 nhãn nhóm), kết hợp tối ưu siêu tham số bằng Optuna. Bốn kỹ thuật chưng cất tri thức cốt lõi KD theo Hinton, RAID-KL, FitNets cùng biến thể đa giáo viên (AW-MTKD, CW-MTKD) được triển khai để chưng cất tri thức sang các mô hình học sinh có kiến trúc thu gọn. Không chỉ đánh giá hiệu quả phân loại trên dữ liệu bảng, luận văn còn đo lường hiệu suất suy luận thực tế (throughput, độ trễ, mức sử dụng CPU và RAM) khi triển khai các mô hình học sinh trên thiết bị Raspberry Pi 4B với luồng dữ liệu PCAP thực từ CICIoT2023. Kết quả đạt được: Các mô hình học sinh sau khi chưng cất đạt độ chính xác và chỉ số Macro-F1 tiệm cận mô hình giáo viên, trong khi giảm đáng kể kích thước mô hình và thời gian suy luận. Trên thiết bị Raspberry Pi, các mô hình nhẹ cho thấy throughput cao hơn, độ trễ thấp hơn và mức tiêu thụ tài nguyên (CPU/RAM) giảm rõ rệt so với giáo viên. Kết quả so sánh giữa các phương pháp cũng chỉ ra rằng việc sử dụng đa giáo viên mang lại cải thiện nhất định về độ bền vững của mô hình học sinh, nhưng hiệu quả còn phụ thuộc vào đặc trưng của từng kiến trúc giáo viên. Kết luận: Nghiên cứu khẳng định tính khả thi của chưng cất tri thức trong việc xây dựng các bộ phát hiện xâm nhập nhẹ, hiệu quả cho thiết bị IoT biên. Luận văn cung cấp một bức tranh đánh giá đa chiều, đồng thời đưa ra các khuyến nghị cụ thể về lựa chọn kỹ thuật chưng cất phù hợp với ràng buộc tài nguyên và yêu cầu hiệu năng. Những đóng góp thực nghiệm trên thiết bị thật góp phần tạo nên một benchmark hữu ích, hỗ trợ định hướng phát triển các hệ thống IDS an toàn, nhẹ và có thể triển khai rộng rãi trong thực tế. ABSTRACT Background and problem statement: The exponential growth of IoT devices has significantly increased cybersecurity threats, especially as edge devices are typically resource-constrained and lack deep security mechanisms. High-performance deep learning models are difficult to deploy directly on such platforms due to heavy memory, CPU, and energy requirements. Knowledge distillation (KD) has emerged as a promising solution to create lightweight student models that retain good classification capability. However, comprehensive empirical evaluations on tabular data and on physical hardware remain scarce, highlighting the need for an in-depth study in the context of IoT intrusion detection. Proposed methodology: This thesis builds and trains diverse teacher models, including CNN, DNN, SSL-CL-DNN, XGBoost, and LSTM, on the CICIoT2023 dataset (reorganized into an 8-class multi-classification task), with hyperparameters optimized via Optuna. Four core KD techniques KD, RAID-KL, FitNets and multi-teacher variants (AW-MTKD, CW-MTKD) are applied to distill knowledge into difference students. Beyond classification performance evaluation on tabular data, the study measures real-world inference efficiency (throughput, latency, CPU and RAM usage) by deploying the student models on a Raspberry Pi 4B device processing actual PCAP traffic from CICIoT2023. Achieved results: The distilled student models achieve accuracy and Macro-F1 scores close to their teachers while significantly reducing model size and inference time. On the Raspberry Pi, lightweight students exhibit higher throughput, lower latency, and substantially reduced resource consumption compared to teachers, with notable advantages for FitNets and RAID-KL. Comparisons also reveal that multi-teacher distillation offers improved robustness but its effectiveness depends on the teacher architectures involved. Conclusion: The study confirms the feasibility of knowledge distillation for building lightweight and efficient intrusion detection systems suitable for IoT edge devices. It provides a multi-faceted evaluation and offers practical recommendations for selecting appropriate distillation techniques based on resource constraints and performance needs. The experimental benchmarks on real hardware contribute a useful reference for developing secure, lightweight, and deployable IDS solutions in practice.