NGHIÊN CỨU MÔ HÌNH HỌC SÂU GỌN NHẸ CHO HỆ THỐNG PHÁT HIỆN XÂM NHẬP TẠI BIÊN TRONG MẠNG IOT – PHÂN HỆ 1

Abstract

Trong bối cảnh số lượng thiết bị IoT tăng trưởng không ngừng, bề mặt tấn công của các hệ thống mạng ngày càng mở rộng, trong khi phần lớn thiết bị ở biên lại rất hạn chế về tài nguyên tính toán, bộ nhớ và năng lượng. Các mô hình học sâu phát hiện xâm nhập có độ chính xác cao thường có dung lượng lớn và tốn nhiều tài nguyên, nên khó triển khai trực tiếp lên các thiết bị IoT biên. Chưng cất tri thức đang nổi lên như một hướng làm nhẹ mô hình đầy tiềm năng, nhưng vẫn còn thiếu các đánh giá thực nghiệm đa chiều trên dữ liệu dạng bảng và trên thiết bị vật lý thực. Xuất phát từ thực trạng đó, luận văn đặt mục tiêu khảo sát toàn diện khả năng của các kỹ thuật chưng cất tri thức trong việc tạo ra mô hình phát hiện xâm nhập nhẹ, có thể triển khai hiệu quả trên thiết bị IoT biên. Luận văn sử dụng tập dữ liệu CICIoT2023, tổ chức lại thành bài toán phân loại đa lớp với 8 nhãn nhóm. Nghiên cứu xây dựng và huấn luyện các mô hình giáo viên đa dạng về kiến trúc gồm CNN-1D, DNN, SSL-CL-DNN, XGBoost và LSTM, đều có tối ưu siêu tham số bằng Optuna để làm cơ sở tri thức cho quá trình chưng cất. Trên cơ sở đó, luận văn triển khai ba kỹ thuật chưng cất là KD truyền thống, RAID-KL sử dụng phân kỳ KL-JS (khảo sát cả nhiệt độ cố định và nhiệt độ thích ứng) và FitNets lên các mô hình học sinh có kiến trúc thu gọn tương ứng, …đồng thời khảo sát chưng cất đa giáo viên theo hai cơ chế AWMTKD và CW-MTKD, trong đó cơ chế CW-MTKD được chọn để thực nghiệm với học sinh là mạng MLP nhỏ. Hiệu quả phân loại được đánh giá qua accuracy, macro-F1, macroAUC, precision và recall, còn hiệu suất triển khai được đánh giá qua thông lượng, độ trễ, mức chiếm dụng CPU và RAM. Quá trình đánh giá thực hiện trên cả dữ liệu PCAP có nhãn và lưu lượng mạng tự thu thập, trong đó hiệu suất được đo trực tiếp trên thiết bị Raspberry Pi 4 B. Kết quả cho thấy chưng cất tri thức nén được các mô hình từ 92.0% đến 99.65% về số tham số mà chỉ mất từ 1.91 đến 5.58 điểm phần trăm macro-F1. Trong nhóm học sinh, kiến trúc SSL-CL-DNN chịu nén tốt nhất và đạt độ chính xác cao nhất, khoảng 85%, trong khi học sinh MLP chưng cất đa giáo viên CW-MTKD lại đạt macro-F1 cao nhất, khoảng 70%, đổi lại có độ chính xác tổng thể thấp nhất và kích thước nhỏ nhất. Đáng chú ý là lựa chọn kiến trúc và cặp giáo viên tác động đến hiệu quả phân loại mạnh hơn lựa chọn kỹ thuật chưng cất, và cơ chế nhiệt độ thích ứng của RAID-KL vượt nhiệt độ cố định một cách nhất quán trên cả ba kiến trúc. Khi suy luận trên lưu lượng mạng thực, độ chính xác giảm còn khoảng 68% đến 73% do khác biệt của bộ trích xuất đặc trưng và hiện tượng dịch chuyển phân phối, nhưng macro-AUC vẫn giữ ở mức cao khoảng 94% đến 95%, cho thấy năng lực xếp hạng xác suất của mô hình gần như được bảo toàn. Về hiệu suất triển khai trên Raspberry Pi 4 B, các mô hình học sinh đạt thông lượng khoảng 4.100 đến 4.170 gói tin mỗi giây với độ trễ khoảng 2,4 ms cho mỗi cửa sổ mười gói tin, chiếm khoảng 25% CPU và 105 MB RAM, trong khi các mô hình giáo viên chỉ đạt 1.500 đến 3.900 gói tin mỗi giây. Ở chế độ suy luận trực tuyến trên lưu lượng tự thu thập, quy trình vận hành liên viii tục và ổn định qua toàn bộ các kịch bản tấn công thử nghiệm với mức chiếm dụng khoảng 26% CPU và dưới 50 MB RAM, chứng minh tính khả thi của việc vận hành mô hình phát hiện xâm nhập ngay tại biên. Từ các kết quả trên, luận văn kết luận rằng chưng cất tri thức là một hướng tiếp cận khả thi để đưa mô hình phát hiện xâm nhập về kích thước phù hợp với thiết bị IoT biên. Không có mô hình nào tối ưu trên mọi tiêu chí, nên việc lựa chọn mô hình triển khai cần dựa vào mục tiêu ưu tiên cụ thể, chẳng hạn độ trễ thấp, độ chính xác tổng thể, hay khả năng phát hiện các lớp tấn công hiếm. Từ khóa: phát hiện xâm nhập, IoT, điện toán biên, chưng cất tri thức, mô hình học sâu gọn nhẹ, CICIoT2023, Raspberry Pi 4. As the number of IoT devices keeps growing, the attack surface of network systems keeps expanding, while most edge devices remain very limited in computation, memory and energy. Deep learning intrusion detection models with high accuracy are usually large and resource-heavy, so they are hard to deploy directly on edge IoT devices. Knowledge distillation is emerging as a promising direction for making models lighter, but there is still a lack of multi-faceted empirical evaluation on tabular data and on real physical devices. Motivated by this situation, the thesis aims to comprehensively investigate how well knowledge distillation techniques can produce lightweight intrusion detection models that can be effectively deployed on edge IoT devices. The thesis uses the CICIoT2023 dataset, reorganized into a multi-class problem with 8 grouped labels. Several teacher models with diverse architectures are built and trained, namely CNN-1D, DNN, SSL-CL-DNN, XGBoost and LSTM, all tuned with Optuna to serve as the knowledge base for distillation. On this basis, three distillation techniques are applied to the correspondingly compact students, namely vanilla KD, RAID-KL with the KL-JS divergence (studied under both fixed and adaptive temperature) and FitNets, together with multi-teacher distillation, in which the AW-MTKD and CW-MTKD schemes are surveyed and CW-MTKD is selected for experimentation with a small MLP student. Classification quality is evaluated by accuracy, macro-F1, macro-AUC, precision, and recall, while deployment efficiency is evaluated by throughput, latency, and CPU and RAM usage. The evaluation is carried out on both labeled PCAP data and self-collected traffic, with the efficiency measured directly on a Raspberry Pi 4 B device. The results show that knowledge distillation compresses the models by 92.0% to 99.65% in the number of parameters while losing only 1.91 to 5.58 percentage points of macro-F1. Among the students, the SSL-CL-DNN architecture withstands compression best and reaches the highest accuracy, about 85%, whereas the CW-MTKD multi-teacher MLP student reaches the highest macro-F1, about 70%, in exchange for the lowest overall accuracy and the smallest size. Notably, the choice of architecture and teacher pair affects classification quality more strongly than the choice of distillation technique, and RAIDKL with adaptive temperature consistently outperforms the fixed temperature across all three architectures. On real network traffic, accuracy drops to about 68% to 73% due to the feature-extractor discrepancy and distribution shift, yet macro-AUC stays high at about 94% to 95%, showing that the ranking capability of the models is largely preserved. On the Raspberry Pi 4 B, the student models reach a throughput of about 4,100 to 4,170 packets per second with a latency of about 2.4 ms per ten-packet window, while using about 25% CPU and 105 MB of RAM; the teacher models reach only 1,500 to 3,900 packets per second. In the online inference mode on self-collected traffic, the pipeline runs continuously and stably through all tested attack scenarios while using about 26% CPU x and under 50 MB of RAM, demonstrating the feasibility of running intrusion detection right at the edge. From these results, the thesis concludes that knowledge distillation is a feasible approach for bringing intrusion detection models down to a size suitable for edge IoT devices. No single model is optimal on every criterion, so the deployed model should be chosen according to the specific priority, such as low latency, overall accuracy, or the ability to detect rare attack classes. Keywords: intrusion detection, IoT, edge computing, knowledge distillation, lightweight deep learning, CICIoT2023, Raspberry Pi 4.