CẢI TIẾN KHUNG HỌC TĂNG CƯỜNG SÂU DRMD VỚI PHẠT ÂM TÍNH GIẢ CHO PHÁT HIỆN MÃ ĐỘC ANDROID TRÊN BỘ DỮ LIỆU LAMDA

Abstract

Phát hiện mã độc Android theo thời gian chịu tác động của suy giảm khái niệm, trong khi hậu quả của việc bỏ lọt mã độc thường lớn hơn chi phí điều tra cảnh báo nhầm. Luận văn đánh giá khung học tăng cường sâu cho phát hiện mã độc (Deep Reinforcement Learning for Malware Detection - DRMD) trên dòng dữ liệu LAMDA dài hạn, có quy mô lớp và mật độ mẫu biến đổi mạnh theo tháng. Nghiên cứu tập trung vào ba điểm: phản hồi bị gián đoạn trong IRAL, mức phạt âm tính giả phản ứng chậm với dịch chuyển chưa gán nhãn và thành phần bộ nhớ chưa điều phối theo rủi ro lỗi quan sát được. Dữ liệu gồm 1.008.381 ứng dụng với 4.561 đặc trưng tĩnh. Giao thức bảo toàn trình tự thời gian sử dụng cửa sổ huấn luyện 12 tháng, 110 chu kỳ có quan sát và phản hồi trễ một chu kỳ; nhãn của chu kỳ hiện tại chỉ được dùng từ chu kỳ kế tiếp. Ma trận báo cáo gồm thực nghiệm theo sáu phương pháp, mỗi phương pháp được lặp trên mười hạt giống ghép cặp: MLP tĩnh, DRMD với IRAL, DRMD với IRAAL có ngân sách, DRMD-FN, DRMD-FN–BHR và mốc phản hồi đầy đủ FFCR. DRMD-FN hợp nhất kênh nhãn dựa trên mẫu kiểm toán, hậu nghiệm Jeffreys, hệ số phạt được cập nhật theo lược đồ Robbins–Monro với bước học giảm dần và bị chặn trong đoạn [1,3] sau mỗi bước, nhằm giữ ổn định chính sách với cổng suy giảm không nhãn. DRMDFN–BHR dùng cùng bộ điều khiển phạt theo nhãn, đồng thời thay hạn ngạch phát lại cố định bằng phân bổ thích nghi theo rủi ro FN/FP và mức độ đầy đủ của bằng chứng kiểm toán. MLP tĩnh đạt F1 trung bình theo thời gian 35,80%. DRMD với IRAL đạt 30,87% và chỉ nhận phản hồi ở 6,55% số chu kỳ. IRAAL duy trì phản hồi trong toàn bộ chu kỳ, nâng F1 lên 60,94% và giảm FNR từ 75,70% xuống 45,81%. DRMD-FN đạt F1 61,36±1,84% và FNR 45,10±2,35%. DRMD-FN–BHR đạt F1 61,78±1,70%, FNR 44,51±2,00% và FPR 3,75±0,45%. So với DRMD-FN, chiến lược BHR tăng 0,43 điểm F1, giảm 0,59 điểm FNR và giảm 0,08 điểm FPR; chiều cải thiện xuất hiện ở 7/10 hạt giống đối với F1 và 8/10 hạt giống đối với FNR, nhưng mức biến thiên còn đủ lớn để không xem đây là ưu thế bảo đảm trong mọi lần chạy. DRMD-FN–BHR phát hiện trung bình 233.794 trong 301.735 mã độc của dòng kiểm thử (77,48%) với 3,50 lượt thẩm định trên 1.000 APK. So với DRMD-FN, phương pháp phát hiện thêm 2.455 mã độc, giảm 171 cảnh báo nhầm và 55 lượt thẩm định; tám trong mười hạt giống tăng số TP. Độ lệch chuẩn giữa hạt giống của F1, FNR và FPR trung bình theo thời gian lần lượt giảm 7,3%, 15,0% và 30,7%. Do độ bất định ghép cặp còn rộng, kết quả cho thấy xu hướng vận hành thuận lợi, không chứng minh ưu thế phổ quát. Long-term Android malware detection is affected by concept drift, while missing malware is generally more costly than investigating a false alarm. This thesis evaluates Deep Reinforcement Learning for Malware Detection (DRMD) on the long-term, strongly imbalanced-by-period LAMDA stream. It addresses interrupted IRAL feedback, the delayed response of a label-only false-negative controller, and a replay memory whose composition is not adjusted to observed FN/FP risk. The data comprise 1,008,381 applications with 4,561 static features. The causal protocol uses a 12-month training window, 110 observed periods, and one-period-delayed feedback. The reporting matrix contains six methods over ten paired seeds: Static-MLP, DRMD with IRAL, budgeted IRAAL, DRMD-FN, DRMD-FN–BHR, and the fullfeedback causal reference (FFCR). DRMD-FN updates the false-negative penalty with a Robbins–Monro rule under a box constraint 𝜆𝑡∈[1,3], driven by a label-based audit estimate (Jeffreys posterior), and combines it with an unlabeled drift gate. DRMDFN–BHR keeps the same label-based controller and replaces fixed replay quotas with an audit-risk allocation constrained by class-support evidence and memory capacity. Static-MLP obtains 35.80% time-averaged F1. DRMD with IRAL obtains 30.87% and receives feedback in only 6.55% of periods. IRAAL preserves feedback in every period, raises F1 to 60.94%, and reduces FNR from 75.70% to 45.81%. DRMDFN obtains 61.36±1.84% F1 and 45.10±2.35% FNR. DRMD-FN–BHR obtains 61.78±1.70% F1, 44.51±2.00% FNR, and 3.75±0.45% FPR. Relative to DRMD-FN, it changes F1 by +0.43 points, FNR by −0.59 points, and FPR by −0.08 points. The favorable direction appears in 7/10 seeds for F1 and 8/10 seeds for FNR, while remaining run-to-run variation precludes a claim of guaranteed superiority. DRMDFN–BHR detects 233,794 of 301,735 test-stream malware samples (77.48%) with 3.50 expert reviews per 1,000 APKs. Relative to DRMD-FN, it detects 2,455 more malware samples, produces 171 fewer false alarms, and requires 55 fewer reviews; eight of ten seeds increase TP. Between-seed standard deviations of time-averaged F1, FNR, and FPR decrease by 7.3%, 15.0%, and 30.7%. Because paired uncertainty remains broad, the result indicates a favorable operational tendency rather than universal statistical superiority.