CÂN BẰNG TẢI THÍCH NGHI ĐA TIÊU CHÍ DỰA TRÊN ĐỘ TRỄ THỜI GIAN THỰC CHO KIẾN TRÚC MICROSERVICES: THIẾT KẾ VÀ ĐÁNH GIÁ TRÊN SPRING CLOUD GATEWAY VÀ KONG API GATEWAY

Abstract

Sự phát triển mạnh mẽ của kiến trúc Microservices [1] trong những năm gần đây đã đặt ra yêu cầu ngày càng cao đối với các hệ thống phân tán. Tuy nhiên, một thách thức phổ biến mà các cụm máy chủ thường gặp phải là sự không đồng nhất về năng lực xử lý [2], dẫn đến hiện tượng độ trễ đuôi [3] nghiêm trọng khi tải tăng cao. Các thuật toán định tuyến tĩnh truyền thống thường không nhận diện được trạng thái này, gây ra tình trạng nút thắt cổ chai hoặc dao động trạng thái cục bộ. Luận văn này nghiên cứu và thiết kế một cơ chế cân bằng tải thích nghi [4] nhằm giải quyết bài toán phân phối lưu lượng cho kiến trúc Microservices. Ý tưởng cốt lõi của giải pháp là sử dụng phương pháp ra quyết định đa tiêu chí [5], cụ thể là sự kết hợp giữa Tiến trình phân tích phân cấp làm trọng số nền tĩnh và phương pháp Entropy để tinh chỉnh động, nhằm đánh giá điểm số đánh giá trạng thái của instance; đồng thời tích hợp bộ điều khiển vi tích phân để tính toán hàm phạt phi tuyến nhằm phản ứng kịp thời và cô lập các node xảy ra suy thoái hiệu năng. Bên cạnh đó, kỹ thuật sức mạnh của hai sự lựa chọn [6] nhằm ngăn chặn hiệu ứng bầy đàn mỗi khi hệ thống có sự chênh lệch tải. Hệ thống cũng áp dụng hàm mũ trung bình trượt hàm số mũ [7] để lọc nhiễu tín hiệu thời gian thực. Quá trình kiểm thử và đánh giá được thực hiện qua các kịch bản mô phỏng tăng tải theo bậc, trong đó hệ thống tự động điều chỉnh phân phối lưu lượng dựa trên hiệu năng thực tế. Kết quả được biểu diễn bằng các biểu đồ trực quan cho thấy cơ chế đề xuất có khả năng giảm thiểu đáng kể độ trễ phân vị và duy trì tính ổn định liên tục của hệ thống. Bên cạnh đó, phương pháp nghiên cứu cắt bỏ cũng được thực hiện để kiểm chứng độc lập mức độ hiệu quả của từng thành phần thuật toán. Ngoài ra, nghiên cứu cũng mở rộng triển khai nguyên mẫu Spring Cloud Gateway và đánh giá đối chứng giải pháp trên nền tảng Kong API Gateway. Kết quả thực nghiệm đã chứng minh tính khả thi và hiệu quả của giải pháp, tính độc lập nền tảng và khả năng chuyển đổi linh hoạt của thuật toán, cho thấy đây là một hướng tiếp cận phù hợp để triển khai tại các hệ thống đòi hỏi độ trễ thấp và khả năng đáp ứng tải linh hoạt. Từ khóa: Microservices, Không đồng nhất, Độ trễ đuôi, Cân bằng tải thích nghi, Ra quyết định đa tiêu chí, Tiến trình phân tích phân cấp, Phương pháp Entropy, Bộ điều khiển vi tích phân, Sức mạnh của hai sự lựa chọn, Hàm trung bình trượt hàm số mũ, Spring Cloud Gateway, Kong API Gateway. GVHD: TS. Hà Duy An SVTH: Trương Văn Quy B2204965 XIV. The rapid growth of microservices architecture in recent years has imposed increasing demands on distributed systems. However, a common challenge faced by server clusters is the heterogeneity in processing capacity, leading to severe tail latency under high load. Traditional static routing algorithms often fail to recognize this state, causing bottlenecks or local state oscillation. This thesis proposes and designs an Adaptive Load Balancing (ALB) mechanism to address the traffic distribution problem for microservices architecture. The core idea of the solution is to use Multi-Criteria Decision Making (MCDM), specifically combining the Analytic Hierarchy Process (AHP) as a static baseline and the Entropy Weight Method (EWM) for dynamic tuning, to evaluate instance health scores; while integrating a Proportional-Integral-Derivative (PID) controller to compute non-linear penalties for isolating degraded nodes under sudden overload. In addition, the Power of Two Choices (P2C) technique to prevent the herd effect whenever there is a load imbalance in the system. The system also applies Exponentially Weighted Moving Average (EWMA) to filter real-time signal noise. The testing and evaluation process was conducted through step-load simulation scenarios, in which the system dynamically adjusts traffic distribution based on actual performance. The results demonstrate that the proposed mechanism can significantly minimize percentile latency and maintain continuous system stability. In addition, an ablation study was conducted to independently verify the effectiveness of each algorithmic component. Furthermore, the study extends the prototype implementation of Spring Cloud Gateway and conducts a comparative evaluation of the proposed solution on the Kong API Gateway platform. The experimental results confirm the feasibility and effectiveness of the solution, demonstrating the platform independence and flexible portability of the algorithm, indicating that it is a suitable approach for deployment in systems requiring ultra-low latency and dynamic load responsiveness. Keywords: Microservices, Heterogeneity, Tail Latency, Adaptive Load Balancing, Multi-Criteria Decision Making, Analytic Hierarchy Process, Entropy Weight Method, Proportional-Integral-Derivative, Power of Two Choices, Exponentially Weighted Moving Average, Spring Cloud Gateway, Kong API Gateway.