XÂY DỰNG HỆ THỐNG XỬ LÝ DỮ LIỆU SỰ KIỆN PHỤC VỤ PHÂN TÍCH TƯƠNG TÁC NGƯỜI DÙNG TRÊN HỆ THỐNG QUẢN LÝ HỌC TẬP (LMS)

Abstract

Đề tài tập trung xây dựng hệ thống xử lý dữ liệu sự kiện (event-driven data pipeline) nhằm phân tích tương tác học tập từ nền tảng LMS (Moodle) và dữ liệu giao dịch từ Stripe. Hệ thống sử dụng Kafka để thu thập và truyền tải dữ liệu sự kiện với khả năng mở rộng cao, kết hợp Apache Spark và Airflow để xử lý dữ liệu theo cả mô hình streaming và batching, đảm bảo phân tích thời gian thực lẫn theo lô. Redis và Grafana được tích hợp để giám sát, cache và trực quan hóa các chỉ số học tập quan trọng. Dữ liệu được lưu trữ tập trung trên Google Cloud Storage và BigQuery, đồng thời áp dụng dbt và Cloud Run để chuẩn hóa và tối ưu hóa quy trình ETL. Hệ thống hướng đến việc cung cấp nền tảng dữ liệu tin cậy, dễ tích hợp với các công cụ BI như Looker, từ đó hỗ trợ doanh nghiệp ra quyết định chiến lược trong đào tạo và quản lý học tập.