PHÂN TÍCH VÀ TRỰC QUAN HÓA DỮ LIỆU LỚN PHÂN HỆ 2: XÂY DỰNG HỆ THỐNG VỚI SỰ KẾT HỢP KAFKA, LOGSTASH, DRUID VÀ SUPERSET

Abstract

Hiện nay công nghệ thông tin đang phát triển mạnh mẽ và đóng vai trò quan trọng trong cuộc sống hàng ngày của chúng ta, điều này giúp mọi người kết nối với nhau một cách dễ dàng và tiện lợi. Do đó, các vấn đề liên quan đến thực hiện phân tích dữ và trực quan hóa là chuyển đổi dữ liệu số hoặc thông tin phức tạp thành hình ảnh, biểu đồ, hoặc các hình thức hình ảnh khác giúp chúng ta gần gủi hơn với các dữ liệu số và thông tin phức tạp. Phân tích và trực quan hóa dữ liệu là quá trình bao gồm thu thập, phân tích và trực quan hóa dữ liệu để giúp người xem hiểu thông tin một cách nhanh chóng và hiệu quả hơn .Vai trò của phân tích và trực quan hóa dữ liệu lớn không chỉ giới hạn trong lĩnh vực phân tích điểm số trong giáo dục, mà còn mở rộng ra nhiều ứng dụng khác nhau như phân tích tài chính, kinh doanh và tiếp thị. Do đó, các hệ thống phân tích và trực quan hóa dữ liệu đang trở nên ngày càng phổ biến và được sử dụng rộng rãi để đáp ứng nhu cầu ngày càng tăng. Đối với việc phân tích và trực quan hóa dữ liệu, việc thu thập dữ liệu là một khía cạnh quan trọng . Nó cho phép chúng ta theo dõi được dữ liệu thay đổi theo thời gian, hỗ trợ trong việc phân tích và trực quan hóa dữ liệu ra đúng với thực tế để theo dỗi hiệu sức học tập trong giáo dục. Đề tài “Phân tích và trực quan hóa dữ liệu lớn, phân hệ 2: xây dựng hệ thống với sự kết hợp kafka, druid và superset” tập trung vào nghiên cứu về thu thập điểm chưa đạt của sinh viên trong các học kỳ. Hệ thống tích hợp Apache Kafka sử dụng ngôn ngữ Python thu thập dữ liệu, Apache Druid, kết hợp với Apache Superset. Phân tích và trực quan hóa dữ liệu có khả năng thu thập, phân tích cung cấp khả năng tương tác, truy vấn, và lọc dữ liệu giúp người dùng tìm kiếm thông tin cụ thể và trực quan hóa giúp truyền đạt thông điệp một cách mạch lạc và thuyết phục. Hy vọng với những tính năng mà hệ thống mang lại sẽ đáp ứng tốt các nhu cầu về tương tác nhanh chóng và công cụ tìm kiếm thông minh để giúp người dùng dễ dàng xác định thông tin hỗ trợ nhiều loại biểu đồ và trực quan hóa khác nhau như biểu đồ đường, biểu đồ cột, bản đồ, và các biểu đồ thống kê phức tạp hơn.