HỆ THỐNG GIÁM SÁT SỰ THAY ĐỔI DỮ LIỆU HÌNH ẢNH THEO THỜI GIAN THỰC

Abstract

Ngày nay, các thiết bị chụp ảnh ngày càng trở nên phổ biến hơn, mọi người dễ dàng chụp ảnh, ghi lại khoảnh khắc vui vẻ trong cuộc sống. Các hình ảnh này thường được tải lên các lưu trữ trực tuyến để có khả năng đồng bộ, phục hồi dữ liệu. Tất cả các hình ảnh sau khi tải lên sẽ được lưu trữ vào cơ sở dữ liệu, cần phát hiện những hình ảnh bất thường hoặc các hình ảnh có thông số đặt biệt. Việc giám sát sự thay đổi này là đều cần thiết trong việc quản lý cơ sở dữ liệu và sử dụng Change Stream để ghi nhận lại tất cả các thay đổi đó. Mặc dù bắt được các thay đổi cơ sở dữ liệu, nó vẫn yêu cầu dịch vụ để truyền các thông báo thay đổi đó đến các hệ thống đích. Apache Kafka là cách lý tưởng để cung cấp giao tiếp giữa cơ sở dữ liệu và hệ thống đích. Apache Kafka cho phép xử lý các thay đổi của dữ liệu theo thời gian thực, đây là công nghệ dễ dàng nhưng mạnh mẽ để xử lý dữ liệu được lưu trữ trong Kafka. Nó được xây dựng dựa việc xử lý luồng, quản lý hiệu quả trạng các thay đổi cơ sở dữ liệu, tổng hợp và kết hợp nhanh chóng. Trong đề tài “Hệ thống giám sát sự thay đổi dữ liệu hình ảnh theo thời gian thực”, tôi sử dụng MongoDB Change Stream để thực hiện quá trình giám sát dữ liệu theo thời gian thực, kết hợp với Apache Kafka để lưu trữ, xử lý các sự kiện thay đổi đó và cuối cùng là đưa dữ liệu vào Elasticsearch để lập chỉ mục, tìm kiếm nhanh hơn.