PHÂN TÍCH VÀ ĐÁNH GIÁ HIỆU SUẤT CỦAMỘT SỐ BỘ LỌC HIỆU QUẢ CHO DỮ LIỆU LỚN

Abstract

Ngày nay, việc dữ liệu bùng nổ theo cấp số nhân, các cấu trúc dữ liệu truyền thống đã không còn hiệu quả trong việc lưu trữ và xử lý dữ liệu. Trong thực tế, bài toán tìm kiếm dữ liệu nằm trong một tập dữ liệu rất là phổ biến. Đối với các cấu trúc truyền thống xử lý bài toán này bằng các tìm kiếm và so sánh tuần tự các dữ liệu với nhau. Tuy nhiên, việc đó đối với các tập dữ liệu nhỏ còn có hiệu quả nhưng khi gặp các tập dữ liệu lớn hàng triệu, hàng trăm triệu dữ liệu thì việc xử lý này cần tốn quá nhiều thời gianvà bộ nhớ để lưu trữ. Do đó, các cấu trúc bộ lọc xác xuất ra đời nhằm đáp ứng việc xử lý dữ liệu trên dữ liệu lớn với một xác xuất sai số cho phép. Bộ lọc xác suất rất hữu ích để thực hiện kiểm tra trước nhằm hạn chế các hoạt động tốn kém như tra cứu cơ sở dữ liệu, truy xuất tài nguyên hệ thống, giảm lượng dữ liệu dư thừa trong các phép toán join là phép toán tiêu tốn nhiều chi phí tốn kém về tài nguyên, thời gian thực hiện trong dữ liệu lớn,… Tuy nhiên, mỗi bộ lọc xác suất lại có những ưu điểm và hạn chế riêng, tùy vào yêu cầu của ứng dụng thực tế mà lựa chọn bộ lọc thích hợp. Chính vì thế, việc nghiên cứu về các bộ lọc xác suất có ý nghĩa quan trọng.