PHÁT TRIỂN ỨNG DỤNG DI ĐỘNG NHẬN DẠNG TRÁI CÂY ĐẶC SẢN ĐỒNG BẰNG SÔNG CỬU LONG BẰNG HỌC KẾT HỢP

Abstract

Phân loại trái cây là một thành phần quan trọng trong các hệ thống nông nghiệp hiện đại, hỗ trợ từ việc ước tính năng suất đến thu hoạch tự động. Tuy nhiên, hình ảnh nông nghiệp thường được chụp trong môi trường không kiểm soát, chịu ảnh hưởng bởi ánh sáng biến đổi, vật cản và sự đa dạng lớn giữa các giai đoạn tăng trưởng, gây khó khăn cho việc triển khai thực tế. Đề tài luận văn này tập trung nghiên cứu và xây dựng hệ thống phân loại trái cây khu vực Đồng bằng sông Cửu Long dựa trên kỹ thuật học sâu tiên tiến, kết hợp giữa cơ chế Attention và chiến lược Ensemble. Nghiên cứu sử dụng tập dữ liệu gồm 29.974 hình ảnh thuộc 30 loại trái cây phổ biến. Hai kiến trúc mạng nơ-ron tích chập hiện đại là EfficientNet-B3 và ResNet50 được lựa chọn làm mô hình cơ sở. Để tối ưu hóa khả năng trích xuất đặc trưng, cơ chế Attention CBAM được tích hợp tại các vị trí khác nhau trong mạng để đánh giá tác động đối với các đặc trưng về màu sắc, kết cấu và hình dạng trái cây. Đặc biệt, nghiên cứu áp dụng chiến lược Average Ensemble từ 6 mô hình đơn lẻ nhằm giảm thiểu sai số ngẫu nhiên và tăng cường độ ổn định. Kết quả thực nghiệm cho thấy, mặc dù module Attention đơn lẻ có những đóng góp nhất định tùy vị trí tích hợp, nhưng mô hình Ensemble mang lại sự cải thiện vượt trội nhất. Đặc biệt trên nhóm các mẫu dữ liệu khó nhận diện, mô hình Ensemble đã nâng cao độ chính xác từ 8,7% lên 34,1% cho lớp khó so với các mô hình đơn lẻ. Dựa trên kết quả nghiên cứu, một ứng dụng di động hoàn chỉnh đã được xây dựng. Ứng dụng sử dụng framework React Native cho giao diện người dùng, kết hợp với Backend FastAPI để xử lý các yêu cầu nhận diện theo thời gian thực và Firebase để quản lý người dùng cũng như lưu trữ lịch sử nhận diện. Hệ thống không chỉ cung cấp khả năng phân loại chính xác mà còn hỗ trợ tra cứu thông tin về nguồn gốc và giá trị dinh dưỡng của trái cây, chứng minh khả năng ứng dụng thực tiễn cao trong lĩnh vực nông nghiệp số. Từ khóa: Deep Learning, Phân loại trái cây, CBAM, Ensemble Learning, React Native, Đồng bằng sông Cửu Long. Fruit classification is a vital component of modern agricultural systems, supporting applications ranging from yield estimation to automated harvesting. However, agricultural imagery is typically captured in uncontrolled environments and is affected by variable illumination, complex backgrounds, occlusions, and significant intra-class variation across growth stages, which pose substantial challenges for practical deployment. This thesis focuses on the research and development of a fruit classification system for the Mekong Delta region, utilizing advanced Deep Learning techniques that combine Attention mechanisms and Ensemble strategies. The study employs a comprehensive dataset of 29,974 images covering 30 common fruit categories. Two state-of-the-art Convolutional Neural Network (CNN) architectures, EfficientNet-B3 and ResNet50, were selected as baseline models. To optimize feature extraction, the Convolutional Block Attention Module (CBAM) was integrated at various network positions to evaluate its impact on trating color, texture, and shape features. Furthermore, an Average Ensemble strategy involving six individual models was implemented to minimize stochastic errors and enhance prediction stability. Experimental results indicate that while individual Attention modules provide specific benefits depending on their integration point, the Ensemble model yields the most significant performance gains. Notably, on “hard samples”—images that are traditionally difficult to classify—the Ensemble approach improved accuracy from 8.7% to 34.1% compared to single-model baselines. Based on these research findings, a fully functional mobile application was developed. The application utilizes the React Native framework for the user interface, a FastAPI backend for real-time inference processing, and Firebase for user management and history storage. The system not only provides high-precision classification but also allows users to look up information regarding the origin and nutritional value of fruits, demonstrating high practical applicability in digital agriculture. Keywords: Deep Learning, Fruit Classification, CBAM, Ensemble Learning, React Native, Mekong Delta.