SO SÁNH CÁC PHƯƠNG PHÁP TINH CHỈNH MÔ HÌNH CHO BÀI TOÁN NHẬN DIỆN CÁC LOẠI BỆNH TRÊN CÂY TRỒNG

Abstract

Trong thời đại mà trí tuệ nhân tạo phát triển mạnh mẽ như hiện nay và trong cuộc chạy đua giữa các tập đoàn công nghệ, rất nhiều mô hình AI được tạo ra để hỗ trợ cho nhiều công việc trong đời sống, giúp cho chúng ta có thể giải quyết đượccácvấn đề tiết kiệm thời gian hơn rất nhiều so với trước đây. Một trong những ứng dụng rất thiết thực của AI đó là nhận diện bệnh trên cây trồng trong nông nghiệp. Việc phát hiện được đúng loại bệnh giúp nông dân có thể can thiệp kịp thời, giảm thiểu thiệt hại trên cây trồng và tăng năng suất mùa vụ. Trước đây, người ta có thể phát hiện được bệnh sớm dựa trên kinh nghiệm làm nông, nhưng nếu với người còn ít kinh nghiệm thì có thể chưa phát hiện được bệnh sớm để giải quyết trước khi lan rộng dẫn đến thiệt hại nặng nề. Với sự phát triển mạnh mẽ của học sâu, các mô hình phân loại ảnh như ResNet, EfficientNet, Vision Transfomer,... đã chứng minh được hiệu quả vượt trội trong các tác vụ Computer Vision. Tuy nhiên, đó là các mô hình được huấnluyệntrêncác bộ dữ liệu lớn với hàng triệu ảnh và hàng chục ngàn lớp khác nhau, nếu muốn sử dụng cho 1 nhiệm vụ cụ thể như phát hiện bệnh trên cây trồng trong nông nghiệp thì cần phải tinh chỉnh lại trên tập dữ liệu riêng để phù hợp với mục đích sửdụng, nhưng việc tinh chỉnh toàn bộ mô hình đòi hỏi tài nguyên tính toán lớn và dễ gây overfit trêndữ liệu nhỏ, đây cũng là 1 vấn đề khá phổ biến khi thực hiện tinh chỉnh môhình. Đề tài này sử dụng mô hình ViT được tiền huấn luyện với ImageNet-21kgồm14 triệu ảnh và 21481 lớp khác nhau để thực hiện nghiên cứu so sánhhai phương pháp tinh chỉnh: LoRA (Low-Rank Adaptation) và tinh chỉnh lớp cuối (Fine-Tuning Linear Layer) cho bài toán phân loại ảnh bệnh trên cây trồng. LoRAlàmộtkỹ thuật Parameter-Efficient Fine-Tuning (PEFT), chỉ cập nhật một lượng nhỏ tham số thông qua ma trận LoRA và lưu lại các adapter với kích thước rất nhỏ (khoảng vài MB) thay vì lưu toàn bộ mô hình, đối với phương pháp tinh chỉnh layer cuối thì tasẽđóng băng toàn bộ tham số mô hình và chỉ điều chỉnh tầng phân loại cuối cùng. Nghiên cứu được thử nghiệm trên 4 bộ dữ liệu được chia sẻ công khai về bệnh trên cây trồng, bao gồm Mango LeafBD Dataset, SenMangoFruitDDS, Potato Leaf Disease Dataset, Apple Leaf Disease Dataset. Các chỉ số đánh giá chính được sửdụngđểđánhgiá và so sánh mức độ hiệu quả của hai phương pháp bao gồm: Accuracy, Sensitivity, Precision, F1-score và ROC-AUC. Kết quả thực nghiệm cho thấy LoRA sử dụng rất ít tham số huấn luyện (chỉ khoảng 0.35% trên tổng tham số) mà vẫn đạt được hiệu năng và hiệu suất cao. Đồng thời, LoRA cũng giảm đi đáng kể thời gian train và bộ nhớ sử dụng so với phương pháp tinh chỉnh truyền thống.