NHẬN DẠNG CÁC LOẠI CUA VÀ TÔM VỚI VISION TRANSFORMER PRE-TRAINED

Abstract

Cua và tôm là nguồn thực phẩm chứa nhiều chất dinh dưỡng và cũng là mặt hàng có giá trị kinh tế lớn và có mặt rộng rãi trên thị trường. Đóng vai trò quan trọng trong ngành đánh bắt và nuôi trồng thủy sản ở các vùng ven biển Việt Nam. Tuy nhiên, việc phân loại các loài cua và tôm trong thực tế không dễ dàng do sự đa dạng về loài và thiếu các nguồn thông tin tổng hợp về các loại cua và tôm. Có những loài có hình dáng tương đồng nhưng lại khác nhau về giá trị dinh dưỡng lẫn giá trị kinh tế, từ đó có thể dẫn đến nhầm lẫn trong buôn bán và tiêu dùng. Sự xuất hiện của Vision Transformer, vận dụng kiến trúc Transformer vào lĩnh vực thị giác máy tính đã mở ra hướng đi mới trong việc phân loại hình ảnh. Do đó, việc sử dụng mô hình Vision Transformer với mục đích phân loại hình ảnh với độ chính xác cao và tiết kiệm thời gian, công sức và cung cấp thông tin nhanh chóng về các loài cho người tiêu dùng về các loại tôm và cua. Từ đó, chúng tôi đề xuất việc sử dụng mô hình Vision Transformer trong việc phân loại đáp ứng nhu cầu của người dùng trong việc phân loại cua và tôm. Chúng tôi đã xây dựng tập dữ liệu gồm 5.991 hình ảnh cho việc phân loại 8 loại cua và tôm bao gồm: cua y, cua đá, cua yếm vuông, cua hoàng đế, tôm hùm càng, tôm thẻ chân trắng, tôm hùm gai và tôm sú. Với việc sử dụng mô hình Vision Transformer cùng với các mô hình CNNs cho việc so sánh và đánh giá. Sau khi thực nghiệm, mô hình phân lớp Vision Transformer finetune có độ chính xác là 96%. Để thuận tiện cho việc tiếp cận hệ thống, chúng tôi đã sử dụng thư viện Flask cùng với React native xây dựng hệ thống trên nền tảng di động tích hợp mô hình đã huấn luyện giúp dễ dàng tiếp cận việc thực hiện phân loại hình ảnh.