XÂY DỰNG HỆ THỐNG TRUY VẤN THÔNG TIN CÂY THUỐC NAM TẠI VIỆT NAM

Abstract

Cây thuốc Nam đóng vai trò quan trọng trong hệ thống y học cổ truyền Việt Nam, tuy nhiên việc tra cứu và nhận dạng chính xác các loài cây thuốc vẫn còn nhiều khó khăn đối với người dùng phổ thông. Các phương pháp tra cứu truyền thống dựa trên từ khóa văn bản hoặc sách tra cứu in ấn tồn tại hạn chế lớn khi người dùng không biết tên chính xác của loài cây cần tìm, hoặc khi muốn nhận dạng một loài cây chỉ từ hình ảnh chụp thực địa. Bên cạnh đó, nhiều loài cây thuốc có hình thái lá, hoa và thân rất tương đồng với nhau, khiến các hệ thống nhận dạng hình ảnh đơn phương thức gặp khó khăn trong việc phân biệt chính xác. Đối với nhánh hình ảnh, hai kiến trúc backbone là ResNet101 và DenseNet201 được huấn luyện với hàm mất mát ArcFace kết hợp kỹ thuật khai thác cặp mẫu khó MultiSimilarity Miner, thay thế cho Softmax Loss truyền thống nhằm xây dựng không gian embedding có tính phân biệt cao giữa các loài có hình thái tương đồng. Kết quả thực nghiệm cho thấy DenseNet201 đạt hiệu năng tốt hơn với mAP@K đạt 0.5595, MRR đạt 0.7624, Precision@5 đạt 0.6913 và Recall@1 đạt 0.7144. Đối với nhánh văn bản, hai mô hình PhoBERT-SBERT và multilingual-E5 (mE5-base) được fine-tune với hàm mất mát MultipleNegativesRankingLoss để biểu diễn ngữ nghĩa văn bản y học tiếng Việt. mE5-base vượt trội rõ rệt với NDCG@5 đạt 0.9593, Recall@1 đạt 0.9330 và Precision@5 đạt 0.9778. Hai nhánh được kết hợp thông qua cơ chế Score-level Late Fusion với tham số alpha được xác định bằng grid search thực nghiệm. Kết quả cho thấy alpha tối ưu bằng 0.4 tức 40% trọng số cho ảnh và 60% cho văn bản đạt Top-1 Accuracy 96.60% và mAP@5 0.9797, vượt trội so với tìm kiếm đơn phương thức hình ảnh (71.58%) và văn bản (93.30%), chứng minh hai phương thức bổ sung thông tin thực sự cho nhau. Từ khóa: Cây thuốc Nam Việt Nam, Truy vấn đa phương thức, Metric Learning, ArcFace, DenseNet201, multilingual-E5, Late Fusion, Image Retrieval, Text Retrieval. The medicinal plants of Vietnam play an important role in the traditional medicine system, yet the search and accurate identification of plant species remain challenging for the general public. Traditional search methods based on text keywords or printed reference books have significant limitations when users do not know the exact name of the plant they are looking for or when they want to identify a species solely from field photographs. Additionally, many medicinal plants have similar leaf, flower, and stem morphology, making it difficult for single-modal image recognition systems to accurately distinguish between them. For the image branch, two backbone architectures, ResNet101 and DenseNet201, were trained with the ArcFace loss function combined with the MultiSimilarity Miner technique to replace the traditional Softmax Loss. This approach aims to create a highly discriminative embedding space between species with similar morphology. Experimental results show that DenseNet201 performs better, achieving a mAP@K of 0.5595, MRR of 0.7624, Precision@5 of 0.6913, and Recall@1 of 0.7144. For the text branch, two models, PhoBERT-SBERT and multilingual-E5 (mE5-base), were fine-tuned with the MultipleNegativesRankingLoss function to represent the semantic meaning of Vietnamese medical texts. The mE5-base model significantly outperformed others, achieving an NDCG@5 of 0.9593, Recall@1 of 0.9330, and Precision@5 of 0.9778. The two branches were combined using a Score-level Late Fusion mechanism, with the alpha parameter determined through experimental grid search. The results indicate that the optimal alpha is 0.4, meaning 40% weight for images and 60% for text, achieving a Top-1 Accuracy of 96.60% and mAP@5 of 0.9797. This performance surpasses the single-modal image query (71.58%) and text query (93.30%), demonstrating that the two methods indeed complement each other. Keywords: Vietnamese medicinal plants, Multi-modal retrieval, Metric Learning, ArcFace, DenseNet201, multilingual-E5, Late Fusion, Image Retrieval, Text Retrieval.