NGHIÊN CỨU MÔ HÌNH NHẬN DẠNG TRANG PHỤC TRUYỀN THỐNG VIỆT NAM

Abstract

Nghiên cứu này trình bày quá trình xây dựng tập dữ liệu và phân tích hành vi của các mô hình học sâu trong bài toán nhận diện trang phục truyền thống Việt Nam(Áo Dài, Áo Bà Ba, Áo Tứ Thân, Áo Nhật Bình, Áo Cóm). Khi triển khai trong môi trường thực tế, các mô hình thường xuất hiện hiện tượng shortcut learning, tức là dựa vào các yếu tố bối cảnh hoặc phụ kiện thay vì đặc trưng hình thái cốt lõi của chủ thể.Nhằm giảm thiểu ảnh hưởng của hiện tượng này, nghiên cứu đã xây dựng tập dữ liệu gồm 3.978 hình ảnh và đề xuất một quy trình tiền xử lý tự động, bao gồm phát hiện đối tượng bằng YOLOv8 và tách nền có kiểm soát bằng InSPyReNet. Nghiên cứu sử dụng ba kiến trúc tiêu biểu: ResNet-50, ViT-Base và Swin-Tiny,đại diện cho các cơ chế trích xuất đặc trưng khác nhau. Các mô hình được huấn luyện và đánh giá qua sáu giai đoạn thực nghiệm với mức độ xử lý nhiễu bối cảnhtăngdần.Đồng thời, nghiên cứu áp dụng các phương pháp XAI như Grad-CAMvà Eigen-CAM,kết hợp với chỉ số AER do tác giả đề xuất, nhằm định lượng mức độ tập trung của mô hình vào vùng chủ thể. Kết quả thực nghiệm xác nhận sự tồn tại của hiện tượng shortcut learning với các biểu hiện khác nhau tùy theo kiến trúc: ResNet-50 dễ chịu ảnh hưởng bởi thiên lệch đồng xuất hiện, ViT-Base nhạy cảm với thiên lệch phụ kiện, trong khi Swin-Tinycho thấy khả năng kháng nhiễu và duy trì sự tập trung vào hình thái chủthểtốt hơn.Nghiên cứu nhấn mạnh rằng việc đánh giá mô hình không nên chỉ dựa trêncácchỉ sốđịnh lượng như độ chính xác hay F1-Score, mà cần kết hợp với các phương pháp giải thích trực quan để phát hiện sai lệch và nâng cao tính bền vững khi triển khai thực tế. Từ khóa: Nhận diện trang phục, Trang phục truyền thống Việt Nam, This study presents the process of dataset construction and behavioral analysis of deep learning models in the task of recognizing Vietnamese traditional garments (Áo Dài, Áo Bà Ba, Áo Tứ Thân, Áo Nhật Bình, Áo Cóm). When deployed in real-world environments, these models often exhibit the phenomenon of Shortcut Learning, meaning they rely on contextual elements or accessories rather than the core morphological features of the subject. To mitigate the impact of this phenomenon, the study constructs a dataset of 3,978 images and proposes an automated preprocessing pipeline, including object detection using YOLOv8 and controlled background removal using InSPyReNet. The study employs three representative architectures: ResNet-50, ViT-Base, and Swin-Tiny, which represent different feature extraction mechanisms. The models are trained and evaluated across six experimental phases with progressively increasing levels of contextual noise. Additionally, the study applies Explainable Artificial Intelligence methods such as Grad-CAM and Eigen-CAM, combined with the Attention-to-Entity Ratio (AER) metric proposed by the author, to quantify the degree to which models focus on the subject region. The experimental results confirm the existence of Shortcut Learning, with distinct manifestations depending on the architecture: ResNet-50 is susceptible to Co-occurrence Bias, ViT-Base is sensitive to Accessory Bias, while Swin-Tiny demonstrates better robustness to noise and maintains stronger focus on the subject’s morphological features. The study emphasizes that model evaluation should not rely solely on quantitative metrics (such as Accuracy and F1-Score), but should also incorporate visual explanation methods to detect biases and improve robustness in real-world deployment.