PHÁT TRIỂN HỆ THỐNG TƯƠNG TÁC GIAN HÀNG DỰA TRÊN NHẬN DIỆN BIỂU CẢM KHUÔN MẶT BẰNG YOLO

Abstract

Đề tài “Phát triển hệ thống tương tác gian hàng dựa trên nhận diện biểu cảm khuôn mặt bằng YOLO” nhằm xây dựng một hệ thống web tương tác thông minh có khả năng nhận diện biểu cảm khuôn mặt của người theo thời gian thực và phản hồi trực tiếp thông qua các hiệu ứng thị giác. Hệ thống được phát triển dựa trên mô hình YOLOv12m được huấn luyện trên bộ dữ liệu 9 Facial Expressions for YOLO – Kaggle, bộ dữ liệu được chia thành 9 nhóm biểu cảm khuôn mặt: vui, buồn, ngạc nhiên, giận dữ, sợ hãi, khinh bỉ, ghê tởm, buồn ngủ, bình thường phù hợp cho các bài toán thị giác máy tính và tương tác người – máy. Hệ thống được triển khai dưới dạng website gồm hai phần chính: • Trang người dùng: sử dụng camera để phát hiện khuôn mặt, nhận dạng cảm xúc dựa trên mô hình YOLOv12m đã huấn luyện và phản hồi lại cảm xúc khách hàng bằng hiệu ứng tương ứng. • Trang quản lý: cung cấp biểu đồ thống kê, phân tích tỷ lệ biểu cảm theo thời gian, và đánh giá trung bình mức độ hài lòng của người tham quan. Hệ thống được thiết kế hướng đến tính ổn định, trực quan phù hợp với môi trường thời gian thực, để triển khai trực tiếp trong các triển lãm, sự kiện hoặc trung tâm thương mại. Kết quả của đề tài không chỉ góp phần nâng cao trải nghiệm tương tác người – máy, mà còn mang lại giải pháp hỗ trợ phân tích hành vi khách hàng dựa trên dữ liệu cảm xúc thực tế, từ đó giúp tối ưu hoá các chiến dịch marketing và định hướng cải thiện dịch vụ khách hàng trong tương lai. Từ khóa: nhận diện cảm xúc, phát hiện đối tượng, YOLOv12, tương tác người - máy.