DEVELOPMENT OF AN AI-INTEGRATED EXAMINATION ENVIRONMENT WITH BEHAVIOR RECOGNITION

Abstract

Background: The growing adoption of online education has increased the need for reliable examination systems that can maintain academic integrity. However, conventional online examination platforms often provide limited capabilities for automatically monitoring suspicious behavior during examinations. Objective: This thesis aims to develop an AI-integrated examination environment that supports online examinations and automatically recognizes potentially suspicious behaviors, including face absence, multiple faces, gaze deviation, mobile phone usage, and talking. The system also monitors examination-window focus to detect potential input mismatches. Methodology: The system was developed using React and TypeScript for the frontend, FastAPI and Python for the backend, and a Windows-based Rust client for real-time examination monitoring. Four ONNX models were integrated locally for face detection, gaze estimation, phone detection, and mouth-movement detection. Audio analysis and focus monitoring were additionally used to support talking and input-mismatch detection. An adaptive confidence accumulation mechanism was implemented to reduce transient detections and generate behavior flags based on temporal evidence and confidence levels. Results: The developed system integrates online examination management with AIbased behavior recognition, evidence recording, and behavior flagging. The implemented components provide basic capabilities for monitoring predefined behaviors during examination sessions and support the overall examination supervision process. Conclusion: The results demonstrate the feasibility of integrating AI-based behavior recognition into an online examination environment. The system provides a foundation for automated examination monitoring and can be further improved through large-scale evaluation using labeled datasets and optimization of detection accuracy and false-positive rates. Bối cảnh: Sự phát triển ngày càng phổ biến của việc thi cử trực tuyến đặt ra nhu cầu về các hệ thống thi đáng tin cậy, có khả năng đảm bảo tính trung thực trong thi cử. Tuy nhiên, các nền tảng thi trực tuyến truyền thống thường còn hạn chế trong việc tự động giám sát và phát hiện các hành vi đáng ngờ trong quá trình làm bài. Mục tiêu: Luận văn này nhằm phát triển một môi trường thi tích hợp AI, hỗ trợ tổ chức các kỳ thi trực tuyến, hệ thống tự động nhận diện các hành vi có khả năng đáng ngờ, bao gồm phát hiện khuôn mặt, xuất hiện nhiều khuôn mặt, hướng nhìn lệch, sử dụng điện thoại di động và nói chuyện. Hệ thống cũng giám sát trạng thái tập trung của cửa sổ thi để phát hiện các trường hợp bất thường có khả năng xảy ra. Phương pháp nghiên cứu: Hệ thống được phát triển với React và TypeScript cho frontend, FastAPI và Python cho backend, cùng với một ứng dụng Rust trên nền tảng Windows để giám sát bài thi theo thời gian thực. Bốn mô hình ONNX được tích hợp và chạy cục bộ nhằm thực hiện phát hiện khuôn mặt, ước lượng hướng nhìn, phát hiện điện thoại và phát hiện chuyển động miệng. Phân tích âm thanh và giám sát trạng thái tập trung của cửa sổ cũng được sử dụng để hỗ trợ phát hiện hành vi nói chuyện và các trường hợp bất thường. Một cơ chế tích lũy độ tin cậy thích ứng được triển khai nhằm giảm các kết quả phát hiện mang tính nhất thời và tạo ra các cờ cảnh báo hành vi dựa trên bằng chứng theo thời gian và mức độ tin cậy. Kết quả: Phát triển thành công hệ thống quản lý thi trực tuyến với khả năng nhận diện hành vi dựa trên AI, ghi nhận bằng chứng và gắn cờ các hành vi đáng ngờ. Các thành phần được triển khai cung cấp những khả năng cơ bản để giám sát các hành vi đã được xác định trước trong các phiên thi và hỗ trợ quy trình giám sát kỳ thi tổng thể. Kết luận: Kết quả cho thấy tính khả thi của việc tích hợp nhận diện hành vi dựa trên AI vào môi trường thi trực tuyến. Hệ thống cung cấp nền tảng cho việc tự động hóa công tác giám sát kỳ thi và có thể được cải thiện hơn nữa thông qua đánh giá quy mô lớn trên các bộ dữ liệu được gán nhãn, đồng thời tối ưu hóa độ chính xác phát hiện và tỷ lệ cảnh báo sai.