HỆ THỐNG CHẨN ĐOÁN BỆNH PHỔI VỚI MÔ HÌNH ĐA PHƯƠNG THỨC

Abstract

Trong bối cảnh y học hiện đại, việc kết hợp các nguồn dữ liệu khác nhau để hỗ trợ chẩn đoán chính xác và nhanh chóng đang trở thành một xu hướng tất yếu. Luận văn này đề xuất một phương pháp kết hợp giữa hình ảnh X-Quang và thông tin lâm sàng dạng văn bản để nâng cao hiệu quả chẩn đoán bệnh lý hô hấp. Cụ thể, tôi xây dựng một hệ thống học sâu đa phương thức để khai thác mối quan hệ giữa ảnh XQuang và triệu chứng bệnh nhân, đồng thời áp dụng phương pháp Maximum Satisfiability (MaxSAT) nhằm tối ưu hóa kết quả phân loại thông qua việc mô hình hóa các ràng buộc logic giữa các triệu chứng. Dữ liệu được sử dụng bao gồm 17.973 ảnh X-Quang ngực và các báo cáo lâm sàng tương ứng, được phân loại thành 12 nhóm bệnh. Đề tài triển khai nhiều mô hình học sâu cho từng loại dữ liệu: các mô hình NLP cho văn bản; và CNN cho ảnh. Các mô hình kết hợp đa phương thức cũng được xây dựng nhằm khai thác đồng thời cả hai nguồn dữ liệu. Ngoài ra, Maximum Satisfiability (MaxSAT) được tích hợp vào pha dự đoán nhằm chọn nhãn tối ưu trong không gian ràng buộc logic, bên cạnh đó kỹ thuật bầu chọn đa mô hình (Voting) được áp dụng để dự đoán dựa trên phần lớn sự lựa chọn và đồng thời cũng sử dụng mô hình Retrieval-Augmented Generation (RAG) để sinh mô tả bệnh tương tự từ các ca đã biết, hỗ trợ bác sĩ và bệnh nhân hiểu rõ hơn về kết quả dự đoán. Cuối cùng, giới thiệu Multimodal Graph Neural Network (MGNN) – một kiến trúc mạng nơ-ron đồ thị đa phương thức – để mô hình hóa mối quan hệ phức tạp giữa các đặc trưng hình ảnh và văn bản trong không gian đồ thị. Kết quả thực nghiệm cho thấy rằng mô hình đa phương thức vượt trội so với các mô hình đơn lẻ, đồng thời việc tích hợp MaxSAT giúp cải thiện độ tin cậy trong phân loại khi các triệu chứng có mối liên hệ chặt chẽ. Hệ thống cũng được triển khai với giao diện trực quan, cho phép người dùng nhập triệu chứng và ảnh X-Quang để nhận kết quả phân tích, hỗ trợ quá trình chẩn đoán lâm sàng.