APPLYING LAYOUTLMV3 FOR INFORMATION EXTRACTION FROM VIETNAMESE RECEIPTS

Abstract

This thesis studies the application of LayoutLMv3 for key informationextraction from Vietnamese retail receipts. The research focuses onbuildingacomplete fine-tuning and inference pipeline for the MC-OCR2021dataset,including OCR preprocessing, bounding box normalization, token classification,and performance evaluation. The proposed system extracts important fields such as seller name, address,timestamp, and total cost from receipt images. LayoutLMv3 is comparedwithatext-only PhoBERT baseline to evaluate the contribution of layout andvisualinformation in Vietnamese document understanding. The experimental resultsshowthat multimodal modeling is useful for fields whose meaning depends stronglyondocument position, while OCR quality remains a major factor affectingreal-worldperformance. The thesis contributes a practical Vietnamese receipt informationextractionworkflow and provides analysis of the strengths, limitations, and future directionsofLayoutLMv3-based Document AI systems in the Vietnamese context. Keywords: Document AI, LayoutLMv3, Vietnamese receipts, keyinformationextraction, OCR, token classification. uận văn này trình bày hệ thống trích xuất thông tin quan trọng từ hóa đơn bán lẻ tiếng Việt sử dụng mô hình LayoutLMv3. Pipeline bao gồm tiền xử lý OCR, chuẩn hóa bounding box và phân loại token trên bộ dữ liệu MC-OCR2021, trích xuất các trường như tên người bán, địa chỉ, thời gian và tổng tiền. LayoutLMv3 được so sánh với mô hình chỉ dùng văn bản PhoBERT, cho thấy mô hình đa phương thức có lợi thế với các trường phụ thuộc vào vị trí trong tài liệu, trong khi chất lượng OCR vẫn là thách thức chính.