AGRISIGNAL-VN: KHAI PHÁ TÍN HIỆU BỆNH HẠI LÚA TỪ VIDEO TIẾNG VIỆT VÀ BIỂU DIỄN KHÔNG GIAN–THỜI GIAN

Abstract

Trong bối cảnh bùng nổ dữ liệu phi cấu trúc từ video nông nghiệp và các bài viết trực tuyến, việc tự động trích xuất và tổ chức tri thức chuyên ngành về bệnh hại lúa vẫn là một thách thức lớn. Các công cụ hiện tại thường chỉ trả về các từ khóa dưới dạng văn bản thô, khiến người dùng khó nắm bắt được bức tranh tổng thể và mối quan hệ nhân quả giữa các thực thể. Nhằm khắc phục những hạn chế này, đề tài đề xuất xây dựng hệ thống thông minh end-to-end mang tên AGRISIGNAL-VN, kết hợp ba thành phần cốt lõi gồm chuyển đổi giọng nói thành văn bản, nhận dạng thực thể tên và trực quan hóa đồ thị tri thức. Kiến trúc đề xuất ứng dụng mô hình OpenAI Whisper để tự động chuyển đổi âm thanh thành văn bản từ các video nông nghiệp tiếng Việt trên YouTube, sau đó sử dụng mô hình GLiNER được tinh chỉnh (fine-tune) để tự động trích xuất các thực thể chuyên ngành — bao gồm tên bệnh hại, địa điểm xuất hiện và thời điểm mùa vụ — từ văn bản được nhận dạng tự động thường chứa nhiều nhiễu và lỗi chính tả. Các thực thể này được chuyển đổi thành các điểm nút và liên kết với nhau thông qua các cạnh thể hiện quan hệ ngữ nghĩa, tạo thành Đồ thị tri thức Không gian - Thời gian giúp biểu diễn trực quan cả vị trí địa lý lẫn thời điểm bùng phát dịch bệnh. Kết quả thực nghiệm cho thấy mô hình GLiNER sau tinh chỉnh đạt Macro F1-Score là 0.856 trên tập kiểm tra, với hiệu năng đặc biệt nổi bật ở nhãn tên bệnh (F1 = 0.891) và không bỏ sót bất kỳ địa danh nào (Recall = 1.000). Bên cạnh đó, đề tài đã phát triển thành công ứng dụng web tương tác RiceKG Extractor với Frontend sử dụng React và Backend tích hợp FastAPI, cho phép người dùng phân tích bài viết hoặc video, xem kết quả gán nhãn thực thể, khám phá đồ thị tri thức và theo dõi phân bố bệnh hại trên bản đồ tương tác. Từ khóa: Nhận dạng thực thể tên (NER), Đồ thị tri thức (Knowledge Graph), Trực quan hóa dữ liệu, Xử lý ngôn ngữ tự nhiên (NLP), Bệnh hại lúa. In the context of the explosion of unstructured data from agricultural videos and online news, automatically extracting and organizing specialized knowledge about rice diseases remains a significant challenge. Current approaches often return raw text keywords, making it difficult for users to grasp the overall picture and the causal relationships between entities. To address these limitations, this study proposes an intelligent end-to-end system named AGRISIGNAL-VN, which combines Speech-to-Text transcription, Named Entity Recognition, and Knowledge Graph visualization. The proposed architecture applies OpenAI Whisper for automatic audio transcription from Vietnamese agricultural videos on YouTube, then employs a fine-tuned GLiNER model to automatically extract specialized agricultural entities — including rice disease names, geographic locations, and crop seasons — from the resulting noisy transcribed text. These entities are subsequently transformed into nodes and linked by edges representing semantic relationships, forming a Spatio-Temporal Knowledge Graph that captures both where and when disease outbreaks occur. Experimental results demonstrate that the fine-tuned GLiNER model achieves a Macro F1-Score of 0.856 on the test set, with particularly strong performance on disease name recognition (F1 = 0.891) and zero missed detections for location entities (Recall = 1.000). Furthermore, this study develops and deploys an interactive web-based application called RiceKG Extractor, built with a React frontend and FastAPI backend, allowing users to analyze articles or videos, visualize entity-labeled text, explore the knowledge graph, and track disease distribution on an interactive map. Keywords: Named Entity Recognition, Knowledge Graph, Spatio-Temporal Representation, Natural Language Processing, Rice Diseases, GLiNER, Speech-toText.