XÂY DỰNG HỆ THỐNG THÔNG TIN CHO BỘ SÁCH “CÂY CỎ VIỆT NAM

Abstract

Bộ sách "Cây cỏ Việt Nam" do Giáo sư Phạm Hoàng Hộ hoàn thiện năm 1999 là công trình phân loại học thực vật quy mô lớn với hơn 11.000 loài được mô tả. Tuy nhiên, việc khai thác tri thức hiện nay gặp khó khăn do dữ liệu chủ yếu lưu trữ ở dạng bản in và ảnh quét. Việc số hóa văn bản bằng công cụ nhận dạng ký tự quang học (OCR) có tỷ lệ lỗi cao do chất lượng bản in cũ và đặc thù văn phong viết dính liền các thuật ngữ chuyên môn (như "hiểnhoa", "bàotử") Bên cạnh đó, danh pháp thực vật trong sách cũng cần được đối chiếu và chuẩn hóa để phù hợp với các hệ thống phân loại sinh học hiện đại. Đề tài Xây dựng hệ thống thông tin cho bộ sách “Cây cỏ Việt Nam" được thực hiện nhằm số hóa dữ liệu và cung cấp nền tảng tra cứu thực vật trực tuyến. Đối với bài toán làm sạch dữ liệu OCR, đề tài áp dụng thuật toán SymSpell kết hợp với mô hình ngôn ngữ N-gram (Bigram) để tự động phân tách từ bị viết dính và sửa lỗi chính tả. Đối với bài toán phân loại học, hệ thống thực hiện đối chiếu và ánh xạ các tên đồng danh, tên cũ sang danh pháp khoa học đang được chấp nhận hiện hành. Sản phẩm hoàn thiện của đề tài là một hệ thống thông tin với hơn 10.000 loài thực vật cho phép người dùng tra cứu thông tin thực vật linh hoạt qua tên khoa học, tên thông dụng, tên đồng danh, từ khóa bất kỳ. Hệ thống giúp rút ngắn thời gian tìm kiếm, khắc phục rào cản của tài liệu truyền thống, qua đó góp phần bảo tồn và đưa khối dữ liệu thực vật học giá trị này tiếp cận dễ dàng hơn với người sử dụng. Từ khóa: Cây cỏ Việt Nam, Hậu xử lý OCR, SymSpell, N-gram. "An Illustrated Flora of Vietnam", completed by Professor Phạm Hoàng Hộ in 1999, is a massive and important work that describes over 11,000 plant species. However, it is currently hard to use this source of knowledge because the data is mostly in printed books or scanned images. Using OCR (Optical Character Recognition) to turn these into text often leads to many errors because the old prints are not clear and the author often wrote technical terms without spaces (like "hiểnhoa" or "bàotử"). Also, the plant names in the books need to be checked and updated to match today's classification systems. The thesis Developing an information system for the “An Illustrated Flora of Vietnam” book series was started to digitize this data and build an online search platform. To clean the errors from the OCR process, the project uses the SymSpell algorithm along with an N-gram (Bigram) model to automatically separate stuck words and fix spelling mistakes. For the classification part, the system links old names or synonyms to the scientific names currently used by scientists. The final result is an information system with over 10,000 plant species, allowing users to easily search by scientific names, common names, or any keyword. By making it much faster to find information compared to looking through old books, the system helps protect Vietnam's botanical data and makes it easier for both researchers and the public to access. Keyword: An Illustrated Flora of Vietnam, Post-OCR Correction, SymSpell, N-gram.