ỨNG DỤNG MÔ HÌNH NGÔN NGỮ LỚN TRONG MINH HỌA VÀ TÓM TẮT BÀI BÁO

Abstract

Lĩnh vực truyền thông và báo chí ngày càng phát triển và đa dạng, tóm tắt cho bài báo và minh họa chủ đề là một trong những thành phần quan trọng trong một bài viết ấn tượng và được nhiều người quan tâm. Trong thời đại phát triển của các mô hình ngôn ngữ lớn, việc ứng dụng các mô hình để xây dựng hệ thống là cần thiết để tiết kiệm thời gian đọc, tìm kiếm và minh họa trực quan. Hệ thống được xây dựng bằng cách huấn luyện và đánh giá trên các mô hình T5, BART, Promptist, Stable Diffusion và kỹ thuật LoRA trong huấn luyện, được đánh giá khách quan trên các chỉ số ROUGE, CLIP score, IS score và độ thẩm mỹ, trong đó yếu tố đánh giá con người cũng góp phần cải thiện hiệu suất. Kết quả đạt được khá ấn tượng trên tập dữ liệu XSum, BART đạt ROUGE-1/ROUGE-2/ROUGE-L lần lượt 38.65/17.35/31.98 so với 30.12/8.92/23.74 của T5. Với tập dữ liệu Midjourney, model sinh ảnh Stable Diffusion được huấn luyện trên LoRA đạt chỉ số CLIP score 36.53 ± 2.62 và IS đạt 6.09 ± 0.64, được cải thiện rõ rệt chất lượng thông qua Promptist. Từ khóa: tóm tắt, sinh ảnh, báo chí, minh họa, mô hình ngôn ngữ lớn, t5, bart, gpt-2, microsoft-promptist, stable diffusion, LoRA, hệ thống.