Đăng bởi

ViBERT và PhoBERT

ViBERT và PhoBERT đều là các mô hình ngôn ngữ lớn (PLM – Pre-trained Language Models) nổi bật được xây dựng dựa trên kiến trúc Transformer để xử lý tiếng Việt trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP). [1]

Dưới đây là so sánh chi tiết và đặc điểm của từng mô hình:

1. PhoBERT

  • Đơn vị phát triển: VinAI Research (công bố năm 2020). [1]
  • Kiến trúc: Dựa trên nền tảng RoBERTa (tối ưu hóa quy trình huấn luyện của BERT để đạt hiệu năng cao hơn). [1, 2]
  • Dữ liệu huấn luyện:
    • PhoBERT v1: Huấn luyện trên dung lượng lớn gồm 20GB văn bản tiếng Việt (1GB từ Wikipedia và 19GB từ báo chí).
    • PhoBERT v2: Cải tiến và huấn luyện trên quy mô lớn hơn với 140GB văn bản (gấp 7 lần v1). [1, 2]
  • Tiền xử lý văn bản: Sử dụng công cụ tách từ tiếng Việt VnCoreNLP (RDRSegmenter) hoặc Byte Pair Encoding (BPE). [1, 2]
  • Đặc điểm nổi bật: Là mô hình ngôn ngữ đơn ngữ quy mô lớn đầu tiên dành cho tiếng Việt, đạt hiệu suất vượt trội trên nhiều tác vụ như gán nhãn từ loại (POS tagging), phân tích cú pháp (Dependency parsing), nhận diện thực thể (NER), và suy luận ngôn ngữ tự nhiên (NLI). [1]

2. ViBERT (và các biến thể như ViBERT4News)

  • Kiến trúc: Dựa trên kiến trúc gốc BERT của Google được huấn luyện hoặc tinh chỉnh riêng cho ngữ liệu tiếng Việt. [1, 2]
  • Dữ liệu huấn luyện: Thường tập trung vào các nguồn dữ liệu văn bản tiếng Việt tổng hợp hoặc đặc thù theo lĩnh vực (chẳng hạn như tin tức báo chí với ViBERT4News). [1]
  • Đặc điểm nổi bật: Thường được dùng rất hiệu quả trong các bài toán phân loại văn bản, phân tích cảm xúc (sentiment analysis) trên tin tức hoặc mạng xã hội. Trong một số thử nghiệm so sánh trên dữ liệu mạng xã hội/tin tức, các biến thể như ViBERT4News cho độ chính xác rất cao, trong khi PhoBERT lại thể hiện khả năng tổng quát hóa (generalization) cân bằng và bền bỉ hơn khi triển khai thực tế. [1]

Bảng tóm tắt nhanh

Tiêu chíViBERT (VD: ViBERT4News)PhoBERT (v1 / v2)
Kiến trúc gốcBERTRoBERTa
Nhóm phát triểnCác nhóm nghiên cứu trong nước (tùy phiên bản)VinAI Research
Dữ liệu huấn luyệnDữ liệu tiếng Việt tổng hợp / tin tức20GB (v1) đến 140GB (v2) văn bản đa dạng
Thế mạnhPhân loại văn bản, phân tích cảm xúc tin tứcĐa nhiệm NLP: NER, POS tagging, NLI, chatbot, phân tích cảm xúc
Trang chủ / HubTham khảo các mã nguồn mở trên GitHub / Hugging FaceVinAIResearch/PhoBERT trên GitHub hoặc vinai/phobert-base trên Hugging Face