66B là một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh khác nhau như trả lời câu hỏi, viết văn bản, và tóm tắt tài liệu.
Kiến trúc dựa trên bộ transformer's với nhiều lớp ghép lại, cơ chế tự chú ý (self-attention) và mạng lưới feed-forward. Mô hình sử dụng tokenizer phổ biến và tối ưu hoá cho tiếng Việt lẫn nhiều ngôn ngữ khác. Với kích thước tham số lớn, 66B đòi hỏi tài nguyên phần cứng ở mức tương đối cao, nhưng cho phép xử lý ngôn ngữ tự nhiên ở mức độ cao.
Dữ liệu đào tạo đến từ nguồn mở và dữ liệu đa ngành để bao phủ nhiều phong cách ngôn ngữ, từ văn bản hư cấu cho đến bài viết khoa học và nội dung web. Quá trình tiền xử lý và lọc dữ liệu nhằm giảm thông tin nhạy cảm và thiên lệch.
66B được đánh giá qua các tác vụ ngôn ngữ như trả lời câu hỏi, sinh văn bản, và dịch ngôn ngữ ở mức chất lượng tốt, đồng thời vẫn đối mặt với thách thức về khuôn khổ tài nguyên và rủi ro thiên lệch.
Ứng dụng bao gồm trợ lý viết, tóm tắt văn bản, hỗ trợ lập trình, phản hồi khách hàng và phân tích sentiment trong văn bản.
66B cho thấy xu hướng tiến bộ của các mô hình ngôn ngữ lớn với sự cân bằng giữa hiệu suất và chi phí vận hành. Để khai thác tiềm năng, cần giám sát an toàn, đạo đức và hiệu quả trong triển khai.
