66B là một mô hình ngôn ngữ lớn (LLM) với quy mô 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và thực hiện nhiều nhiệm vụ trí tuệ nhân tạo khác nhau. Với khả năng hiểu và tạo nội dung ở nhiều ngôn ngữ, 66B nhắm tới sự cân bằng giữa hiệu suất và yêu cầu tính toán.
Kiến trúc nổi bật dựa trên dạng transformer, với các lớp chú ý tự động và tầng feedforward tối ưu hoá cho tốc độ suy diễn và chất lượng đầu ra. Quy mô 66 tỷ tham số cho phép 66B nắm bắt các mẫu ngôn ngữ phức tạp, tuy nhiên cũng đi kèm thách thức về việc quản lý hiệu suất, memory footprint và độ tin cậy của kết quả.
Đào tạo 66B dựa trên khối lượng dữ liệu đa ngôn ngữ và đa lĩnh vực, bao gồm văn bản từ sách, bài báo, website và nguồn dữ liệu công khai khác. Quá trình huấn luyện chú trọng vào chất lượng dữ liệu, biên tập và kỹ thuật giảm thiểu thiên lệch để đảm bảo tính an toàn và tính đa dạng trong đầu ra.
