66b là một mô hình ngôn ngữ thế hệ mới với quy mô tham số xấp xỉ 66 tỷ, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngôn ngữ và miền chuyên môn. Nó kết hợp kiến trúc transformer tối ưu hóa hiệu suất, khả năng tổng hợp thông tin và khả năng thích nghi với dữ liệu đa dạng.
Với kích thước lớn, 66b cho phép sinh văn bản tự nhiên, trả lời câu hỏi, tóm tắt tài liệu và tham gia vào các hệ thống hội thoại phức tạp. Tuy nhiên, nó cũng đòi hỏi nguồn lực tính toán và quản trị rủi ro về an toàn, đạo đức và chất lượng dữ liệu.
66b dựa trên lớp encoder-decoder hoặc decoder-only tùy biến, với các cải tiến như chú ý đa đầu, định hướng chú ý bằng vị trí, và tối ưu hóa bộ nhớ. Việc huấn luyện trên tập dữ liệu lớn mang lại khả năng hiểu ngữ cảnh và sinh nội dung chất lượng.
Quá trình đào tạo bao gồm tiền xử lý dữ liệu, cân bằng giữa nhiều ngôn ngữ và lĩnh vực, cũng như kỹ thuật như làm giàu dữ liệu, phân tách phần mềm và tinh chỉnh theo người dùng. Tối ưu hóa hạ tầng và chi phí vận hành giúp mô hình dễ triển khai hơn trong thực tế.
