Sau khi ChatGPT ra đời, các tay chơi Trung Quốc cũng nhanh chóng ra nhập mặt trận chatbot, nhưng hôm qua, 26/12/2024, tay chơi thực sự nặng ký mới xuất hiện.
DeepSeek AI được hỗ trợ bởi High-Flyer Capital Management, một quỹ đầu cơ định lượng của Trung Quốc chuyên sử dụng AI để đưa ra quyết định giao dịch. Mặc dù chịu ảnh hưởng cuộc chiến chip Mỹ-Trung, High-Flyer vẫn xoay sở để có cụm máy chủ riêng với khoảng 10.000 GPU Nvidia A100 (giá khoảng 138 triệu USD).
Tuy nhiên, DeepSeek V3 lại được huấn luyện bằng GPU Nvidia H800 trong vòng 2 tháng, với chi phí ước tính chỉ khoảng 5.5 triệu USD, chi phí quá nhỏ so với các đối thủ phương Tây khác.
Tài liệu kĩ thuật nói DeepSeek V3 được đào tạo trên một tập dữ liệu gồm 14,8 nghìn tỷ token với 671 tỷ tham số (bản trên Hugging Face có 685 tỷ tham số). Đây cũng là mô hình nguồn mở hoàn toàn, có cung cấp cả bản FP8 và có thể chuyển đổ sang BF16 dễ dàng.
Trong các thử nghiệm vài ngày gần đây, DeepSeek V3 vượt qua mặt hầu hết các mô hình LLM cả đóng và mở trong hầu hết các task tiêu chuẩn.
Điểm yếu có lẽ là duy nhất của mô hình này là nó vẫn đơn phương thức và bị kiểm duyệt khi trả lời một số câu hỏi nhạy cảm về Trung Quốc.
Thử ở đây (hỗ trợ tốt tiếng Việt): https://chat.deepseek.com
Hoặc xem kĩ hơn về mặt kĩ thuật trên HF: https://huggingface.co/deepseek-ai/DeepSeek-V3-Base
Hoặc đọc trực tiếp report kĩ thuât trên GH: https://github.com/.../DeepSeek-V3/blob/main/DeepSeek_V3.pdf
