Mô hình AI rẻ tiền đáng ngạc nhiên của Deepseek thách thức những người khổng lồ trong ngành. Khởi nghiệp Trung Quốc tuyên bố đã đào tạo mạng lưới thần kinh Deepseek V3 mạnh mẽ của mình chỉ với 6 triệu đô la, chỉ sử dụng GPU 2048, một sự tương phản rõ rệt với chi phí cao hơn đáng kể của các đối thủ. Tuy nhiên, con số dường như thấp này chỉ phản ánh việc sử dụng GPU trước khi đào tạo và không bao gồm nghiên cứu, sàng lọc, xử lý dữ liệu và chi phí cơ sở hạ tầng đáng kể.
Hình ảnh: Obligame.com
Kiến trúc sáng tạo của Deepseek V3 đóng góp cho hiệu quả của nó. Các công nghệ chính bao gồm dự đoán đa điểm (MTP), dự báo đồng thời nhiều từ; Hỗn hợp các chuyên gia (MOE), sử dụng 256 mạng lưới thần kinh để đào tạo tăng tốc; và sự chú ý tiềm ẩn đa đầu (MLA), tập trung vào các yếu tố câu quan trọng để cải thiện độ chính xác.
Hình ảnh: Obligame.com
Tuy nhiên, một cái nhìn gần hơn cho thấy một khoản đầu tư đáng kể. Phép bán phân tích đã phát hiện ra việc sử dụng khoảng 50.000 GPU phễu NVIDIA, trị giá khoảng 1,6 tỷ đô la, với chi phí hoạt động lên tới 944 triệu đô la. Điều này mâu thuẫn với yêu cầu 6 triệu đô la ban đầu.
Hình ảnh: Obligame.com
Thành công của Deepseek xuất phát từ sự kết hợp của các yếu tố: tài trợ đáng kể (hơn 500 triệu đô la đầu tư vào phát triển AI), tiến bộ công nghệ và một nhóm có tay nghề cao kiếm được mức lương đáng kể (một số vượt quá 1,3 triệu đô la hàng năm). Cấu trúc độc lập và quyền sở hữu của công ty đối với các trung tâm dữ liệu của mình góp phần vào sự nhanh nhẹn và hiệu quả của nó.
Hình ảnh: Obligame.com
Trong khi câu chuyện "thân thiện với ngân sách" của Deepseek được cho là tăng cao, thì thành tích của nó vẫn còn đáng kể. Công ty chứng minh rằng một thực thể AI độc lập, được tài trợ tốt có thể cạnh tranh hiệu quả với những người chơi đã thành lập, mặc dù đầu tư đáng kể cuối cùng được yêu cầu. Sự tương phản rõ ràng khi so sánh chi phí đào tạo: R1 của Deepseek có giá 5 triệu đô la, trong khi TATGPT4 có giá 100 triệu đô la được báo cáo. Mặc dù chi phí thực tế cao hơn, mô hình của Deepseek vẫn tương đối rẻ hơn so với các đối thủ cạnh tranh.