Giải mã tuyên bố DeepSeek huấn luyện với 294.000 USD: Vì sao R1 thực sự tốn hàng triệu USD

Vì sao mức giá 294.000 USD khiến giới AI sửng sốt

Khi DeepSeek công bố một bài báo bình duyệt về mô hình suy luận R1 trên tạp chí Nature, có một con số thu hút sự chú ý của cả thế giới: 294.000 USD. Các tiêu đề báo chí cho rằng mô hình chủ lực này được huấn luyện với chi phí chỉ bằng một phần nhỏ so với mức mà các đối thủ Mỹ được cho là đã chi. Con số đó là thật, nhưng chỉ áp dụng cho một phần hẹp của quá trình. Khoản tiền này chi trả cho giai đoạn học tăng cường cuối cùng, giúp mô hình cải thiện khả năng suy luận từng bước. Nó không bao gồm nhiều tháng tiền huấn luyện trên một mô hình nền lớn hơn nhiều, vốn là cơ sở để R1 hoạt động.

Hiệu năng của R1 dựa trên DeepSeek V3, một mô hình ngôn ngữ lớn được huấn luyện trên kho dữ liệu khổng lồ bằng một cụm máy tính quy mô lớn. Chỉ sau khi xây dựng nền tảng tốn kém đó, nhóm nghiên cứu mới triển khai học tăng cường để hướng mô hình đến khả năng lập luận và giải quyết vấn đề tốt hơn. Việc đánh đồng bước hoàn thiện với toàn bộ dự án đã biến một khoản chi phí chuyên biệt thành tiêu đề gây chú ý.

Sự khác biệt này rất quan trọng. Một mô hình có thể cạnh tranh với những hệ thống tốt nhất về lập trình và toán học không thể xuất hiện chỉ sau một cuối tuần với vài giá máy chủ. Quá trình đó đòi hỏi năng lực tính toán liên tục, chọn lọc dữ liệu kỹ lưỡng, thử nghiệm nhiều lần, làm công tác an toàn và đánh giá cẩn trọng, cùng một giai đoạn tối ưu hóa cuối cùng. Bài báo trên Nature hé lộ giá trị về giai đoạn cuối đó, nhưng không xóa đi khối lượng công việc nặng nhọc đã diễn ra trước đó.

Bài báo trên Nature thực sự nói gì

Tài liệu bổ sung về R1 mô tả một đợt chạy học tăng cường trên 512 GPU Nvidia H800. Tài liệu cho biết giai đoạn huấn luyện ban đầu của R1 Zero kéo dài khoảng 198 giờ, sau đó mất thêm 80 giờ để tạo ra phiên bản R1 được phát hành. Nhóm nghiên cứu cũng ghi nhận khoảng 5.000 giờ GPU để tạo dữ liệu sở thích dùng trong quá trình này. Nếu tính theo mức thuê phổ biến của bộ tăng tốc dòng H800, tổng chi phí cho các bước đó chưa đến 300.000 USD. Con số này không đại diện cho toàn bộ thời gian và năng lực tính toán cần thiết để xây dựng từ đầu một mô hình tiên tiến.

Bài báo cũng làm rõ bối cảnh phần cứng. DeepSeek chủ yếu huấn luyện R1 trên H800, loại chip Nvidia thiết kế cho Trung Quốc sau khi các quy định xuất khẩu của Mỹ hạn chế khả năng tiếp cận những bộ tăng tốc cao cấp hơn. Nhóm nghiên cứu thừa nhận đã dùng GPU A100 cho công việc chuẩn bị với một mô hình nhỏ hơn, sau đó chuyển sang H800 để thực hiện đợt chạy học tăng cường chính của R1. Độc giả có thể xem chi tiết kỹ thuật và các khoản chi trong tài liệu bình duyệt do tạp chí Nature đăng tải.

Hóa đơn thực sự để xây dựng R1 bắt đầu từ quá trình tiền huấn luyện V3

Tài liệu của chính DeepSeek chỉ ra khoản chi lớn nhất: tiền huấn luyện mô hình nền V3, nền tảng để xây dựng R1. V3 được huấn luyện trên 2.048 GPU H800 trong khoảng hai tháng. Khoảng thời gian đó tương đương gần 2,79 triệu giờ GPU. Nếu lấy mức thuê thận trọng khoảng 2 USD mỗi giờ GPU cho dòng phần cứng này, riêng đợt tiền huấn luyện đã tiêu tốn gần 5,58 triệu USD. Cộng thêm khoảng 294.000 USD cho học tăng cường và tạo dữ liệu liên quan, hóa đơn tính toán để hoàn thiện phiên bản R1 được phát hành lên gần 5,87 triệu USD.

Ước tính này phù hợp với cách bài báo trình bày: 294.000 USD cho R1 là khoản chi thêm ngoài mô hình nền. Nó cũng tương đồng với các phân tích bên ngoài, theo đó quy mô tính toán tổng thể của R1 nằm cùng khoảng với những mô hình mở lớn khác. Con số này vẫn thấp nếu so với ngân sách được đồn đoán của các hệ thống đóng lớn nhất, nhưng khác xa mức giá hời mà tiêu đề dưới 300.000 USD gợi ra.

Cách tính giờ GPU

Giờ GPU là cách đơn giản để đo năng lực tính toán: một GPU hoạt động trong một giờ tương đương một giờ GPU. Tổng số của một đợt huấn luyện được tính bằng số GPU nhân với số giờ hoạt động. Chi phí phụ thuộc vào giá thị trường của số giờ đó, dù là thuê trên đám mây hay tính khấu hao và vận hành phần cứng sở hữu. Nhà phát triển thuê hơn 2.000 bộ tăng tốc trong nhiều tháng sẽ trả phí theo giờ. Nhà phát triển mua cùng cụm máy phải trả vốn đầu tư ban đầu, rồi chi cho điện, làm mát, mặt bằng và bảo trì.

Mua một cụm máy ở quy mô này sẽ tốn kém hơn nhiều so với thuê để chạy một lần. Trang bị 2.048 GPU dòng H800, hệ thống mạng và máy chủ sẽ tiêu tốn hơn 51 triệu USD theo giá thị trường hiện nay; con số này chưa tính thời gian kỹ thuật, giấy phép dữ liệu, nhân lực đánh giá, lưu trữ và nhiều thử nghiệm thất bại trước khi có bản phát hành thành công. Nên xem mức 5,87 triệu USD là chi phí cho các đợt chạy lớn đã thành công, chứ không phải tổng chi phí nghiên cứu để tạo điều kiện cho chúng.

Học tăng cường là bước hoàn thiện, không phải toàn bộ quá trình

Học tăng cường thay đổi cách một mô hình đã được huấn luyện vận hành bằng cách thưởng cho những kết quả mong muốn. Trong chương trình R1, DeepSeek sử dụng một kỹ thuật chấm điểm câu trả lời và hướng mô hình đến những lời giải cho kết quả chính xác. Các nhà nghiên cứu gọi đây là phương pháp học tăng cường thuần túy. Phương pháp này không cần chuỗi suy nghĩ do con người viết. Mô hình tự tìm tòi và thử nghiệm các hướng đi, nhận tín hiệu về độ chính xác rồi dần cải thiện chiến lược suy luận nội tại.

Bước hoàn thiện này rất hữu ích. Nó có thể giúp tăng hiệu năng trong toán học, lập trình và các nhiệm vụ khoa học, nơi mục tiêu là đạt được kết quả có thể kiểm chứng. Chi phí của bước này cũng thấp hơn nhiều so với tiền huấn luyện. Khối lượng công việc chính vẫn là nhiều tháng học tập, giúp mô hình nền tích lũy kiến thức ngôn ngữ và năng lực tổng quát. Sau đó, học tăng cường định hình những năng lực ấy để phục vụ các mục tiêu cụ thể như suy luận từng bước và sử dụng công cụ.

Chip, quy định xuất khẩu và phần cứng DeepSeek thực sự đã dùng

DeepSeek huấn luyện mô hình trong điều kiện nguồn cung chip bị hạn chế. Mỹ hạn chế xuất khẩu bộ tăng tốc cao cấp sang Trung Quốc, vì vậy H800, phiên bản GPU trung tâm dữ liệu của Nvidia được điều chỉnh để phù hợp quy định xuất khẩu, xuất hiện trong nhiều tài liệu của DeepSeek. Giới công nghệ xôn xao đồn đoán rằng các nhà nghiên cứu ở Trung Quốc tìm được cách tiếp cận những dòng chip nhanh hơn, còn các tuyên bố của công ty được soi từng dòng để tìm manh mối về nguồn phần cứng. Tuy nhiên, điều rõ ràng hơn cả trong câu chuyện chi phí là: giai đoạn học tăng cường của R1 sử dụng cụm 512 H800, còn công việc chuẩn bị trước đó có dùng A100.

Trong tài liệu bổ sung, nhóm nghiên cứu đã xác nhận điều này. Họ giải thích vai trò của A100 trong giai đoạn thiết lập trước khi thực hiện các đợt chạy R1 chính trên H800.

Các nhà nghiên cứu DeepSeek viết: "Trong nghiên cứu về DeepSeek-R1, chúng tôi đã sử dụng GPU A100 để chuẩn bị các thử nghiệm với một mô hình nhỏ hơn."

Chi tiết này giúp giải thích vì sao ngân sách cuối cùng và cơ cấu chip có thể cùng chính xác. H800 được tính vào khoản chi cho học tăng cường chính, còn A100 xuất hiện trong các thử nghiệm trước đó, góp phần định hình phương pháp.

DeepSeek có rẻ hơn nhiều so với các đối thủ phương Tây không?

Tổng hóa đơn tính toán để tạo ra R1 gần 6 triệu USD hơn là 300.000 USD. Dù vậy, con số này vẫn chỉ bằng một phần ngân sách hàng trăm triệu USD được đồn đoán dành cho các hệ thống đóng tiên tiến. Xét theo số lượng bộ tăng tốc và thời gian huấn luyện, mức chi cũng tương đương với các mô hình mở lớn như Llama 4 của Meta, dù những chương trình đó sử dụng nhiều token hơn. Khoảng cách này đáng chú ý, nhưng không phải cuộc cách mạng giúp cắt giảm chi phí toàn bộ quy trình xuống còn một phần mười.

Một lý do khiến nhiều độc giả vẫn xem DeepSeek là công ty dẫn đầu về chi phí là cách nhóm nghiên cứu khai thác chip trong điều kiện hạn chế. Công ty mở rộng quy mô kiến trúc hỗn hợp chuyên gia, chỉ kích hoạt một phần nhỏ tham số cho mỗi token. Nhờ vậy, số lượng xử lý trên mỗi giờ GPU cao hơn. Công ty cũng dựa vào quá trình suy luận dài hơn lúc chạy mô hình, chuyển một phần gánh nặng từ tiền huấn luyện sang khâu sử dụng về sau.

Các nhà nghiên cứu cũng tranh luận về nguồn dữ liệu và việc chuyển giao kiến thức giữa các mô hình. DeepSeek đã sử dụng kỹ thuật chưng cất trong một số phần của hệ sinh thái, theo đó mô hình mạnh tạo câu trả lời để huấn luyện một mô hình nhỏ hơn hoặc rẻ hơn. Nhóm nghiên cứu cho biết mô hình nền V3 học từ dữ liệu thu thập trên web, trong đó có nội dung do AI tạo ra, bao gồm đầu ra từ các hệ thống khác. Bài báo mô tả đây là yếu tố tình cờ chứ không phải hành vi cố ý sao chép các bước lập luận. Sự phân biệt về mặt kỹ thuật này quan trọng với giới luật sư và nhà hoạch định chính sách, đồng thời cũng quan trọng với những người ước tính chi phí, muốn hiểu nhà phát triển có thể đạt được đến đâu khi dùng ít token và năng lực tính toán hơn.

Chuyên gia nói gì về chi phí và khả năng tiếp cận

Các học giả khuyến nghị nên đánh giá những con số của DeepSeek một cách tỉnh táo. Họ ghi nhận năng lực kỹ thuật thực sự của công ty, đồng thời cảnh báo không nên so sánh chi phí một cách đơn giản. Ngân sách huấn luyện thấp hơn vẫn có thể đem lại lợi ích cho thị trường nếu giúp giảm chi phí tiếp cận, nhưng các con số trên tiêu đề thường bỏ qua chi phí nhân lực, thử nghiệm và cơ sở hạ tầng.

Umar Iqbal, phó giáo sư khoa học máy tính và kỹ thuật tại Đại học Washington ở St. Louis, cho rằng việc giảm chi phí có thể mở rộng khả năng tiếp cận, đồng thời lưu ý đến những đánh đổi về quyền riêng tư và an ninh của AI vận hành trên quy mô đám mây.

Iqbal nói: "Để công nghệ được ứng dụng rộng rãi, chúng cần có giá phải chăng", đồng thời cho rằng chi phí phát triển thấp hơn có thể giúp triển khai nhiều thử nghiệm quy mô lớn hơn, nhưng cảnh báo các dịch vụ AI trên nền tảng đám mây đặt ra những câu hỏi thực sự về quyền kiểm soát dữ liệu và quyền riêng tư.

Ngay cả những người ủng hộ hướng đi kỹ thuật của DeepSeek cũng cảnh báo rằng các tổng chi phí huấn luyện được chia sẻ rộng rãi là thước đo chưa đầy đủ. Họ chỉ ra những lần chạy lặp lại, chu kỳ tinh chỉnh và công việc xử lý dữ liệu không nằm trong một lượt huấn luyện đầu cuối duy nhất.

Dữ liệu, chưng cất và nội dung có thể có trong tập huấn luyện

Chưng cất sử dụng phản hồi từ một hệ thống mạnh hơn để định hướng mô hình mục tiêu. Nhà phát triển có thể tạo ra hàng triệu cặp hỏi đáp chất lượng cao, chuỗi mã hoặc ví dụ về chuỗi suy nghĩ, rồi tinh chỉnh mô hình để tái tạo hành vi đó. Phương pháp này có thể nâng cao chất lượng mà không cần chạy lại những phần tốn kém nhất của quá trình tiền huấn luyện. Đây là lý do lớn giúp các nhóm nhỏ hơn tiệm cận hoặc đạt được một số năng lực cụ thể của các phòng thí nghiệm lớn hơn trong những lĩnh vực như toán học và lập trình.

DeepSeek cho biết một số phiên bản chưng cất trong dòng mô hình của công ty dựa trên các hệ thống mã nguồn mở như Llama của Meta. Với V3, công ty mô tả một đợt thu thập dữ liệu web trên diện rộng, trong đó có lượng đáng kể câu trả lời do AI tạo ra. Cách làm này vừa có lợi ích vừa có rủi ro. Nó có thể đẩy nhanh quá trình học các khuôn mẫu phổ biến, đồng thời đưa vào những vấn đề chưa rõ về giấy phép và chất lượng. Bài báo trên Nature khiến cộng đồng yêu cầu làm rõ hơn dữ liệu nào được sử dụng vào thời điểm nào và phần nào của quy trình dựa vào nhãn tổng hợp.

Vì sao tiêu đề 294.000 USD lan truyền và điều đó quan trọng thế nào

Con số 294.000 USD dễ truyền đạt và đủ gây choáng để tác động đến thị trường. Tháng 1, những sản phẩm DeepSeek đầu tiên đã làm dấy lên lo ngại rằng một đối thủ giá rẻ sẽ lấn át các công ty dẫn đầu ở Mỹ. Nhà đầu tư bán cổ phiếu của các hãng sản xuất chip và đối tác AI. Bài báo bình duyệt khơi lại chủ đề này bằng một câu ngắn lan truyền nhanh hơn cả phần chú thích. Nhiều độc giả và một số phóng viên đã xem học tăng cường là toàn bộ câu chuyện.

Bài báo không chỉ khuấy động sự quan tâm. Nó còn đặt ra một chuẩn mực về tính minh bạch khi đưa các con số cụ thể và chi tiết phương pháp vào hồ sơ khoa học công khai. Các chuyên gia bình duyệt yêu cầu DeepSeek giảm cách dùng từ nhân hóa, đồng thời làm rõ vấn đề an toàn, nguồn dữ liệu và năng lực tính toán. Điều đó có lợi cho khoa học và toàn ngành. Nó giúp cộng đồng hiểu kỹ thuật nào đem lại nhiều giá trị nhất và loại chi phí nào vẫn khó cắt giảm.

Điều này có ý nghĩa gì với chi phí AI và cạnh tranh

Kinh tế học về xây dựng mô hình đang thay đổi. Sau nhiều năm mở rộng quy mô, nhiều nhóm hiện chú trọng hơn đến tinh chỉnh và cho mô hình thêm thời gian suy luận, thay vì chỉ tăng kích thước tập dữ liệu và số lượng tham số. Điều này chuyển một phần gánh nặng chi phí xuống khâu suy luận, nơi mô hình suy nghĩ lâu hơn cho mỗi truy vấn và tiêu tốn nhiều năng lực tính toán hơn cho mỗi câu trả lời. Chi phí tiếp cận của người dùng cuối vẫn có thể giảm nếu mức tăng hiệu quả lớn hơn phần thời gian suy luận tăng thêm.

Kiến trúc hỗn hợp chuyên gia của DeepSeek, cách sử dụng học tăng cường để cải thiện suy luận và việc chưng cất có chọn lọc đều là một phần trong xu hướng phát triển mô hình theo hướng mô-đun hóa rộng hơn của toàn ngành. Các mô hình học hỏi lẫn nhau, nhóm nhỏ hơn xây dựng dựa trên những nền tảng lớn hơn, còn trọng số mở giúp các công ty khởi nghiệp có lợi thế ban đầu. Một nghiên cứu chính sách về xu hướng này ở châu Âu nhận định những thay đổi đó có thể giúp các công ty nhỏ cạnh tranh, nhưng cũng khiến việc thu hồi chi phí cố định cho huấn luyện nền tảng trở nên khó khăn hơn. Cạnh tranh về giá có thể tăng, trong khi các nhà phát triển tìm kiếm những cách bền vững để tích hợp AI vào sản phẩm và dịch vụ.

Một số nhà nghiên cứu cảnh báo rằng các số liệu huấn luyện được công bố thường tính thiếu chi phí để tạo ra một hệ thống hoàn thiện. Họ nhấn mạnh sự khác biệt giữa chi phí của một đợt chạy thành công cuối cùng và toàn bộ ngân sách bao gồm xử lý dữ liệu, các lần thử thất bại, đánh giá an toàn và nhiều tháng làm kỹ thuật.

Martin Vechev, giám đốc Viện INSAIT có trụ sở tại Thụy Sĩ, ca ngợi thành tựu kỹ thuật này, đồng thời cảnh báo không nên xem số liệu của một lần chạy đơn lẻ là tổng chi phí.

Vechev nói: "Con số 5 đến 6 triệu USD gây hiểu lầm vì chỉ tính cho một đợt huấn luyện; để phát triển một mô hình như vậy cần nhiều lần chạy và thử nghiệm, khiến chi phí thực tế cao hơn nhiều."

Nhận định đó phù hợp với bằng chứng về R1. Khoản tiết kiệm lớn của dự án đến từ những lựa chọn kiến trúc thông minh và phương pháp học tăng cường hiệu quả, chứ không phải do bỏ qua các khâu tiền huấn luyện tốn kém. Kết quả là một con đường đáng tin cậy để đạt hiệu năng cao với năng lực tính toán thấp hơn một số đối thủ, nhưng không phải phương pháp biến việc huấn luyện mô hình tiên tiến thành nhiệm vụ chỉ tốn chưa đến 300.000 USD.

Điểm chính

• Con số 294.000 USD cho DeepSeek R1 bao gồm học tăng cường trên 512 GPU H800 và việc tạo dữ liệu liên quan, chứ không phải toàn bộ quá trình huấn luyện mô hình.
• R1 dựa trên mô hình nền V3, được huấn luyện trên 2.048 GPU H800 trong khoảng hai tháng, tương đương gần 2,79 triệu giờ GPU.
• Ước tính chi phí thuê năng lực tính toán cho thấy quá trình tiền huấn luyện V3 tiêu tốn gần 5,58 triệu USD, đưa tổng chi phí để tạo ra R1 lên khoảng 5,87 triệu USD.
• Mua phần cứng tương đương sẽ tốn kém hơn nhiều so với thuê; một cụm máy thuộc lớp 2.000 GPU có giá trên 51 triệu USD, chưa tính chi phí vận hành.
• DeepSeek dùng GPU A100 cho công việc chuẩn bị, sau đó dùng H800 cho đợt chạy học tăng cường chính của R1.
• Quy mô tính toán của R1 gần với các mô hình mở lớn khác hơn so với những gì tiêu đề ban đầu gợi ý, dù vẫn gọn nhẹ khi đặt cạnh ngân sách hàng trăm triệu USD được đồn đoán của các mô hình đóng.
• Học tăng cường giúp cải thiện suy luận với chi phí tương đối thấp, còn khối lượng công việc lớn vẫn nằm ở tiền huấn luyện và xử lý dữ liệu.
• Chuyên gia cảnh báo các con số huấn luyện được công bố hiếm khi tính đến nghiên cứu và phát triển, chuẩn bị dữ liệu và nhiều lần chạy thất bại, vốn làm tăng chi phí thực tế của dự án.