Alibaba phát hành mã nguồn mở Qwen3-Next, mô hình AI nhanh hơn, chi phí thấp hơn và chạy được trên phần cứng phổ thông

Mô hình nhanh hơn, rẻ hơn, hướng đến nhà phát triển và doanh nghiệp

Alibaba Cloud đã phát hành một dòng mô hình ngôn ngữ lớn mã nguồn mở theo kiến trúc mới mang tên Qwen3-Next. Mô hình chủ lực Qwen3-Next-80B-A3B có 80 tỷ tham số, nhưng sở hữu những lựa chọn thiết kế giúp hệ thống chạy nhanh hơn nhiều và với chi phí thấp hơn đáng kể so với các mô hình Qwen trước đây. Alibaba cho biết việc huấn luyện mô hình nền tảng mới cần chưa đến một phần mười lượng tính toán dùng cho Qwen3-32B, mô hình đặc trước đó được phát hành hồi tháng 4, trong khi dòng mới đạt chất lượng tương đương mô hình Qwen3-235B lớn hơn của công ty ở nhiều tác vụ.

Alibaba cung cấp các mô hình cho nhà phát triển dưới dạng mã nguồn mở, cho phép tải xuống và truy cập API thông qua những nền tảng mô hình lớn cùng dịch vụ đám mây của hãng. Công ty định vị Qwen là một hệ sinh thái nhà phát triển đang phát triển nhanh. Chiến lược này phù hợp với xu hướng rộng hơn của các nhóm AI Trung Quốc: công bố những mô hình chất lượng cao để bên khác có thể kiểm tra và phát triển dựa trên đó, qua đó mở rộng mức độ ứng dụng mà không cần dựa vào hạ tầng tập trung quy mô lớn.

Bên cạnh những tuyên bố về hiệu quả huấn luyện, Qwen3-Next còn hướng đến tốc độ và khả năng xử lý ngữ cảnh dài khi suy luận. Trong các thử nghiệm do Alibaba công bố, kiến trúc này đạt thông lượng cao hơn hơn 10 lần với các câu lệnh dài hơn 32.000 token so với những phiên bản Qwen trước. Cửa sổ ngữ cảnh đạt 256.000 token và trong một số thiết lập có thể mở rộng lên 1 triệu token. Nhờ vậy, mô hình xử lý thuận tiện hơn các tài liệu dài như sách, kho mã nguồn lớn và những đầu vào có khối lượng lớn khác.

Những thay đổi bên trong Qwen3-Next

Thế hệ này giới thiệu một số thành phần đang dần trở thành công cụ tiêu chuẩn cho AI tiên tiến. Cốt lõi là Mixture of Experts (MoE) thưa, một thiết kế trong đó nhiều mạng chuyên gia nhỏ được huấn luyện nhưng chỉ một vài mạng được sử dụng cho mỗi token. Qwen3-Next kết hợp MoE với cơ chế chú ý lai để xử lý chuỗi dài, dự đoán nhiều token nhằm tăng tốc sinh văn bản và các điều chỉnh trong huấn luyện để giảm bất ổn khi học tăng cường (RL). Ở mô hình Qwen3-Next-80B-A3B-Base, chỉ khoảng 3 tỷ tham số hoạt động trong mỗi bước, dù tổng cộng mô hình có 80 tỷ tham số.

Alibaba cho biết mô hình nền tảng đạt chất lượng tương đương, đôi khi tốt hơn, Qwen3-32B đặc, trong khi chỉ sử dụng chưa đến 10% số giờ GPU để huấn luyện. Khi suy luận, kiến trúc này duy trì mức tính toán thấp nhưng vẫn giữ được năng lực, nhờ đó nhóm phát triển ghi nhận tốc độ tăng mạnh khi xử lý ngữ cảnh dài và chi phí tốt hơn trên cả phần cứng đám mây lẫn thiết bị phổ thông.

Mixture of Experts, giải thích đơn giản

Trong mô hình Mixture of Experts, mạng học nhiều mô hình con chuyên biệt gọi là các chuyên gia. Một mô-đun định tuyến nhẹ quyết định chuyên gia nào sẽ xử lý từng token. Qwen3-Next sử dụng mức độ thưa cao, nghĩa là tại một thời điểm chỉ có một phần nhỏ các chuyên gia được kích hoạt. Một số báo cáo cho biết có 512 chuyên gia, trong đó 10 chuyên gia hoạt động trên mỗi token ở một số lớp. Nhờ đó, chi phí tính toán và bộ nhớ cho mỗi lượt truyền xuôi tương đương với một mạng đặc nhỏ hơn nhiều, trong khi toàn bộ chuyên gia vẫn mang lại cho mô hình năng lực tổng thể lớn.

Đổi lại, quá trình huấn luyện phức tạp hơn và cần có cơ chế lập lịch để bảo đảm các chuyên gia được phân bổ cân bằng. Alibaba cho biết họ đã xử lý những vấn đề ổn định thường xuất hiện khi kết hợp MoE thưa với tinh chỉnh theo kiểu RL. Với nhà phát triển, điểm quan trọng là chi phí khi chạy mô hình tăng theo số tham số đang hoạt động, chứ không phải tổng số tham số.

Cơ chế chú ý lai và ngữ cảnh dài

Các lớp chú ý là thành phần của transformer cho phép mô hình xem xét các token đầu vào và xác định nội dung nào quan trọng. Cơ chế chú ý tiêu chuẩn trở nên tốn kém khi đầu vào dài hơn, vì chi phí tăng theo bình phương độ dài chuỗi. Qwen3-Next kết hợp chú ý tiêu chuẩn với những phương pháp ước lượng ngữ cảnh theo cách gọn nhẹ hơn, được nhóm phát triển mô tả là Gated DeltaNet kết hợp với chú ý cổ điển. Kết quả là thông lượng cao hơn với đầu vào dài và ít bị chậm lại khi câu lệnh tăng độ dài. Alibaba báo cáo thông lượng cao hơn hơn 10 lần với độ dài ngữ cảnh trên 32.000 token, cửa sổ 256.000 token theo mặc định và tùy chọn mở rộng lên 1 triệu token trong những trường hợp đặc biệt. Nhóm cũng ghi nhận mức cải thiện gần tuyến tính ở một số chế độ, gồm tốc độ nạp ngữ cảnh ban đầu (prefill) nhanh hơn khoảng 7 lần và giải mã (decode) nhanh hơn khoảng 4 lần ở ngữ cảnh ngắn hơn.

Dự đoán nhiều token và giải mã

Dự đoán nhiều token tìm cách dự đoán cùng lúc một số token tiếp theo, rồi điều chỉnh nếu dự đoán sai. Khi kết hợp với giải mã suy đoán, phương pháp này giảm số lượt truyền xuôi tốn kém cần thiết để tạo câu trả lời liên tục. Qwen3-Next hỗ trợ cách tiếp cận này và tích hợp với các hệ thống suy luận phổ biến như SGLang và vLLM, giúp giảm độ trễ trong các dịch vụ vận hành thực tế. Nhóm cũng đề cập đến Zero Centered RMSNorm và các lựa chọn tối ưu hóa khác nhằm ổn định quá trình huấn luyện. Khi kết hợp với MoE thưa, các yếu tố này giúp tăng tốc độ tạo nội dung mà không làm giảm đáng kể chất lượng.

Hai phiên bản mô hình cho làm theo chỉ dẫn và suy luận

Khi phát hành, Alibaba cung cấp hai mô hình đã hậu huấn luyện dựa trên mạng nền tảng. Qwen3-Next-80B-A3B-Instruct hướng đến việc làm theo chỉ dẫn thông thường, trò chuyện và sử dụng công cụ. Trong các thử nghiệm của công ty, mô hình đạt hiệu quả gần với phiên bản chủ lực 235 tỷ tham số ở nhiều tác vụ tổng quát, đồng thời thể hiện thế mạnh khi câu lệnh có ngữ cảnh rất dài, lên tới 256.000 token.

Qwen3-Next-80B-A3B-Thinking được tinh chỉnh cho các bài toán suy luận phức tạp. Alibaba nhấn mạnh mô hình đạt điểm cao hơn các phiên bản Qwen3 tầm trung của chính hãng và vượt Gemini 2.5 Flash Thinking đóng trên một số bộ chuẩn được chọn để đánh giá. Công ty nêu kết quả 60,8% trên SuperGPQA, một bộ kiểm tra khó ở trình độ sau đại học. Điểm chuẩn là chỉ báo hữu ích, nhưng người mua nên tự thử nghiệm trên các tác vụ chuyên ngành, gồm lập trình, tạo sinh tăng cường bằng truy xuất (RAG), toán học và lập kế hoạch nhiều bước.

Tốc độ, chi phí và yêu cầu phần cứng

Những cải thiện nổi bật liên quan đến cả chi phí lẫn thời gian. Alibaba cho biết quá trình huấn luyện mô hình nền tảng chỉ tiêu tốn chưa đến 10% lượng tính toán cần cho Qwen3-32B. Khi suy luận, chỉ khoảng 3 tỷ tham số hoạt động trên mỗi token, nhờ đó mô hình có thể trả lời với áp lực lên bộ nhớ GPU và mức tiêu thụ năng lượng thấp hơn. Điều này giúp giảm yêu cầu phần cứng để cung cấp cùng mức dịch vụ, hoặc tăng thông lượng yêu cầu trên cùng một cấu hình.

Kiến trúc này phát huy thế mạnh với các câu lệnh dài. Alibaba báo cáo thông lượng tăng theo cấp số nhân với đầu vào dài hơn 32.000 token và có cải thiện đáng kể ở chuỗi ngắn hơn, gồm tốc độ prefill nhanh hơn khoảng 7 lần và decode nhanh hơn khoảng 4 lần trong một số thử nghiệm. Với cửa sổ 256.000 token, chuyên gia phân tích có thể đưa toàn bộ hợp đồng, bản ghi hội thoại hoặc tệp mã nguồn lớn vào một yêu cầu, sau đó đề nghị mô hình tóm tắt, so sánh hoặc tạo nội dung chỉnh sửa. Công ty nhấn mạnh dòng mô hình mới được tối ưu để chạy tốt trên phần cứng phổ thông, giúp phát triển nguyên mẫu tiên tiến mà không cần cụm máy tính lớn.

Tính khả dụng và cách truy cập

Các mô hình Qwen3-Next được phát hành để nhiều người có thể truy cập. Chúng có trên các nền tảng mô hình phổ biến như Hugging Face và ModelScope, đồng thời được cung cấp qua Alibaba Cloud Model Studio để triển khai dưới dạng dịch vụ được quản lý. Người dùng có thể gọi các điểm cuối lưu trữ trên đám mây hoặc tải trọng số về để suy luận cục bộ. Dòng mô hình này cũng có trên NVIDIA API Catalog, và một số phiên bản được đăng lại trên Kaggle để tiện thử nghiệm.

Bản phát hành đi cùng các tiện ích như Qwen3-ASR-Flash, thành phần chuyển giọng nói thành văn bản hỗ trợ 11 ngôn ngữ lớn, theo nhóm phát triển. Alibaba khuyến khích nhà phát triển xem xét điều khoản cấp phép của từng mô hình, đặc biệt khi sử dụng thương mại hoặc có lưu lượng truy cập cao, sau đó thử nghiệm với bộ dữ liệu và khối lượng công việc của riêng mình. Hỗ trợ các khung suy luận như SGLang và vLLM, cùng các mô thức kích hoạt thân thiện với phần cứng, có thể rút ngắn quá trình đưa sản phẩm từ bản trình diễn thành dịch vụ đáng tin cậy.

Tác động đến cuộc cạnh tranh AI

Động thái này cho thấy cuộc cạnh tranh rộng hơn giữa các phòng thí nghiệm trên toàn cầu nhằm giúp nhiều người sử dụng mô hình mạnh với chi phí thấp hơn. Các công ty Trung Quốc đang đẩy mạnh AI mã nguồn mở để mở rộng mức độ ứng dụng và bắt kịp đối thủ phương Tây về năng lực. Alibaba cho biết hệ sinh thái Qwen đã trở thành một trong những cộng đồng mã nguồn mở lớn nhất dành cho nhà phát triển. Tập đoàn cũng giới thiệu trước Qwen3-Max, một mô hình có hơn 1 nghìn tỷ tham số, gần đây đứng thứ sáu trên bảng xếp hạng chatbot LMArena do các nhà nghiên cứu tổ chức. Bên cạnh Alibaba, những công ty như DeepSeek và Meituan cũng đang phát hành các mô hình và dịch vụ có sức cạnh tranh.

Các mô hình nền tảng rẻ hơn và nhanh hơn rất quan trọng vì năng lực tính toán vừa khan hiếm vừa đắt đỏ. Các hạn chế xuất khẩu chip tiên tiến gây thêm áp lực ở Trung Quốc, còn nhiều nhóm nghiên cứu tại Mỹ và châu Âu cũng thiếu GPU. Những kiến trúc giữ phần lớn tham số ở trạng thái không hoạt động khi suy luận mở ra cơ hội để các phòng thí nghiệm nhỏ, công ty khởi nghiệp và trường đại học vận hành mô hình chất lượng cao trên máy chủ vừa phải. Giới đầu tư đang chú ý đến xu hướng này; cổ phiếu Alibaba tăng giá trong năm nay khi công ty tập trung trở lại vào đám mây và AI. Tác động cạnh tranh sẽ lan rộng khi ngày càng nhiều tổ chức đưa AI mã nguồn mở vào quy trình làm việc hằng ngày.

Điểm chuẩn, tính minh bạch và đánh giá thận trọng

Bảng xếp hạng mô hình rất hữu ích, nhưng có thể che khuất những đánh đổi. Số liệu tốc độ thay đổi tùy theo kích thước lô, khung phần mềm, phương pháp lượng tử hóa và phần cứng. Độ chính xác cũng thay đổi theo lĩnh vực, cách viết câu lệnh và việc có sử dụng công cụ như trình thông dịch mã hay hệ thống truy xuất hay không. Các nhà cung cấp cũng tự chọn bộ thử nghiệm. Đánh giá độc lập của cộng đồng và khách hàng thường mang lại bức tranh đầy đủ hơn về điểm mạnh và hạn chế.

Các nhóm đánh giá Qwen3-Next nên xem xét nhiều hơn một điểm số trên một bộ chuẩn đơn lẻ. Hãy đo độ chính xác với ngữ cảnh dài, khả năng dùng công cụ, độ tin cậy khi làm toán và lập trình, cũng như cách mô hình hoạt động khi có các ràng buộc an toàn. Theo dõi mức sử dụng bộ nhớ và thông lượng ở độ dài ngữ cảnh phù hợp với nhu cầu. Nếu ứng dụng cần câu trả lời có căn cứ, hãy kết hợp mô hình với hệ thống truy xuất và kiểm tra dấu vết bằng chứng. Nếu cần chuỗi suy luận nhất quán, hãy so sánh phiên bản Thinking với hệ thống hiện tại.

Ứng dụng và lĩnh vực có thể hưởng lợi

Qwen3-Next có vẻ được thiết kế cho các ứng dụng cần ngữ cảnh dài, phản hồi nhanh và kiểm soát chặt chi phí. Các nhóm pháp lý và tài chính có thể phân tích lượng lớn tài liệu, tạo bản tóm tắt theo yêu cầu mà vẫn giữ trích dẫn. Đơn vị phụ trách hỗ trợ khách hàng có thể hợp nhất cơ sở tri thức và hướng dẫn xử lý sự cố dài thành một trợ lý có khả năng suy luận trên hàng nghìn trang. Các nhóm phần mềm có thể đưa kho mã nguồn và nhật ký hệ thống vào để hỗ trợ rà soát mã, tái cấu trúc và tạo kiểm thử.

Nhà nghiên cứu có thể tải lên các bài báo dài và bộ dữ liệu để so sánh phương pháp và kết quả. Các đơn vị truyền thông và giáo dục có thể chuyển âm thanh thành văn bản rồi dịch bằng Qwen3-ASR-Flash, sau đó dùng mô hình ngôn ngữ để tạo tài liệu học tập hoặc dàn ý nội dung. Chính phủ và các ngành chịu sự quản lý chặt chẽ, vốn cần triển khai tại chỗ, có thể tận dụng khả năng chạy mô hình mạnh trên máy chủ phổ thông cùng hoạt động giám sát cẩn trọng, ghi nhật ký kiểm toán và bộ lọc nội dung.

Kết luận

• Alibaba phát hành Qwen3-Next và công bố mã nguồn mở dòng Qwen3-Next-80B-A3B.
• Quá trình huấn luyện sử dụng chưa đến 10% lượng tính toán của Qwen3-32B, trong khi đạt kết quả ngang bằng hoặc tốt hơn trong các thử nghiệm.
• Nhờ Mixture of Experts thưa, chỉ khoảng 3 tỷ trong tổng số 80 tỷ tham số hoạt động trên mỗi token.
• Thông lượng tăng hơn 10 lần với câu lệnh dài trên 32.000 token; cửa sổ ngữ cảnh đạt 256.000 token.
• Trong một số thiết lập, có thể mở rộng lên 1 triệu token; tốc độ prefill và decode cũng được cải thiện ở ngữ cảnh ngắn hơn.
• Hai phiên bản hậu huấn luyện đáp ứng nhu cầu làm theo chỉ dẫn và suy luận phức tạp; các thử nghiệm của công ty cho thấy chúng vượt một số đối thủ đóng.
• Các mô hình có trên Hugging Face, ModelScope, Alibaba Cloud Model Studio và NVIDIA API Catalog.
• Quyền truy cập mã nguồn mở và yêu cầu phần cứng thấp hơn giúp mở rộng ứng dụng trong các công ty khởi nghiệp, doanh nghiệp và nhóm nghiên cứu.