Alibaba ra mắt Qwen3-Omni: mô hình AI đa phương thức mã nguồn mở

Đối thủ đa phương thức nguyên bản bước vào thế giới mã nguồn mở

Alibaba vừa công bố Qwen3-Omni, một mô hình trí tuệ nhân tạo đa phương thức nguyên bản có thể tiếp nhận văn bản, hình ảnh, âm thanh và video làm đầu vào, đồng thời phản hồi bằng văn bản hoặc giọng nói tổng hợp. Mô hình được phát hành dưới giấy phép Apache 2.0, cho phép sử dụng thương mại, chỉnh sửa và phân phối lại, đồng thời cấp quyền sử dụng bằng sáng chế. Sự kết hợp giữa năng lực đa dạng và giấy phép linh hoạt đưa Qwen3-Omni vào thế cạnh tranh trực tiếp với các hệ thống hàng đầu có mã nguồn đóng của Mỹ, đồng thời hạ thấp rào cản áp dụng cho startup, nhà nghiên cứu và doanh nghiệp lớn.

Qwen3-Omni ra mắt trong bối cảnh ngành đang chuyển sang các mô hình omni, tức nhóm hệ thống được thiết kế để hiểu và xử lý nhiều phương thức theo thời gian thực. Khác với các hệ thống ghép thêm khả năng xử lý giọng nói hoặc thị giác lên mô hình văn bản, Alibaba cho biết Qwen3-Omni được xây dựng như một hệ thống đa phương thức đầu cuối. Mô hình xử lý trực tiếp âm thanh và video trong quá trình suy luận, đồng thời tạo giọng nói thông qua một mô-đun chuyên dụng, nhờ đó có thể duy trì nhịp hội thoại, ngữ điệu và ngữ cảnh mà không cần chờ xử lý xong toàn bộ tệp.

Phiên bản đầu tiên tập trung vào dòng mô hình 30 tỷ tham số, sử dụng kiến trúc Mixture of Experts để duy trì tốc độ suy luận và khả năng mở rộng. Alibaba cho biết độ trễ gói tin đầu tiên thấp nhất là 234 mili giây đối với âm thanh và 547 mili giây đối với video, với hệ số thời gian thực (RTF) dưới một ngay cả khi có nhiều yêu cầu đồng thời. Hệ thống hỗ trợ 119 ngôn ngữ văn bản, 19 ngôn ngữ đầu vào bằng giọng nói và 10 ngôn ngữ đầu ra bằng giọng nói, mở ra khả năng phát triển trợ lý đa ngôn ngữ, tổng đài và dịch trực tiếp.

Sản phẩm ra mắt khi Alibaba định vị mảng điện toán đám mây là nhà cung cấp AI toàn diện, trong bối cảnh các mô hình mở của Trung Quốc tăng sức hút trên những nền tảng dành cho nhà phát triển. Chỉ trong vài ngày, các phiên bản Qwen3-Omni đã vươn lên dẫn đầu bảng xếp hạng xu hướng trên Hugging Face, phản ánh sự quan tâm lớn từ cộng đồng toàn cầu. Công ty cũng phân phối một phiên bản API nhanh hơn và lưu trữ trọng số để người dùng tải trực tiếp về triển khai tại chỗ.

Điểm khác biệt của Qwen3-Omni

Qwen3-Omni được thiết kế để suy nghĩ và nói song song. Thành phần Thinker xử lý suy luận đa phương thức. Thành phần Talker chuyển đầu ra của Thinker thành giọng nói tự nhiên, đồng thời trực tiếp sử dụng các đặc trưng âm thanh và hình ảnh làm điều kiện đầu vào. Cách tách biệt này cho phép nhà phát triển chèn bước truy xuất thông tin, kiểm tra an toàn hoặc xử lý logic nghiệp vụ vào giai đoạn Thinker trước khi hệ thống phát ngôn, phù hợp với các quy trình chịu sự quản lý chặt chẽ.

Thinker và Talker

Thinker là mô hình ngôn ngữ lớn được huấn luyện trên khoảng 2.000 tỷ token thuộc các dạng văn bản, giọng nói, hình ảnh và video. Mô hình sử dụng cơ chế định tuyến Mixture of Experts, theo đó mỗi token chỉ kích hoạt một phần nhỏ các tham số. Cách này giúp giảm chi phí tính toán và tăng thông lượng. Talker là bộ tạo giọng nói gọn nhẹ, sử dụng phương pháp tự hồi quy đa mã để giữ đặc trưng âm sắc và ngữ điệu, cùng mạng Code2Wav nhỏ gọn để tạo âm thanh nhanh chóng.

Phát trực tuyến thời gian thực và lưu bộ nhớ đệm

Độ trễ rất quan trọng trong hội thoại. Alibaba cho biết hệ thống phát trực tuyến có thể tạo token âm thanh đầu tiên trong khoảng một phần tư giây với âm thanh và khoảng nửa giây trong ngữ cảnh video. Hệ thống âm thanh có bộ mã hóa Audio Transformer mới, được huấn luyện trên 20 triệu giờ âm thanh có giám sát, chủ yếu là dữ liệu nhận dạng giọng nói tự động bằng tiếng Trung và tiếng Anh, đồng thời có dữ liệu bao phủ các ngôn ngữ khác trên toàn cầu. Bộ mã hóa hỗ trợ cả lưu bộ nhớ đệm trực tuyến cho cuộc gọi trực tiếp lẫn mã hóa ngoại tuyến cho các tác vụ theo lô.

Ngôn ngữ và ngữ cảnh dài

Nhà phát triển có thể gửi các câu lệnh và bản chép lời dài. Chế độ Thinking hỗ trợ tối đa 65.536 token ngữ cảnh, với chuỗi suy luận dài tới 32.768 token. Chế độ Non Thinking hỗ trợ tối đa 49.152 token. Mô hình tiếp nhận tối đa 16.384 token đầu vào và có thể tạo tối đa 16.384 token văn bản đầu ra. Hiện hệ thống giọng nói hỗ trợ 10 ngôn ngữ đầu ra, một phạm vi thiết thực cho các chương trình thử nghiệm toàn cầu trong lĩnh vực hỗ trợ khách hàng và dịch vụ hiện trường.

Mô hình, chế độ và giá

Alibaba phát hành ba phiên bản thuộc dòng 30B để các nhóm lựa chọn theo nhu cầu. Mô hình Instruct kết hợp đầy đủ Thinker và Talker để xử lý đầu vào âm thanh, video và văn bản, sau đó tạo đầu ra bằng văn bản và giọng nói. Mô hình Thinking tập trung vào suy luận phức tạp và chuỗi suy nghĩ dài. Mô hình này sử dụng cùng các dạng đầu vào đa phương thức nhưng chỉ xuất văn bản, phù hợp với nghiên cứu, phân tích và hồ sơ doanh nghiệp cần tuân thủ quy định. Mô hình Captioner là phiên bản chuyên biệt được tinh chỉnh cho tác vụ tạo chú thích âm thanh, hướng tới việc mô tả chính xác âm nhạc, lời nói và âm thanh hỗn hợp với tỷ lệ bịa thông tin thấp.

Qwen3-Omni có thể được tải xuống từ các kho lưu trữ mô hình, lấy mã nguồn và trọng số trên GitHub, hoặc sử dụng qua API của Alibaba Cloud, bao gồm tùy chọn Flash nhanh hơn dành cho dịch vụ tương tác. Người dùng mới được cấp miễn phí hạn mức một triệu token, có hiệu lực trong 90 ngày kể từ khi kích hoạt. Khi sử dụng trả phí, mức giá được tính trên mỗi nghìn token. Đầu vào văn bản có giá 0.00025 đô la, đầu vào hình ảnh hoặc video là 0.00046 đô la và đầu vào âm thanh là 0.00221 đô la. Với đầu ra, văn bản có giá 0.00096 đô la nếu đầu vào chỉ gồm văn bản, tăng lên 0.00178 đô la khi đầu vào có hình ảnh hoặc âm thanh. Khi nhà phát triển yêu cầu cả đầu ra văn bản lẫn âm thanh, phần âm thanh có giá 0.00876 đô la trên mỗi nghìn token, còn phần văn bản được miễn phí.

Đầu ra âm thanh qua API chỉ khả dụng ở chế độ Non Thinking. Lựa chọn này giúp đơn giản hóa việc điều phối giọng nói phát trực tuyến và tránh xung đột với quá trình suy luận có cấu trúc kéo dài. Các nhóm cần chuỗi suy nghĩ chuyên sâu vẫn có thể dùng mô hình Thinking để lập kế hoạch hoặc truy xuất thông tin, sau đó chuyển câu trả lời cuối cùng cho bộ kết xuất âm thanh hoặc mô hình Instruct để tạo giọng nói.

Đánh giá chuẩn và cách diễn giải

Alibaba cho biết mô hình đạt kết quả tốt trong 36 bài kiểm tra công khai, với điểm số dẫn đầu trong 22 bài và đứng đầu trong nhóm mô hình mở ở 32 bài. Các con số cho thấy đây là một hệ thống cân bằng, duy trì chất lượng văn bản và hình ảnh đồng thời cải thiện năng lực xử lý giọng nói. Trong các bài kiểm tra suy luận, Qwen3-Omni đạt 65.0 ở AIME25 và 76.0 ở ZebraLogic. WritingBench đạt 82.6. Trong nhận dạng âm thanh, mô hình ghi nhận tỷ lệ lỗi từ 4.69 và 5.89 từ trên Wenetspeech, cùng mức 2.48 trên Librispeech other, rất thấp đối với bộ dữ liệu này. Điểm số về gắn thẻ và phân loại âm nhạc, như 93.0 trên GTZAN và 52.0 trên RUL-MuchoMusic, cho thấy mô hình nhận diện tốt thể loại và đặc trưng âm thanh.

Các bài kiểm tra thị giác và toán học cũng cho thấy năng lực đáng kể. HallusionBench đạt 59.7, MMMU_pro đạt 57.0 và MathVision_full đạt 56.3. Trong bài kiểm tra hiểu video, Qwen3-Omni đạt 75.2 trên MLVU. Theo số liệu Alibaba công bố, những kết quả này giúp mô hình vượt nhiều hệ thống có mã nguồn đóng trong các bài kiểm tra cụ thể đó, bao gồm GPT 4o và Gemini 2.0 Flash.

Các bài đánh giá chuẩn không thể bao quát mọi tình huống người dùng gặp phải. Hội thoại thực tế có thể nhiều tạp âm hơn, giọng vùng miền khác nhau, điều kiện ánh sáng thay đổi, còn tác vụ nghiệp vụ thường phải kết hợp nhiều công cụ. Những đánh giá độc lập ban đầu lưu ý rằng đôi khi các mô hình nhỏ hơn gặp khó khăn ngoài những bài kiểm tra được tuyển chọn, dù đạt thành tích nổi bật trên bảng xếp hạng. Nhà phát triển nên chạy thử nghiệm chứng minh khả năng với dữ liệu của riêng mình, đặc biệt là các trường hợp đặc biệt như thuật ngữ chuyên ngành, sơ đồ chuyên biệt hoặc nhiều người nói chồng lấn.

So sánh với GPT 4o, Gemini và Gemma

Qwen3-Omni tham gia một lĩnh vực cạnh tranh cùng GPT 4o của OpenAI và Gemini 2.5 của Google. Các hệ thống này có năng lực mạnh và đã được tích hợp vào những nền tảng lớn, nhưng có mã nguồn đóng. Người dùng trả phí theo từng lần gọi và không được phép sửa đổi hợp pháp mô hình gốc hoặc phân phối lại. Qwen3-Omni được phát hành theo giấy phép Apache 2.0 linh hoạt, cho phép sử dụng thương mại, chỉnh sửa mã nguồn và trọng số, cũng như phân phối lại. Giấy phép này còn bao gồm quyền sử dụng bằng sáng chế. Sự kết hợp đó giúp giảm rủi ro pháp lý cho các công ty muốn tích hợp AI trực tiếp vào sản phẩm hoặc hạ tầng riêng.

Về chức năng, Qwen3-Omni tiếp nhận văn bản, hình ảnh, âm thanh và video, đồng thời có thể trả lời bằng văn bản hoặc giọng nói. GPT 4o nhận văn bản, hình ảnh và âm thanh làm đầu vào, đồng thời phản hồi bằng văn bản và giọng nói, nhưng cấu hình cốt lõi không tiếp nhận video clip làm đầu vào. Gemini 2.5 Pro có thể phân tích video đầu vào và cung cấp phản hồi bằng văn bản lẫn giọng nói thông qua các dịch vụ của Google. Alibaba định vị Qwen3-Omni là một hệ thống đa phương thức nguyên bản, trong đó giọng nói và thị giác là những thành phần cốt lõi chứ không phải bộ điều hợp gắn thêm vào nền tảng xử lý văn bản.

Google cũng cung cấp Gemma 3n dưới dạng mã nguồn mở theo giấy phép Apache 2.0. Gemma 3n tiếp nhận video, âm thanh, văn bản và hình ảnh, nhưng chỉ xuất văn bản. Với các nhóm muốn có một hệ thống hoàn toàn mở hỗ trợ đầu ra giọng nói trực tiếp, Qwen3-Omni có thể là lựa chọn duy nhất hiện nay vừa dùng giấy phép linh hoạt vừa tích hợp sẵn khả năng tạo giọng nói.

Vì sao Apache 2.0 quan trọng với người dùng

Giấy phép quyết định mô hình có thể chạy ở đâu và được thương mại hóa như thế nào. Apache 2.0 cho phép tinh chỉnh và phân phối lại theo hình thức đóng mà không buộc phải công bố các mô hình phái sinh. Giấy phép này bao gồm quyền sử dụng bằng sáng chế và giấy phép đóng góp. Với các ngành chịu sự giám sát chặt chẽ về quyền sở hữu trí tuệ, những điều khoản này giúp giảm rủi ro tích hợp. Doanh nghiệp có thể triển khai Qwen3-Omni trên máy chủ của mình, trên nền tảng đám mây tùy chọn hoặc tại thiết bị biên, đồng thời giữ kín các mô hình tùy chỉnh.

Ứng dụng cho doanh nghiệp và nhà phát triển

Qwen3-Omni hướng đến nhiều loại công việc. Hệ thống văn bản và giọng nói đa ngôn ngữ có thể hỗ trợ chép lời cuộc gọi tại tổng đài và dịch trực tiếp từ 19 ngôn ngữ đầu vào sang 10 ngôn ngữ đầu ra. Công cụ tạo chú thích âm thanh có thể mô tả âm nhạc, âm thanh môi trường và các đoạn âm thanh hỗn hợp cho biên tập viên, nhân viên lưu trữ và công cụ hỗ trợ. Quy trình xử lý hình ảnh có thể đọc ảnh chụp màn hình và ảnh chụp để nhận dạng ký tự quang học (OCR) và bố cục, hỗ trợ tự động hóa quy trình nội bộ và tiếp nhận khách hàng.

Khả năng hiểu video là điểm nổi bật. Nhân viên hỗ trợ có thể phân tích đoạn clip ngắn từ điện thoại để nhận diện đèn báo lỗi hoặc dây cáp đấu sai. Ứng dụng bảo trì có thể theo dõi luồng hình ảnh trực tiếp để xác nhận một van đã mở. Vì Thinker và Talker hoạt động song song, hệ thống có thể bắt đầu nói trong khi vẫn xử lý các khung hình mới, duy trì nhịp độ gần như giao tiếp của con người trong các tình huống rảnh tay.

Việc tách biệt rõ giữa suy nghĩ và lời nói giúp nhà phát triển kiểm soát hệ thống. Hệ thống truy xuất có thể đưa tài liệu công ty vào. Bộ lọc chính sách có thể sàng lọc nội dung. Các bước kiểm tra an toàn có thể xem xét dấu vết suy luận trước khi Talker phát âm thanh. Cách làm này phù hợp với trợ lý dành cho người tiêu dùng cần giữ đúng phong cách thương hiệu, công cụ tóm tắt cho doanh nghiệp cần tránh rò rỉ dữ liệu và công cụ hiện trường cần cung cấp hướng dẫn từng bước.

Sử dụng công cụ và tác tử

Qwen3-Omni có thể kết nối với các công cụ và dịch vụ bên ngoài để xử lý công việc phức tạp, bao gồm gọi công cụ tìm kiếm, truy vấn cơ sở dữ liệu hoặc kích hoạt công cụ điều phối quy trình. Alibaba cũng đang phát triển các khung tác tử trên nền tảng đám mây, cho phép cả nhóm ít viết mã lẫn nhóm chuyên sâu về lập trình kết hợp công cụ, lên lịch tác vụ và triển khai vào môi trường thực tế. Với cửa sổ ngữ cảnh trên 49.000 token ở chế độ Non Thinking, mô hình có thể duy trì các phiên nhiều bước kéo dài và theo dõi những hành động trước đó.

Áp dụng, thị trường và chiến lược

Sự quan tâm của nhà phát triển đến nhanh chóng. Một số phiên bản thuộc dòng Qwen3 chiếm nhiều vị trí đầu trên bảng xu hướng của kho mô hình lớn, trong đó Qwen3-Omni-30B-A3B thường đứng đầu. Mức độ chú ý này phản ánh làn sóng rộng hơn của các mô hình mở Trung Quốc đang thu hút sự quan tâm trong giới nghiên cứu và công nghiệp.

Tín hiệu thị trường cũng cho thấy xu hướng tương tự. Cổ phiếu Alibaba tăng giá khi niềm tin vào chiến lược AI và điện toán đám mây của công ty được củng cố, đi cùng các khuyến nghị mới từ giới phân tích và sự quan tâm trở lại của các quỹ toàn cầu. Công ty đang mở rộng mạng lưới trung tâm dữ liệu để phục vụ khách hàng bên ngoài Trung Quốc, với các cơ sở mới tại Brazil, Pháp và Hà Lan, cùng kế hoạch bổ sung công suất ở những khu vực khác. Alibaba cũng đầu tư mạnh vào hạ tầng AI, cam kết chi hàng chục tỷ đô la trong ba năm tới và cho biết tổng vốn đầu tư cho AI sẽ tăng lên.

Quan hệ đối tác phần cứng cũng là một phần trong kế hoạch. Alibaba công bố hợp tác phần mềm với Nvidia để tích hợp các công cụ phát triển AI phục vụ những lĩnh vực như huấn luyện, mô phỏng và kiểm định. Công ty cũng hé lộ mô hình Qwen3 Max lớn hơn với trên một nghìn tỷ tham số, hướng đến tạo mã nâng cao và khả năng hoạt động như tác tử. Điều này cho thấy Qwen3-Omni là một phần trong dòng sản phẩm rộng hơn, trải dài từ trợ lý tương tác đến các mô hình nghiên cứu quy mô lớn.

Đại diện Alibaba phát biểu

Tổng giám đốc điều hành Alibaba Group Eddie Wu đã định hướng thông điệp tại hội nghị thường niên của công ty ở Hàng Châu, nơi ông mô tả AI và điện toán đám mây là hai động lực tăng trưởng trong giai đoạn tiếp theo. Ông cũng nêu kế hoạch mở rộng trung tâm dữ liệu quốc tế và tăng cường quan hệ đối tác về huấn luyện và triển khai.

Trong phát biểu, Wu giải thích lý do công ty tăng đầu tư vào AI.

AI và điện toán đám mây là những động lực tăng trưởng của Alibaba bên cạnh thương mại điện tử. Chúng tôi sẽ mở rộng chi tiêu và công suất để đáp ứng nhu cầu toàn cầu.

Lin Junyang, nhà nghiên cứu thuộc nhóm Qwen, mô tả cách dự án kết hợp những nghiên cứu trước đó về giọng nói và thị giác để xây dựng hệ thống mới.

Chúng tôi kết hợp các dự án nền tảng về âm thanh và hình ảnh để xây dựng Qwen3 Omni.

Rủi ro, giới hạn và những điều cần theo dõi

Dù kết quả đánh giá chuẩn rất ấn tượng, vẫn còn những câu hỏi chỉ có thể trả lời khi đưa mô hình vào sử dụng thực tế. Âm thanh đời thường có thể lẫn nhiều tạp âm nền, nhiều người nói chồng lên nhau hoặc giọng vùng miền hiếm gặp. Video thường có hiện tượng lóa sáng, nhòe do chuyển động hoặc vật thể bị che khuất. Nếu dịch vụ cần độ bao phủ rất cao với sơ đồ chuyên ngành hoặc bản chép lời đạt chuẩn tuân thủ trong một lĩnh vực hẹp, hãy dành thời gian tuyển chọn dữ liệu và tinh chỉnh mô hình theo lĩnh vực.

Phiên bản hiện tại hỗ trợ 10 ngôn ngữ đầu ra bằng giọng nói, đã bao phủ nhiều thị trường, nhưng các nhóm cần những ngôn ngữ ít phổ biến hơn sẽ phải dùng đầu ra văn bản hoặc công cụ giọng nói của bên thứ ba. Cách phân chia Thinker và Talker cũng đòi hỏi lựa chọn. Một số tổ chức có thể muốn giữ phần suy luận dài hoàn toàn ở dạng văn bản rồi chỉ tổng hợp giọng nói cho câu trả lời cuối. Những tổ chức khác có thể chấp nhận đầu ra ngắn hơn để đổi lấy phản hồi bằng giọng nói nhanh hơn. Cần kiểm tra các đánh đổi này dựa trên mục tiêu trải nghiệm người dùng.

Giấy phép mã nguồn mở là lợi thế với các đơn vị phát triển sản phẩm, nhưng cũng đồng nghĩa bất kỳ ai đều có thể điều chỉnh mô hình. Doanh nghiệp nên sử dụng bộ lọc nội dung, công cụ phát hiện lạm dụng và hệ thống giám sát việc sử dụng để ngăn hành vi sai mục đích. Mặt khác, Apache 2.0 có điều khoản cấp quyền sử dụng bằng sáng chế, giúp giảm rủi ro sở hữu trí tuệ cho người dùng, một yếu tố quan trọng với các nhóm tuân thủ quy định trong doanh nghiệp.

Điều đáng kỳ vọng là một trợ lý đa phương thức có thể suy luận trên văn bản, hình ảnh và âm thanh với nhịp độ gần như con người. Nếu Qwen3-Omni tiếp tục chứng minh năng lực ngoài các bài đánh giá được tuyển chọn, mô hình có thể trở thành lựa chọn mặc định cho những nhóm cần quyền kiểm soát tại chỗ, chi phí dễ dự đoán và cộng đồng nhà phát triển rộng lớn.

Điểm chính

• Qwen3-Omni tiếp nhận văn bản, hình ảnh, âm thanh và video, đồng thời xuất văn bản và giọng nói.
• Mô hình được phát hành mã nguồn mở theo giấy phép Apache 2.0, kèm quyền sử dụng bằng sáng chế cho mục đích thương mại.
• Thinker xử lý suy luận, Talker tạo giọng nói; cả hai sử dụng Mixture of Experts để tăng tốc độ.
• Độ trễ gói tin đầu tiên được báo cáo là 234 mili giây với âm thanh và 547 mili giây với video.
• Hỗ trợ 119 ngôn ngữ văn bản, 19 ngôn ngữ đầu vào bằng giọng nói và 10 ngôn ngữ đầu ra bằng giọng nói.
• Có ba phiên bản: Instruct, Thinking và Captioner.
• Giá API bắt đầu từ 0.00025 đô la trên mỗi nghìn token văn bản; người dùng được dùng thử miễn phí một triệu token.
• Kết quả đánh giá chuẩn cho thấy mô hình dẫn đầu trong nhiều bài kiểm tra về giọng nói, video và suy luận.
• Thứ hạng trên Hugging Face và sự quan tâm của nhà đầu tư cho thấy tốc độ áp dụng nhanh.
• Alibaba đang mở rộng trung tâm dữ liệu, tăng cường hợp tác với Nvidia và phát triển thêm dòng Qwen3.