Alibaba ra mắt mô hình AI đa phương thức mã nguồn mở Qwen3 Omni

Đối thủ mã nguồn mở mới trong lĩnh vực AI đa phương thức

Alibaba vừa giới thiệu Qwen3 Omni, một mô hình đa phương thức toàn diện có thể đọc văn bản, phân tích hình ảnh, nghe âm thanh và xem video. Mô hình phản hồi bằng văn bản và giọng nói tự nhiên. Công ty định vị đây là mô hình đa phương thức toàn diện được xây dựng nguyên bản từ đầu đến cuối. Điều đó có nghĩa mô hình được thiết kế ngay từ đầu để xử lý đồng thời tất cả các loại dữ liệu đầu vào này, thay vì xem giọng nói hay hình ảnh là những tính năng bổ sung. Sản phẩm ra mắt trong bối cảnh nhiều tổ chức cân nhắc sự đánh đổi về chi phí và quyền kiểm soát giữa các mô hình mã nguồn mở với những hệ thống độc quyền như GPT 4o và Gemini 2.5 Pro. Khác biệt nổi bật nhất là khả năng tiếp cận. Qwen3 Omni được phát hành theo giấy phép Apache 2.0, một khuôn khổ cấp phép linh hoạt cho phép sử dụng thương mại, chỉnh sửa và phân phối lại miễn phí. Điều này hạ thấp rào cản cho các nhóm muốn tự lưu trữ mô hình hoặc đưa sản phẩm ra thị trường mà không phải trả phí theo người dùng hay bị phụ thuộc vào nhà cung cấp.

Qwen3 Omni cũng vượt ra ngoài bộ ba phổ biến gồm văn bản, hình ảnh và âm thanh. Mô hình còn có thể phân tích video, tính năng chủ yếu chỉ có trên các nền tảng đóng. Mô hình hỗ trợ 119 ngôn ngữ cho văn bản, 19 ngôn ngữ cho đầu vào giọng nói và 10 ngôn ngữ cho đầu ra giọng nói, bao gồm các ngôn ngữ lớn và một số phương ngữ như tiếng Quảng Đông. Tài liệu ban đầu nhấn mạnh khả năng phản hồi trực tuyến, tạo cảm giác hội thoại thay vì xử lý theo lô; thời gian nhận gói âm thanh đầu tiên khoảng một phần tư giây và gói video đầu tiên khoảng nửa giây. Đây là ngưỡng quan trọng đối với các trợ lý cần ngắt lời, hỏi lại và chuyển tiếp nhanh trong những tình huống thời gian thực như cuộc gọi hỗ trợ hoặc hướng dẫn trên thiết bị di động.

Bản phát hành gồm ba phiên bản được tinh chỉnh cho các nhiệm vụ khác nhau. Instruct là mô hình hội thoại đầy đủ tính năng; Thinking tập trung vào suy luận phức tạp và chuỗi suy nghĩ dài, với đầu ra bằng văn bản; còn Captioner chuyên tạo chú thích âm thanh, trong đó tỷ lệ ảo giác thấp là yếu tố quan trọng. Nhà phát triển có thể tải trọng số từ các nền tảng mô hình phổ biến, sử dụng API với tùy chọn Flash nhanh hơn hoặc tinh chỉnh mô hình để kiểm soát lĩnh vực và phong cách. Các bài kiểm tra chuẩn do công ty công bố cho thấy kết quả mạnh ở những nhiệm vụ liên quan đến giọng nói, âm thanh và video, đồng thời duy trì năng lực xử lý văn bản và hình ảnh cạnh tranh với các hệ thống hàng đầu.

Điểm khác biệt của Qwen3 Omni

Một số lựa chọn kỹ thuật giúp Qwen3 Omni nổi bật. Thứ nhất, quy trình huấn luyện kết hợp dữ liệu đơn phương thức và đa phương thức ngay từ đầu, sau đó tiếp tục mở rộng trong quá trình tiền huấn luyện và hậu huấn luyện. Thứ hai, mô hình sử dụng kiến trúc Mixture of Experts, chỉ kích hoạt một tập hợp nhỏ tham số cho mỗi token. Cách này có thể tăng thông lượng và giảm chi phí suy luận, yếu tố quan trọng với các ứng dụng thời gian thực và triển khai trong điều kiện phần cứng hạn chế. Thứ ba, hệ thống tách phần suy luận và giọng nói thành hai thành phần phối hợp, gọi là Thinker và Talker. Thinker đảm nhiệm phần lớn công việc hiểu và suy luận đa phương thức. Talker chuyển các biểu diễn cấp cao thành giọng nói, đồng thời giữ được nhịp điệu và sắc thái.

Ba phiên bản mô hình cho những nhu cầu riêng

Alibaba Cloud phát hành ba tùy chọn thuộc dòng Qwen3 Omni 30B A3B để các nhóm lựa chọn phiên bản phù hợp:

• Instruct kết hợp Thinker và Talker để xử lý đầu vào văn bản, hình ảnh, âm thanh và video, với đầu ra bằng cả văn bản lẫn giọng nói.
• Thinking tập trung vào suy luận sâu và chuỗi suy nghĩ dài, chấp nhận cùng các loại đầu vào đa phương thức nhưng chỉ xuất văn bản.
• Captioner hướng đến việc tạo chú thích và mô tả âm thanh với tỷ lệ ảo giác thấp, hữu ích cho phân tích truyền thông, hỗ trợ tiếp cận và quy trình kiểm duyệt nội dung.

API bổ sung phiên bản Flash hướng đến độ trễ thấp hơn và khả năng xử lý đồng thời cao hơn. Điều này có thể hữu ích khi xây dựng trợ lý cho trung tâm chăm sóc khách hàng hoặc hướng dẫn mua sắm cần xử lý các đợt lưu lượng tăng đột biến mà không làm chậm phản hồi.

Bên trong kiến trúc Thinker và Talker

Qwen3 Omni phân chia nhiệm vụ để giữ cho giọng nói tự nhiên mà vẫn đảm bảo khả năng suy luận linh hoạt. Thinker là lõi đa phương thức của mô hình. Thành phần này căn chỉnh và hợp nhất các đặc trưng văn bản, hình ảnh, âm thanh và video, sau đó tạo ra các biểu diễn ở cấp token để định hướng câu trả lời. Talker là bộ tạo giọng nói chuyên dụng. Thay vì tiếp nhận đầu ra của Thinker dưới dạng văn bản, nó được điều kiện hóa trực tiếp bằng các đặc trưng âm thanh và hình ảnh. Thiết kế này giúp Talker căn chỉnh ngữ điệu và âm sắc với những gì mô hình nhìn thấy và nghe được, qua đó cải thiện khả năng dịch và các đặc điểm biểu cảm giọng nói như nhịp độ, nhấn giọng và sắc thái cảm xúc.

Để giảm độ trễ giọng nói, Talker sử dụng cơ chế tự hồi quy đa mã sách, dự đoán các token âm học rời rạc; sau đó, mạng tích chập Code2Wav gọn nhẹ chuyển những token này thành dạng sóng. Vì Talker tách biệt khỏi phần văn bản của Thinker, các mô-đun bên ngoài có thể tác động hoặc lọc đầu ra của Thinker trước khi tạo giọng nói. Điều này giúp các quy trình an toàn trở nên thực tế hơn, bởi bước kiểm tra chính sách và truy xuất thông tin có thể diễn ra giữa quá trình suy nghĩ và phát ngôn. Hiệu năng truyền phát là trọng tâm của thiết kế. Theo số liệu công ty công bố, thời gian nhận gói âm thanh đầu tiên khoảng 234 mili giây và gói video đầu tiên khoảng 547 mili giây. Hệ thống duy trì hệ số thời gian thực dưới một, nghĩa là có thể tạo âm thanh nhanh hơn thời lượng phát lại, ngay cả khi xử lý nhiều yêu cầu.

Kiến trúc sử dụng Mixture of Experts cho cả Thinker và Talker. Trong Mixture of Experts, mô hình gồm nhiều mạng chuyên gia nhỏ và một mạng định tuyến đưa mỗi token đến một số ít mạng trong đó. Chỉ một phần nhỏ tham số được chạy cho mỗi token, hỗ trợ khả năng xử lý đồng thời cao và giúp duy trì tốc độ phản hồi của quá trình suy luận. Với nhà phát triển, điều này có thể tạo nên khác biệt giữa một trợ lý biết ngắt lời và tương tác với người dùng, với một chatbot chỉ chờ đến lượt mới phản hồi.

Quá trình xây dựng và các tính năng được hỗ trợ

Hiệu năng âm thanh bắt đầu từ bộ mã hóa. Qwen3 Omni giới thiệu Audio Transformer, được xây dựng từ đầu và huấn luyện trên khoảng 20 triệu giờ dữ liệu có giám sát. Tập dữ liệu huấn luyện chủ yếu gồm dữ liệu nhận dạng giọng nói tự động bằng tiếng Trung và tiếng Anh, cùng dữ liệu bổ sung từ các ngôn ngữ khác và các nhiệm vụ tập trung vào hiểu âm thanh. Bộ mã hóa có khoảng 600 triệu tham số, hỗ trợ bộ nhớ đệm truyền phát để giảm độ trễ và có thể chạy ngoại tuyến cho các nhiệm vụ phân tích như xử lý bản ghi dài. Bộ mã hóa này cung cấp dữ liệu cho lõi đa phương thức thông qua các giai đoạn căn chỉnh, giúp mô hình suy luận xuyên suốt nhiều định dạng.

Quá trình tiền huấn luyện diễn ra qua ba giai đoạn. Ở giai đoạn căn chỉnh bộ mã hóa, các bộ mã hóa hình ảnh và âm thanh được huấn luyện và căn chỉnh trong khi mô hình ngôn ngữ được giữ cố định. Ở giai đoạn huấn luyện tổng quát, nhóm mở rộng quy mô lên khoảng 2 nghìn tỷ token, bao gồm văn bản, âm thanh, hình ảnh và một phần video cùng các cặp dữ liệu âm thanh-video. Trong giai đoạn huấn luyện ngữ cảnh dài, độ dài token tối đa tăng từ 8.192 lên 32.768, đồng thời bổ sung nhiều chuỗi âm thanh và video dài hơn. Hậu huấn luyện gồm tinh chỉnh có giám sát, chắt lọc kiến thức từ các mô hình giáo viên mạnh hơn và tối ưu hóa chính sách cho Thinker bằng cả quy tắc lẫn đánh giá của mô hình. Talker trải qua quy trình bốn giai đoạn, sử dụng hàng trăm triệu mẫu giọng nói đa phương thức kết hợp với tiền huấn luyện liên tục, nhằm giảm ảo giác và cải thiện chất lượng giọng nói.

Với dòng mô hình 30 tỷ tham số, khả năng và giới hạn của Qwen3 Omni khá rộng. Mô hình hỗ trợ 119 ngôn ngữ cho văn bản, 19 ngôn ngữ cho đầu vào giọng nói và 10 ngôn ngữ cho đầu ra giọng nói. Chế độ Thinking có cửa sổ ngữ cảnh 65.536 token; chế độ Non Thinking hỗ trợ 49.152 token; mô hình hỗ trợ tối đa 16.384 token cho cả đầu vào lẫn đầu ra. Chuỗi suy nghĩ dài nhất có thể đạt 32.768 token. Quy mô này hữu ích khi xử lý bản ghi phức tạp, cuộc họp dài hoặc cơ sở mã và tài liệu vượt quá khả năng của các mô hình khác nếu không chia nhỏ.

Điểm chuẩn, thế mạnh và cách diễn giải kết quả

Trong 36 bài kiểm tra chuẩn thuộc nhiều lĩnh vực, Alibaba cho biết Qwen3 Omni đạt điểm cao nhất ở 22 bài và dẫn đầu trong nhóm mô hình mã nguồn mở ở 32 bài. Kết quả về văn bản và suy luận gồm 65,0 điểm trong AIME25, cao hơn nhiều so với mức 26,7 được công bố cho GPT 4o, và 76,0 điểm trong ZebraLogic, vượt mức 57,9 của Gemini 2.5 Flash. WritingBench đạt 82,6 điểm, so với 75,5 của GPT 4o. Trong các bài kiểm tra về giọng nói và âm thanh, tỷ lệ lỗi từ (WER) trên Wenetspeech là 4,69 và 5,89 ở hai tập kiểm tra phổ biến, tốt hơn nhiều so với mức 15,30 và 32,27 của GPT 4o. Trên tập Librispeech other, WER giảm còn 2,48, thuộc nhóm thấp trong số các mô hình cùng loại.

Kết quả về hình ảnh và thị giác gồm 59,7 điểm trên HallusionBench, 57,0 trên MMMU pro và 56,3 trên MathVision full; theo báo cáo của công ty, cả ba đều cao hơn GPT 4o. Với khả năng hiểu video, mô hình đạt 75,2 điểm trên MLVU, vượt mức 71,0 của Gemini 2.0 Flash và 64,6 của GPT 4o. Các nhiệm vụ âm nhạc cũng cho thấy tiến bộ, với 93,0 điểm trên GTZAN và 52,0 trên RUL MuchoMusic. Những con số này phù hợp với trọng tâm thiết kế của mô hình: Qwen3 Omni đặt ra chuẩn cao về khả năng hiểu âm thanh và nội dung nghe nhìn, đồng thời duy trì năng lực xử lý văn bản và hình ảnh mạnh.

Điểm chuẩn rất hữu ích, nhưng vẫn là các bài kiểm tra có kiểm soát. Bộ dữ liệu và cách chấm điểm có thể có lợi cho một số phương pháp huấn luyện nhất định. Khi triển khai thực tế, mô hình phải đối mặt với những thách thức mới như micro nhiễu, giọng vùng miền, camera điện thoại chất lượng thấp và việc chuyển đổi ngữ cảnh nhanh. Mô hình đa phương thức cũng thường phải đánh đổi: huấn luyện để xử lý nhiều phương thức có thể làm giảm nhẹ hiệu năng chỉ xử lý văn bản so với các mô hình lớn hơn, ưu tiên văn bản ngay từ đầu. Các nhóm nên thử nghiệm tập trung trên dữ liệu của chính mình, sau đó cân nhắc chiến lược kết hợp nhiều mô hình nếu cần. Nhiều doanh nghiệp sử dụng một mô hình đa phương thức nhỏ hơn để nghe và quan sát, kết hợp với mô hình văn bản lớn hơn để soạn báo cáo hoặc email. Giấy phép Apache mở giúp việc phối hợp như vậy thuận lợi hơn, không vướng trở ngại trong quy trình mua sắm.

So sánh với GPT 4o, Gemini 2.5 Pro và Gemma 3n

OpenAI đặt ra kỳ vọng với GPT 4o, mô hình kết hợp văn bản, hình ảnh và âm thanh chặt chẽ, đồng thời tạo giọng nói tự nhiên. Qwen3 Omni bổ sung khả năng phân tích video vào danh sách đầu vào. Google đã cung cấp tính năng phân tích video trong Gemini 2.5 Pro, nhưng mô hình này vẫn là sản phẩm độc quyền. Google cũng cung cấp Gemma 3n dưới dạng mô hình mở; mô hình này nhận đầu vào văn bản, hình ảnh, âm thanh và video nhưng chỉ xuất văn bản. Qwen3 Omni có thể xuất cả văn bản lẫn giọng nói, mở rộng các ứng dụng tương tác như dịch trực tiếp hoặc chuyển tiếp giữa các tác nhân trong trung tâm chăm sóc khách hàng.

Một điểm khác biệt nữa là giấy phép. Qwen3 Omni được phát hành theo Apache 2.0 kèm giấy phép sáng chế, cho phép doanh nghiệp sử dụng, chỉnh sửa và đưa sản phẩm ra thị trường mà không phải công khai mã nguồn hay trả phí sử dụng. Các mô hình đóng yêu cầu quyền truy cập có trả phí và giới hạn việc sử dụng trong nền tảng của nhà cung cấp. Tuy nhiên, với các bản phát hành mở hiện đại, cần lưu ý một điểm: trọng số và mã sử dụng được công khai, nhưng toàn bộ quy trình để xây dựng lại mô hình từ đầu, bao gồm dữ liệu huấn luyện đã tuyển chọn, thường không được công bố. Với nhiều đơn vị triển khai, mục tiêu chính là có thể chạy mô hình, tinh chỉnh và tích hợp vào môi trường thực tế; giấy phép này cho phép thực hiện điều đó.

Độ trễ có tính cạnh tranh. Alibaba cho biết thời gian nhận gói âm thanh đầu tiên khoảng 234 mili giây và gói video đầu tiên khoảng 547 mili giây, tương đương nhóm hệ thống hội thoại hàng đầu. Doanh nghiệp cần đánh giá các mục tiêu chất lượng dịch vụ ngoài thời gian nhận gói đầu tiên, bao gồm thời gian tạo ra nội dung ổn định và tổng thời gian phản hồi cho câu trả lời dài. Qwen3 Omni cũng có phiên bản API Flash cho phản hồi nhanh hơn, tương tự các gói ưu tiên tốc độ trong những hệ sinh thái khác.

Quyền truy cập, giá và hạn mức miễn phí

Nhà phát triển có thể dùng thử Qwen3 Omni theo nhiều cách. Trọng số được cung cấp trên các nền tảng mô hình lớn. API cho phép truy cập theo nhu cầu, kèm hạn mức miễn phí một triệu token trên các phương thức trong 90 ngày kể từ khi kích hoạt. Giá được tính theo mỗi nghìn token. Đầu vào văn bản có giá 0,00025 USD. Đầu vào âm thanh có giá 0,00221 USD. Đầu vào hình ảnh và video có giá 0,00046 USD. Đầu ra văn bản có giá 0,00096 USD mỗi nghìn token nếu đầu vào chỉ là văn bản, hoặc 0,00178 USD nếu đầu vào có hình ảnh hoặc âm thanh. Nếu yêu cầu đầu ra gồm văn bản và âm thanh, phần âm thanh có giá 0,00876 USD mỗi nghìn token, còn phần văn bản được miễn phí.

Mức giá này thấp so với nhiều dịch vụ đóng, tạo điều kiện thử nghiệm mà không phát sinh hóa đơn lớn. Theo công ty, giá sử dụng chế độ Thinking và Non Thinking là như nhau. Đầu ra âm thanh chỉ được hỗ trợ ở chế độ Non Thinking. Nền tảng cũng liệt kê giới hạn ngữ cảnh và các tùy chọn mô hình trong Model Studio, nơi doanh nghiệp có thể chọn mô hình theo tốc độ, chất lượng và chi phí. Thông tin chính thức có trên các trang Model Studio của Alibaba Cloud tại liên kết này.

Ứng dụng từ bàn hỗ trợ đến công cụ truyền thông

Qwen3 Omni hướng đến những công việc mà khả năng quan sát, lắng nghe và giao tiếp bằng giọng nói tạo nên khác biệt. Một số ví dụ cho thấy phạm vi ứng dụng của mô hình:

• Hỗ trợ kỹ thuật trực tiếp. Trợ lý có thể theo dõi hình ảnh từ camera điện thoại trong khi nghe khách hàng, rồi hướng dẫn từng bước bằng giọng nói tự nhiên.
• Phiên âm và dịch đa ngôn ngữ. Mô hình phiên âm cuộc họp, cuộc gọi hoặc bài giảng bằng nhiều ngôn ngữ, sau đó tạo bản tóm tắt tiếng Anh hoặc trả lời bằng giọng nói ở ngôn ngữ khác.
• Tạo chú thích âm thanh và gắn thẻ âm nhạc. Phiên bản Captioner viết mô tả âm thanh có tỷ lệ ảo giác thấp, bao gồm âm thanh nền và đặc điểm âm nhạc, hữu ích cho việc tìm kiếm và quản lý bản quyền.
• Hiểu video. Mô hình có thể trả lời câu hỏi về diễn biến trong một đoạn video, theo dõi sự kiện và tóm tắt cảnh quay.
• OCR và tiếp nhận tài liệu. Kết hợp thị giác với ngôn ngữ giúp trích xuất thông tin từ biểu mẫu hoặc hóa đơn, sau đó xác thực thông tin theo ngữ cảnh.
• Trợ lý tiêu dùng. Thiết bị đeo hoặc điện thoại có thể dùng mô hình để dịch thực đơn, nhận diện địa danh và cung cấp tính năng hỗ trợ tiếp cận như mô tả môi trường xung quanh.

Nhà phát triển có thể tinh chỉnh phong cách hội thoại và cá tính của mô hình thông qua lời nhắc hệ thống. Mô hình hỗ trợ sử dụng công cụ để gọi các dịch vụ bên ngoài nhằm truy xuất thông tin, tính toán hoặc tra cứu cơ sở dữ liệu. Điều này cho phép xây dựng các quy trình kiểu tác nhân, trong đó mô hình lập kế hoạch, gọi công cụ rồi phản hồi bằng giọng nói.

Tác động của giấy phép đối với doanh nghiệp

Giấy phép Apache 2.0 là một phần quan trọng trong câu chuyện của Qwen3 Omni. Giấy phép này cho phép sử dụng thương mại, chỉnh sửa và phân phối lại, đồng thời bao gồm giấy phép sáng chế giúp giảm rủi ro pháp lý khi tích hợp mô hình vào các hệ thống độc quyền. Doanh nghiệp có thể tích hợp Qwen3 Omni vào sản phẩm hoặc quy trình nội bộ mà không phải trả phí nhà cung cấp, và không cần công khai các sửa đổi của mình. Điều này hấp dẫn với những ngành chịu sự quản lý chặt chẽ, nơi cần kiểm soát việc định tuyến và ghi nhật ký dữ liệu. Trọng số mở cũng cho phép triển khai tại chỗ hoặc lưu trữ trên đám mây đáng tin cậy.

Phát hành mở không đồng nghĩa với việc mọi mối lo ngại đều được giải quyết. Dữ liệu huấn luyện và toàn bộ mã huấn luyện thường không được cung cấp, nên cộng đồng không thể tái tạo toàn bộ quá trình xây dựng mô hình. Với nhiều doanh nghiệp, điều đó có thể chấp nhận được vì trọng tâm là vận hành mô hình, tùy chỉnh và đáp ứng các mục tiêu chất lượng dịch vụ. Bản phát hành này củng cố lý do sử dụng hệ thống kết hợp nhiều mô hình. Các nhóm có thể kết hợp một mô hình đa phương thức mở, tốc độ cao với một mô hình độc quyền lớn hơn khi phù hợp, hoặc giữ toàn bộ hệ thống ở dạng mở để tránh những hạn chế của nền tảng. Dù lựa chọn cách nào, sự hiện diện của một mô hình có khả năng hiểu video và xử lý giọng nói theo giấy phép linh hoạt sẽ mở rộng phạm vi ứng dụng mà không cần trải qua các cuộc đàm phán kéo dài.

Rủi ro, biện pháp bảo vệ và những điểm cần đánh giá tiếp

Mô hình đa phương thức đặt ra các câu hỏi về bảo mật và an toàn vượt ra ngoài phạm vi văn bản. Đầu vào âm thanh và video có thể chứa thông tin nhạy cảm. Đầu ra giọng nói có thể gây hiểu lầm nếu không được kiểm chứng hoặc lọc. Alibaba mô tả một bước kiểm soát, trong đó các mô-đun bên ngoài có thể chặn đầu ra của Thinker trước khi Talker tạo giọng nói. Thiết kế này hỗ trợ kiểm tra chính sách, truy xuất thông tin hoặc lọc bằng các nhóm kiểm thử an ninh. Tuy vậy, doanh nghiệp vẫn cần xác thực độ an toàn của nội dung trong môi trường và khu vực của mình, bao gồm biện pháp chống tấn công chèn lời nhắc, kiểm soát quyền riêng tư và sự đồng ý khi ghi âm hoặc phân tích dữ liệu.

Cần kiểm tra các tuyên bố về hiệu năng bằng dữ liệu thực tế. Giọng địa phương, thuật ngữ chuyên ngành và tiếng ồn nền có thể làm giảm chất lượng nhận dạng giọng nói tự động. Ánh sáng yếu hoặc nhòe do chuyển động có thể ảnh hưởng đến khả năng hiểu hình ảnh. Việc sử dụng công cụ và điều phối tác nhân tạo ra các dạng lỗi mới, chẳng hạn gọi nhầm công cụ hoặc lặp vòng. Cần có chính sách quản trị về ghi nhật ký, kiểm duyệt của con người và khôi phục phiên bản. Cuối cùng, hạ tầng cũng rất quan trọng. Chạy giọng nói thời gian thực ở quy mô lớn đòi hỏi phải tính toán kỹ thông lượng, bộ nhớ GPU và cơ chế giảm tải. Mixture of Experts giúp tăng hiệu quả, nhưng các nhóm vẫn cần bố trí cụm máy chủ và bộ nhớ đệm đủ sức xử lý lưu lượng tăng đột biến cũng như ngữ cảnh dài.

Điểm chính

• Alibaba phát hành Qwen3 Omni dưới dạng mô hình mở theo giấy phép Apache 2.0, hỗ trợ đầu ra văn bản và giọng nói, cùng đầu vào văn bản, hình ảnh, âm thanh và video.
• Hệ thống sử dụng thiết kế Thinker và Talker cùng kiến trúc Mixture of Experts nhằm tăng khả năng xử lý đồng thời và truyền phát giọng nói với độ trễ thấp.
• Thời gian nhận gói đầu tiên được báo cáo là khoảng 234 mili giây đối với âm thanh và 547 mili giây đối với video, với hệ số thời gian thực dưới một.
• Có ba phiên bản: Instruct cho tương tác đầy đủ, Thinking cho suy luận sâu với đầu ra văn bản và Captioner để tạo chú thích âm thanh.
• Quá trình huấn luyện sử dụng Audio Transformer tùy chỉnh được huấn luyện trên khoảng 20 triệu giờ dữ liệu và kho ngữ liệu đa phương thức khoảng 2 nghìn tỷ token.
• Theo các bài kiểm tra chuẩn do công ty công bố, Qwen3 Omni dẫn đầu trong nhiều bài kiểm tra âm thanh, video và suy luận, đồng thời duy trì năng lực cạnh tranh về văn bản và thị giác.
• Giá tính theo mỗi nghìn token ở mức thấp; API có hạn mức miễn phí một triệu token trong 90 ngày và trọng số được cung cấp để tự lưu trữ mô hình.
• Giấy phép Apache 2.0 cho phép sử dụng thương mại, chỉnh sửa và phân phối lại, kèm quyền sử dụng bằng sáng chế giúp giảm phụ thuộc vào nhà cung cấp.
• Doanh nghiệp nên kiểm tra độ an toàn, độ trễ và độ chính xác trên dữ liệu thực, đồng thời lên kế hoạch quản trị và hạ tầng để hỗ trợ các tác vụ thời gian thực.