Alibaba ra mắt Qwen3-Omni: mô hình AI đa phương thức mã nguồn mở

Vì sao điều này quan trọng lúc này: AI đa phương thức mở trở nên phổ biến

Alibaba đã phát hành Qwen3-Omni, một mô hình trí tuệ nhân tạo đa phương thức được cung cấp miễn phí, có thể tiếp nhận văn bản, hình ảnh, âm thanh và video, rồi phản hồi bằng văn bản hoặc giọng nói tự nhiên theo thời gian thực. Công ty định vị đây là hệ thống đa phương thức toàn diện nguyên bản đầu tiên, tích hợp cả bốn loại dữ liệu đầu vào trong một mô hình duy nhất thay vì bổ sung chúng sau này. Sản phẩm ra mắt trong bối cảnh các hệ thống hàng đầu của OpenAI và Google vẫn là sản phẩm độc quyền, tạo nên sự tương phản rõ nét giữa các nền tảng đóng và một lựa chọn mã nguồn mở mà bất kỳ ai cũng có thể tải xuống, chỉnh sửa và triển khai theo giấy phép Apache 2.0.

Lợi ích được hứa hẹn khá rõ ràng. Doanh nghiệp và nhà phát triển có được một mô hình hoạt động trên nhiều phương thức với độ trễ thấp, hỗ trợ nhiều ngôn ngữ và có công cụ để định hình phản hồi. Tác động không chỉ dừng ở các chỉ số kỹ thuật. Giấy phép mở, thân thiện với doanh nghiệp giúp loại bỏ sự phụ thuộc vào nhà cung cấp và cho phép tổ chức chạy mô hình trên hạ tầng của chính mình. Đây là khác biệt đáng kể vào thời điểm nhiều công ty đang tìm cách cân bằng chi phí, quyền kiểm soát và hiệu năng trong hệ thống AI của họ.

Qwen3-Omni ra mắt sau làn sóng các mô hình đa phương thức toàn diện. GPT-4o của OpenAI kết hợp văn bản, hình ảnh và âm thanh. Gemini 2.5 Pro của Google bổ sung khả năng phân tích video. Những hệ thống đó vẫn là sản phẩm trả phí và đóng. Qwen3-Omni gói khả năng hiểu video, tiếp nhận lời nói và tạo lời nói trong một sản phẩm mà cộng đồng có thể kiểm tra và phát triển thêm. Bản phát hành cũng phản ánh sự trỗi dậy của các dự án AI mở Trung Quốc, đang được đón nhận rộng rãi trên các nền tảng dành cho nhà phát triển và làm thay đổi cục diện cạnh tranh.

Qwen3-Omni là gì và hoạt động ra sao

Qwen3-Omni có thiết kế hai phần mang tên Thinker và Talker, mỗi phần được tối ưu cho một giai đoạn khác nhau trong quy trình xử lý. Thinker đảm nhiệm việc hiểu dữ liệu đa phương thức, suy luận và tạo văn bản. Talker chuyển các đầu ra đã được duyệt thành giọng nói và đồng bộ lời nói với hình ảnh. Cả hai thành phần đều dựa trên kiến trúc Mixture of Experts, một cách chia mô hình thành các nhóm tham số chuyên biệt, chỉ được kích hoạt khi cần thiết. Nhờ đó, quá trình suy luận nhanh hơn và dễ mở rộng hơn vì mô hình không cần chạy mọi tham số cho mọi yêu cầu.

Giải thích về Thinker và Talker

Trong Qwen3-Omni, Thinker tiếp nhận đầu vào, kết hợp tín hiệu từ văn bản, hình ảnh, âm thanh và video, rồi tạo phản hồi cốt lõi dưới dạng văn bản. Đây là nơi có thể thực hiện suy luận với ngữ cảnh dài, sử dụng công cụ, truy xuất thông tin và áp dụng bộ lọc an toàn. Đáng chú ý, Talker không bị buộc phải dựa trên các token văn bản của Thinker. Thay vào đó, nó trực tiếp dựa trên các đặc trưng âm thanh và hình ảnh. Lựa chọn này cho phép hệ thống tạo lời nói khớp với thời điểm và ngữ điệu của người nói ban đầu khi dịch thuật, hoặc đồng bộ nhịp độ lời nói với những gì xuất hiện trên màn hình. Cách làm này cũng cho phép kiểm soát quy trình, vì các mô-đun bên ngoài có thể rà soát hoặc điều chỉnh đầu ra của Thinker trước khi Talker chuyển chúng thành âm thanh.

Đối với lời nói, Qwen3-Omni dùng phương pháp tự hồi quy đa codebook để dự đoán các token âm học cô đọng, rồi chuyển chúng thành dạng sóng bằng mạng Code2Wav gọn nhẹ. Thiết kế này giảm độ trễ mà vẫn giữ được độ chi tiết của giọng nói. Bộ mã hóa âm thanh, có tên Audio Transformer, được huấn luyện từ đầu để hỗ trợ cả sử dụng trực tuyến lẫn ngoại tuyến.

Được thiết kế cho phát trực tuyến độ trễ thấp

Qwen3-Omni hướng đến mục đích sử dụng trực tiếp trong hội thoại. Hệ thống công bố độ trễ đầu-cuối đến gói dữ liệu đầu tiên khoảng 234 mili giây với âm thanh và khoảng 547 mili giây với video. Hệ số thời gian thực luôn dưới một, nghĩa là hệ thống có thể tạo đầu ra nhanh bằng hoặc nhanh hơn tốc độ tiếp nhận đầu vào. Điều này quan trọng với các tác nhân giọng nói, trợ lý cho tổng đài, phiên âm cuộc họp và mọi tình huống mà độ trễ làm gián đoạn luồng trao đổi.

Phạm vi ngôn ngữ và giới hạn ngữ cảnh

Mô hình hỗ trợ 119 ngôn ngữ bằng văn bản, 19 ngôn ngữ cho đầu vào giọng nói và 10 ngôn ngữ cho đầu ra giọng nói. Mô hình có thể xử lý các tương tác dài. Chế độ Thinking có cửa sổ ngữ cảnh 65.536 token và chuỗi suy luận dài nhất lên tới 32.768 token. Chế độ Non Thinking sử dụng ngữ cảnh 49.152 token. Đầu vào và đầu ra tối đa đều là 16.384 token. Các giới hạn này quyết định lượng nội dung mô hình có thể tiếp nhận và tạo ra trong một phiên, đặc biệt đáng lưu ý với bản chép lời video và tài liệu dài.

Các phiên bản và lựa chọn triển khai

Alibaba phát hành ba phiên bản Qwen3-Omni-30B-A3B, mỗi phiên bản được tinh chỉnh cho một nhiệm vụ khác nhau.

Mô hình Instruct kết hợp Thinker và Talker. Mô hình tiếp nhận văn bản, hình ảnh, âm thanh và video, đồng thời phản hồi bằng văn bản và lời nói. Mô hình Thinking tập trung vào suy luận và các tác vụ đòi hỏi chuỗi suy nghĩ dài. Mô hình tiếp nhận cùng các loại đầu vào nhưng chỉ tạo đầu ra bằng văn bản. Vì vậy, mô hình phù hợp với những trường hợp cần câu trả lời viết chi tiết hơn là giọng nói. Mô hình Captioner được tinh chỉnh cho tác vụ chú thích âm thanh và tạo mô tả bằng văn bản chi tiết, tập trung hạn chế hiện tượng bịa thông tin. Nhìn chung, bộ sản phẩm đáp ứng tương tác đa phương thức toàn diện, suy luận chuyên sâu và khả năng hiểu âm thanh chuyên biệt.

Qwen3-Omni có thể chạy cục bộ và sử dụng qua đám mây. Nhà phát triển có thể tải trọng số từ kho lưu trữ chính thức và các nền tảng cộng đồng, hoặc gọi phiên bản Flash nhanh hơn thông qua API của Alibaba. Tài liệu dự án cung cấp hướng dẫn bắt đầu nhanh, các bộ hướng dẫn thực hành cho những tác vụ như nhận dạng giọng nói, dịch thuật, phân tích âm nhạc, OCR và hội thoại nghe nhìn, cùng ghi chú triển khai Docker. Kho GitHub tại đây: https://github.com/QwenLM/Qwen3-Omni.

Với các nhóm muốn dùng thử API lưu trữ, Alibaba cung cấp hạn mức miễn phí một triệu token trên các phương thức, có hiệu lực trong 90 ngày sau khi kích hoạt. Đầu ra âm thanh chỉ khả dụng ở chế độ Non Thinking khi dùng API. Những chi tiết này rất quan trọng khi lập kế hoạch thử nghiệm và ước tính chi phí trong giai đoạn ban đầu.

Tổng quan quy trình huấn luyện

Qwen3-Omni được huấn luyện qua nhiều giai đoạn, kết hợp tiền huấn luyện quy mô lớn với hậu huấn luyện có mục tiêu. Audio Transformer đóng vai trò bộ mã hóa âm thanh với khoảng 0,6 tỷ tham số. Bộ mã hóa này được huấn luyện trên 20 triệu giờ âm thanh có giám sát. Cơ cấu dữ liệu gồm khoảng 80% nhận dạng giọng nói tiếng Trung và tiếng Anh, 10% nhận dạng giọng nói từ các ngôn ngữ khác và 10% tác vụ hiểu âm thanh. Bộ mã hóa được thiết kế để hỗ trợ cả lưu bộ nhớ đệm theo thời gian thực lẫn xử lý ngoại tuyến.

Quá trình tiền huấn luyện gồm ba giai đoạn. Ở giai đoạn đầu, gọi là căn chỉnh bộ mã hóa, các bộ mã hóa hình ảnh và âm thanh được huấn luyện trong khi lõi mô hình ngôn ngữ vẫn bị đóng băng. Điều này ngăn khả năng nhận thức của mô hình suy giảm trong giai đoạn hợp nhất ban đầu. Giai đoạn thứ hai, gọi là huấn luyện tổng quát, sử dụng tập dữ liệu khoảng 2 nghìn tỷ token, bao gồm văn bản, âm thanh, hình ảnh và tỷ lệ nhỏ hơn các mẫu video và nghe nhìn. Giai đoạn thứ ba mở rộng độ dài token tối đa từ 8.192 lên 32.768, đồng thời bổ sung thêm nội dung âm thanh và video dài để tăng cường khả năng xử lý chuỗi dài.

Hậu huấn luyện tập trung cải thiện cả khả năng suy luận lẫn chất lượng giọng nói. Thinker được tinh chỉnh có giám sát, chưng cất từ mô hình mạnh sang mô hình yếu và tối ưu bằng GSPO với sự kết hợp giữa phản hồi dựa trên quy tắc và chấm điểm bằng mô hình làm giám khảo. Talker trải qua quy trình bốn giai đoạn với hàng trăm triệu mẫu giọng nói đa phương thức và tiền huấn luyện liên tục trên dữ liệu đã tuyển chọn. Mục tiêu là giảm tỷ lệ bịa thông tin và tăng độ tự nhiên của giọng nói.

Hiệu năng và những lĩnh vực nổi bật

Theo các điểm chuẩn công khai do công ty công bố, Qwen3-Omni đạt kết quả tốt trong các tác vụ hiểu giọng nói, âm thanh và video, đồng thời duy trì điểm số cao ở văn bản và thị giác. Mô hình dẫn đầu trên nhiều bảng xếp hạng mở và đạt kết quả cạnh tranh với các hệ thống đóng.

Trong các tác vụ văn bản và suy luận, mô hình đạt 65.0 ở AIME25 và 76.0 ở ZebraLogic. Ở WritingBench, mô hình đạt 82.6. Trong lĩnh vực giọng nói và âm thanh, mô hình ghi nhận tỷ lệ lỗi từ là 4.69 và 5.89 trên Wenetspeech, và 2.48 trên Librispeech other. Mô hình cũng thể hiện tốt ở các tác vụ âm nhạc, đạt 93.0 trên GTZAN và 52.0 trên RUL MuchoMusic. Với hình ảnh và thị giác, HallusionBench đạt 59.7, MMMU pro đạt 57.0 và MathVision full đạt 56.3. Trong lĩnh vực video, mô hình đạt 75.2 trên MLVU. Nếu được đánh giá độc lập và xác nhận, các con số này cho thấy một mô hình cân bằng được những tác vụ văn bản truyền thống với khả năng hiểu âm thanh và video tiên tiến.

Có hai điểm cần lưu ý. Thứ nhất, nhiều kết quả do chính công ty tự công bố. Việc xác nhận độc lập trên các bộ kiểm tra rộng hơn sẽ giúp đánh giá đầy đủ hơn hiệu năng trong sử dụng hằng ngày. Thứ hai, việc xây dựng một mô hình bao quát bốn loại đầu vào có thể dẫn đến những đánh đổi. Tài liệu của công ty hướng tới việc chứng minh hiệu năng đồng đều giữa các phương thức, nhưng một số nhà đánh giá trong cộng đồng nhận thấy các phiên bản Qwen trước đây, vốn ưu tiên văn bản, đôi khi cho đầu ra thuần văn bản nhỉnh hơn trong một số tác vụ hẹp. Đây là sự đánh đổi quen thuộc giữa mô hình chuyên biệt và mô hình đa năng. Phiên bản hiện tại thu hẹp khoảng cách đó, đồng thời mở ra khả năng xử lý đa phương thức mà các mô hình chuyên biệt không thể sánh được.

Giá, hạn mức và giới hạn sử dụng

Qwen3-Omni là mã nguồn mở, có thể triển khai cục bộ theo giấy phép Apache 2.0. Với quyền truy cập được quản lý thông qua API của Alibaba, chi phí được tính theo token. Chế độ Thinking và Non Thinking có cùng mức giá trên mỗi token. Đầu ra âm thanh chỉ được cung cấp ở chế độ Non Thinking.

Chi phí đầu vào trên mỗi 1.000 token

• Đầu vào văn bản: 0.00025 đô la Mỹ
• Đầu vào âm thanh: 0.00221 đô la Mỹ
• Đầu vào hình ảnh hoặc video: 0.00046 đô la Mỹ

Chi phí đầu ra trên mỗi 1.000 token

• Đầu ra văn bản khi đầu vào chỉ là văn bản: 0.00096 đô la Mỹ
• Đầu ra văn bản khi đầu vào có hình ảnh hoặc âm thanh: 0.00178 đô la Mỹ
• Đầu ra văn bản kèm âm thanh: 0.00876 đô la Mỹ cho phần âm thanh, văn bản được miễn phí

Gói miễn phí: một triệu token trên các phương thức, có hiệu lực trong 90 ngày sau khi kích hoạt. Giới hạn ngữ cảnh khá lớn, ở mức 65.536 token trong chế độ Thinking và 49.152 token trong chế độ Non Thinking. Mỗi đầu vào tối đa là 16.384 token và đầu ra tối đa là 16.384 token. Chuỗi suy luận dài nhất đạt 32.768 token. Các giới hạn này giúp xác định cách chia nhỏ nội dung đa phương tiện và tài liệu dài khi đưa vào vận hành.

Ý nghĩa đối với doanh nghiệp

Giấy phép là một phần trọng tâm của câu chuyện. Apache 2.0 cấp quyền sử dụng thương mại, chỉnh sửa và phân phối lại. Giấy phép này bao gồm quyền sử dụng bằng sáng chế, qua đó giảm rủi ro pháp lý khi mô hình trở thành một phần của các hệ thống độc quyền. Người dùng không có nghĩa vụ công bố các sản phẩm phái sinh, giúp doanh nghiệp dễ áp dụng hơn khi cần giữ kín các phiên bản đã tinh chỉnh. Đây là điều trái ngược với các hệ thống hộp đen do nhà cung cấp kiểm soát, nơi chi phí, giới hạn tốc độ và cách mô hình hoạt động có thể thay đổi mà người dùng không có cách khắc phục.

Bản phát hành cũng tác động đến các quyết định về kiến trúc. Nhiều tổ chức đang chuyển sang sử dụng hệ thống gồm nhiều mô hình. Họ kết hợp mô hình mở và đóng tùy theo nhiệm vụ, ghép các mô hình nhỏ, nhanh cho công việc thường ngày với mô hình lớn hơn cho suy luận phức tạp, đồng thời giữ một số khối lượng công việc tại chỗ để kiểm soát dữ liệu. Khả năng bao quát của Qwen3-Omni khiến mô hình này phù hợp với các tình huống cần xử lý nhiều giọng nói, môi trường đa ngôn ngữ và quy trình giàu nội dung video. Xử lý nhiều phương thức trong một mô hình có thể giảm số lượng hệ thống riêng biệt cần huấn luyện và bảo trì.

Việc triển khai thành công vẫn đòi hỏi sự chặt chẽ. Đánh giá bảo mật, kiểm soát quyền riêng tư, bộ công cụ đánh giá và quy trình tinh chỉnh vẫn là những yêu cầu cơ bản. Tính mở của mô hình giúp việc kiểm tra và tối ưu dễ dàng hơn, nhưng cũng đặt trách nhiệm về an toàn và tuân thủ lên bên áp dụng. Các nhóm đầu tư vào MLOps, khả năng sử dụng công cụ và cơ chế bảo vệ sẽ thu được nhiều giá trị nhất.

Trường hợp sử dụng: từ tổng đài đến dịch vụ hiện trường

Alibaba nêu bật nhiều tình huống phù hợp với thế mạnh của mô hình. Có thể kết hợp phiên âm và dịch thuật đa ngôn ngữ với khả năng tạo lời nói độ trễ thấp cho các cuộc hội thoại trực tiếp. Chú thích âm thanh hỗ trợ sản xuất truyền thông và khả năng tiếp cận nội dung. OCR và khả năng hiểu tài liệu có thể xử lý hình ảnh biểu mẫu, hóa đơn và sơ đồ. Gắn thẻ âm nhạc và phân tích âm thanh hữu ích cho thư viện truyền thông và công cụ sáng tạo. Khả năng hiểu video cho phép lập chỉ mục, điều hướng và làm theo hướng dẫn từ các video hướng dẫn hoặc nội dung hướng dẫn vận hành thiết bị.

Một ví dụ minh họa là hỗ trợ kỹ thuật. Khách hàng có thể phát video trực tiếp từ điện thoại, trong khi mô hình đọc văn bản trên màn hình, nghe âm thanh xung quanh và đưa ra hướng dẫn từng bước bằng lời nói. Một ví dụ khác là trợ lý đeo được, có thể dịch thực đơn hoặc biển hiệu theo thời gian thực. Nhà phát triển cũng có thể định hướng hành vi bằng lời nhắc hệ thống để thiết lập giọng điệu, tính cách và giới hạn lĩnh vực, đồng thời tích hợp truy xuất thông tin, máy tính hoặc công cụ của bên thứ ba để mở rộng khả năng.

Tín hiệu ứng dụng và bối cảnh toàn cầu

Đà quan tâm ban đầu cho thấy cộng đồng nhà phát triển chú ý đáng kể đến sản phẩm. Các biến thể của Qwen3-Omni nhanh chóng vươn lên đầu danh sách mô hình thịnh hành trên những nền tảng AI phổ biến, trong khi các mô hình Qwen khác chiếm thêm nhiều vị trí dẫn đầu. Làn sóng này làm nổi bật sự chuyển dịch rộng hơn sang các hệ thống mở từ các nhóm Trung Quốc, đang cạnh tranh trực tiếp với những doanh nghiệp lâu năm ở phương Tây. Trên thị trường, cổ phiếu Alibaba tại Hong Kong tăng hơn bốn phần trăm một chút trong ngày bản phát hành nhận được nhiều sự chú ý.

Lựa chọn mở này sẽ gây sức ép lên chiến lược giá và sản phẩm của các hệ thống đóng, đặc biệt trong những trường hợp sử dụng nhiều âm thanh và video. Các doanh nghiệp cần thử nghiệm ý tưởng mà không phải trải qua quy trình mua sắm kéo dài giờ đây có thể chạy một mô hình đa phương thức toàn diện với chi phí thấp. Nếu hiệu năng trong thực tế tương ứng với các điểm chuẩn đã công bố, đợt ra mắt này có thể thúc đẩy việc ứng dụng trợ lý đa phương thức trong tổng đài, sản xuất truyền thông, giáo dục, phiên âm y tế và bảo trì công nghiệp.

Kết luận

• Qwen3-Omni là mô hình mã nguồn mở tiếp nhận văn bản, hình ảnh, âm thanh và video, phản hồi bằng văn bản và lời nói, đồng thời được tối ưu cho sử dụng theo thời gian thực.
• Hệ thống sử dụng kiến trúc Thinker và Talker cùng Mixture of Experts để tăng tốc độ và khả năng mở rộng, bên cạnh Audio Transformer tùy chỉnh và bộ chuyển đổi Code2Wav.
• Mục tiêu độ trễ là khoảng 234 mili giây với âm thanh và khoảng 547 mili giây với video, hỗ trợ phát trực tuyến với hệ số thời gian thực dưới một.
• Mô hình hỗ trợ 119 ngôn ngữ bằng văn bản, 19 ngôn ngữ cho đầu vào giọng nói và 10 ngôn ngữ cho đầu ra giọng nói, với cửa sổ ngữ cảnh dài tối đa 65.536 token.
• Có ba phiên bản: Instruct cho đầu vào và đầu ra đa phương thức toàn diện, Thinking cho suy luận chỉ bằng văn bản và Captioner cho chú thích âm thanh chi tiết.
• Mã nguồn mở theo giấy phép Apache 2.0, kèm hạn mức miễn phí một triệu token để dùng thử API và mức giá tính theo token cho quyền truy cập lưu trữ.
• Các điểm chuẩn do công ty công bố cho thấy kết quả tốt trên nhiều tác vụ giọng nói, âm thanh, video và văn bản, với nhiều điểm số thuộc hàng đầu.
• Doanh nghiệp có được lựa chọn triển khai, tùy chỉnh và vận hành AI đa phương thức mà không mất chi phí bản quyền và không bị phụ thuộc vào nhà cung cấp, với điều kiện đầu tư vào đánh giá và an toàn.
• Cộng đồng đang nhanh chóng đón nhận sản phẩm; các mô hình Qwen thịnh hành trên nền tảng dành cho nhà phát triển và sự quan tâm đến các hệ thống AI mở của Trung Quốc ngày càng tăng.