Alibaba ra mắt Qwen3-Omni: mô hình AI đa phương thức mã nguồn mở

Mô hình đa phương thức nguyên bản ra mắt dưới dạng mã nguồn mở

Alibaba Cloud công bố Qwen3-Omni, một mô hình AI đa phương thức tích hợp nguyên bản văn bản, hình ảnh, âm thanh và video trong cùng một hệ thống. Đợt ra mắt đưa cuộc đua phát triển trợ lý thời gian thực sang một hướng mới khi kết hợp năng lực đa dạng với giấy phép mã nguồn mở thân thiện với doanh nghiệp. Mô hình tiếp nhận dữ liệu đầu vào ở cả bốn phương thức, sau đó phản hồi bằng văn bản hoặc giọng nói tự nhiên. Người dùng có thể tải xuống, chỉnh sửa và triển khai thương mại miễn phí theo giấy phép Apache 2.0, một giấy phép linh hoạt có kèm quyền sử dụng bằng sáng chế. Động thái này giúp Alibaba trở thành lựa chọn thay thế đáng tin cậy cho các sản phẩm độc quyền của OpenAI và Google, đồng thời cho phép nhà phát triển toàn quyền kiểm soát cách thức và nơi vận hành mô hình.

Qwen3-Omni là thành viên mới trong dòng mô hình Qwen ngày càng mở rộng. Nhóm phát triển cho biết phiên bản này được huấn luyện trên các kho văn bản lớn cùng lượng dữ liệu âm thanh và hình ảnh khổng lồ, sau đó được tinh chỉnh để phản hồi nhanh trong các cuộc hội thoại trực tiếp. Mô hình có ba biến thể chính, đáp ứng các nhu cầu phổ biến. Bản Instruct xử lý đầu vào hỗn hợp và có thể đọc câu trả lời thành tiếng. Bản Thinking tập trung vào các bài toán suy luận khó hơn với ngữ cảnh dài. Bản Captioner chuyên tạo chú thích âm thanh với mức độ bịa đặt thấp. Mô hình được phân phối qua kho GitHub chính thức, các nền tảng mô hình như Hugging Face và API lưu trữ, trong đó có tùy chọn Flash để phản hồi nhanh hơn. Đợt ra mắt vào đêm muộn cũng giới thiệu hệ thống Qwen3 TTS mới và một mô hình chỉnh sửa hình ảnh, cho thấy nỗ lực xây dựng một hệ sinh thái đầy đủ xoay quanh tương tác đa phương thức.

Vì sao đợt ra mắt này đáng chú ý

Trợ lý đa phương thức đang chuyển từ giai đoạn trình diễn sang các ứng dụng thực tế. Doanh nghiệp cần một mô hình duy nhất có thể nghe, quan sát, đọc và suy luận theo thời gian thực, sau đó phản hồi bằng giọng nói tự nhiên. Qwen3-Omni nhắm đúng nhu cầu đó. Khả năng truy cập mở cùng các điểm số được công bố là tiên tiến nhất trên nhiều bài kiểm tra về giọng nói, âm thanh, hình ảnh và video khiến thông báo này đáng chú ý với những khách hàng cần tính linh hoạt, kiểm soát chi phí và triển khai tại chỗ.

Qwen3-Omni khác GPT-4o và Gemini ở điểm nào

Các đối thủ đã phổ biến ý tưởng về những mô hình toàn năng có thể nhìn, nghe và nói. OpenAI tích hợp văn bản, hình ảnh và âm thanh trong GPT-4o. Google mở rộng khả năng phân tích video cho Gemini 2.5 ở một số gói sản phẩm. Qwen3-Omni được xây dựng từ đầu thành một hệ thống đầu cuối thống nhất cho cả bốn loại đầu vào. Mô hình hỗ trợ hiểu video, chẳng hạn như phát hiện cảnh và theo dõi sự kiện; tiếp nhận ảnh tĩnh và tài liệu để nhận dạng ký tự quang học (OCR) và định vị thông tin; nghe giọng nói và đọc văn bản. Phản hồi được đưa ra dưới dạng văn bản hoặc lời nói, giúp đầu ra đơn giản trong các tương tác trực tiếp mà không cần xử lý sự phức tạp của việc tạo hình ảnh hay video.

Khả năng tiếp cận là một điểm khác biệt quan trọng. Qwen3-Omni được phát hành theo giấy phép Apache 2.0, cho phép doanh nghiệp tải trọng số về, chạy trên hạ tầng riêng và tinh chỉnh hành vi cho các lĩnh vực cụ thể mà không cần đàm phán giấy phép. Các hệ thống độc quyền hạn chế khả năng tự lưu trữ hoặc tính phí theo từng token cho mỗi tương tác. Một dòng mô hình mở khác của Google là Gemma hiện chỉ xử lý văn bản, nên không có phạm vi đa phương thức tương đương. Với các nhóm muốn chuẩn hóa trên một mô hình mở cho tác vụ giọng nói, thị giác và văn bản, Qwen3-Omni đáp ứng một nhu cầu còn bỏ ngỏ.

Tốc độ cho hội thoại trực tiếp

Alibaba công bố độ trễ lý thuyết đến gói dữ liệu đầu tiên khoảng 234 mili giây đối với âm thanh và khoảng 547 mili giây đối với video. Mức này phù hợp với kỳ vọng của con người về việc luân phiên nói chuyện, đồng thời giúp ứng dụng thời gian thực khả thi ở nhiều khu vực địa lý khi kết hợp với truyền dữ liệu trực tuyến hiệu quả. Các con số được báo cáo đo trên hệ thống nội bộ, vì vậy kết quả thực tế sẽ thay đổi tùy phần cứng, số lượng yêu cầu đồng thời và điều kiện mạng. Dù vậy, độ trễ thấp hơn một hệ số thời gian thực khi chịu tải cho thấy thiết kế hướng đến triển khai thực tiễn.

Kiến trúc bên trong

Mô hình sử dụng thiết kế hai phần mà nhóm phát triển gọi là Thinker và Talker. Thinker đảm nhiệm việc hiểu và suy luận đa phương thức. Bộ phận này đọc văn bản, phân tích điểm ảnh và tiếp nhận đặc trưng âm thanh, sau đó lập kế hoạch và soạn nội dung. Talker tập trung vào giọng nói, chuyển các biểu diễn cấp cao thành lời nói tự nhiên để phản hồi trực tuyến. Việc tách biệt hai vai trò giúp hệ thống giọng nói hoạt động theo nhịp riêng trong khi mô hình ngôn ngữ suy nghĩ trước.

Cả hai thành phần đều sử dụng Mixture of Experts, một kỹ thuật huấn luyện nhiều mạng con chuyên biệt nhưng chỉ kích hoạt một số mạng cho mỗi token. Cách làm này tăng thông lượng khi có nhiều yêu cầu đồng thời mà không cần kích hoạt toàn bộ tham số ở mỗi bước. Quy trình xử lý giọng nói sử dụng phương pháp tự hồi quy đa mã hóa, nén âm thanh thành các mã rời rạc. Mạng tích chập Code2Wav gọn nhẹ chuyển những mã này thành dạng sóng. Phương pháp này giảm độ trễ mà vẫn giữ được âm sắc và ngữ điệu, giúp giọng nói bớt máy móc khi phản hồi nhanh.

Talker được tách khỏi các biểu diễn văn bản của Thinker và nhận trực tiếp đặc trưng âm thanh, hình ảnh làm điều kiện đầu vào. Lựa chọn này giúp giọng nói đồng bộ với những gì đang diễn ra trên màn hình trong các tương tác nghe nhìn. Ở phía nhận thức, bộ mã hóa Audio Transformer được huấn luyện trên khoảng 20 triệu giờ âm thanh có giám sát. Quá trình tiền huấn luyện được thực hiện theo nhiều giai đoạn. Nhóm phát triển căn chỉnh các bộ mã hóa, huấn luyện trên khoảng hai nghìn tỷ token bao gồm văn bản, âm thanh, hình ảnh và video, sau đó mở rộng ngữ cảnh để phục vụ các phiên kéo dài. Giai đoạn hậu huấn luyện bổ sung tinh chỉnh có giám sát, chưng cất và các lượt tối ưu hóa cho cả Thinker lẫn Talker.

Phiên bản, ngôn ngữ và giới hạn ngữ cảnh

Qwen3-Omni được phát hành với tên Qwen3-Omni-30B-A3B, gồm ba biến thể công khai. Bản Instruct tiếp nhận đầu vào âm thanh, video và văn bản, sau đó xuất ra văn bản và lời nói. Bản Thinking hướng đến suy luận khó, các bước toán học và lập kế hoạch, với đầu ra dạng văn bản. Bản Captioner được tinh chỉnh chuyên sâu để tạo chú thích âm thanh. Tùy chọn Flash lưu trữ trên đám mây của Alibaba hướng đến tương tác nhanh hơn.

Khả năng hỗ trợ nhiều ngôn ngữ là một trọng tâm. Mô hình cơ sở hỗ trợ 119 ngôn ngữ ở dạng văn bản, 19 ngôn ngữ đầu vào giọng nói và 10 ngôn ngữ đầu ra giọng nói, trong đó có các phương ngữ được sử dụng rộng rãi như tiếng Quảng Đông. Sự cân bằng này có thể đơn giản hóa việc triển khai toàn cầu, nơi trải nghiệm giọng nói cần thích ứng với giọng địa phương và hệ chữ viết.

Các phiên làm việc có thể kéo dài. Chế độ Thinking hỗ trợ cửa sổ ngữ cảnh lên tới 65.536 token. Chế độ không suy nghĩ đạt 49.152 token. Số token đầu vào và đầu ra tối đa là 16.384. Với các bài toán suy luận phức tạp, chuỗi suy luận dài nhất có thể đạt 32.768 token. API tính phí theo số token trên mỗi 1.000 token, với mức giá riêng cho văn bản, âm thanh, đầu vào hình ảnh hoặc video, cũng như đầu ra văn bản hoặc âm thanh. Tài khoản mới nhận được hạn mức miễn phí một triệu token trên các phương thức trong 90 ngày kể từ khi kích hoạt.

Đánh giá điểm chuẩn và cách diễn giải

Alibaba công bố kết quả trên 36 bài đánh giá, bao quát văn bản và suy luận, giọng nói và âm thanh, hình ảnh và thị giác, cùng các tác vụ video nghe nhìn. Theo công ty, Qwen3-Omni đạt điểm tiên tiến nhất trên 22 bài kiểm tra và dẫn đầu trong số các mô hình mã nguồn mở ở 32 bài. Nhóm phát triển cũng cho biết mô hình vượt GPT-4o và Gemini 2.5 Pro trong nhiều bài đánh giá âm thanh và nghe nhìn. Các hạng mục bao gồm nhận dạng giọng nói, hiểu âm thanh, hỏi đáp nghe nhìn, mô tả video và tạo giọng nói. Ở các tác vụ nặng về văn bản, mô hình được cho là đạt kết quả ngang với các thành viên trong dòng mô hình văn bản Qwen.

Điểm chuẩn chỉ mang tính tham khảo, không đảm bảo kết quả thực tế. Các bộ kiểm tra khác nhau về phạm vi, định dạng hướng dẫn và quy tắc chấm điểm. Nhà cung cấp tự chọn chỉ số công bố, còn các lần chạy khác nhau có thể ưu ái một số kiến trúc hoặc dữ liệu huấn luyện nhất định. Trong triển khai thực tế, mô hình phải xử lý âm thanh nhiễu, nhiều loại micrô, cảnh chuyển nhanh và các giọng nói khác nhau. Các nhóm nên đánh giá trên mẫu dữ liệu của mình, kiểm tra áp lực để phát hiện hiện tượng bịa đặt và đo chi phí so với thông lượng. Dù vậy, phạm vi tác vụ rộng trong các kết quả được công bố cho thấy mô hình được huấn luyện với tính đa phương thức là mục tiêu cốt lõi, chứ không phải được bổ sung muộn bằng các bộ chuyển đổi.

Trong tài liệu chính thức, nhóm Qwen mô tả Qwen3-Omni là mô hình đa ngôn ngữ nguyên bản, xử lý văn bản, hình ảnh, âm thanh và video, đồng thời trả về phản hồi trực tuyến dưới dạng văn bản và lời nói. Thiết kế này nhằm giữ cho giọng nói tự nhiên trong khi mô hình ngôn ngữ lên kế hoạch cho các bước tiếp theo.

Nhà phát triển có thể xây dựng gì ngay hôm nay

Kho mã nguồn và các bản trình diễn có sẵn hướng dẫn thực hành cho những tác vụ phổ biến vốn đã hoạt động tốt mà không cần tùy chỉnh nhiều. Các nhóm có thể bắt đầu với những ví dụ đơn giản rồi mở rộng thành tính năng phục vụ thực tế khi đã đủ tin tưởng.

Các trường hợp sử dụng phổ biến

Dưới đây là những tình huống phù hợp với thế mạnh của mô hình về nhận thức, suy luận và giọng nói:

• Nhận dạng giọng nói đa ngôn ngữ cho cuộc gọi, cuộc họp và nội dung truyền thông trực tiếp.
• Dịch lời nói giữa các cặp ngôn ngữ phổ biến, kèm phản hồi bằng giọng nói.
• Tạo chú thích âm thanh cho tiếng động môi trường và gắn thẻ âm nhạc.
• Nhận dạng ký tự quang học (OCR) trên tài liệu và ảnh chụp màn hình, kèm câu trả lời có căn cứ và chỉ rõ vị trí thông tin.
• Hỏi đáp về hình ảnh, bao gồm sơ đồ phức tạp hoặc bảng điều khiển.
• Mô tả video, tạo điểm nổi bật và phát hiện sự kiện để điều hướng các đoạn phim dài.
• Hỏi đáp nghe nhìn cho hoạt động đào tạo, hỗ trợ và nội dung hướng dẫn.
• Hỗ trợ kỹ thuật thời gian thực có thể nghe, quan sát và hướng dẫn xử lý sự cố.
• Quy trình làm việc kiểu tác nhân, gọi các công cụ và API bên ngoài để hoàn thành nhiệm vụ.

Hành vi của mô hình có thể được định hình bằng lời nhắc hệ thống để thiết lập vai trò, giọng điệu và định dạng. Mô hình hỗ trợ truyền dữ liệu trực tuyến theo thời gian thực, nhờ đó có thể đưa ra câu trả lời từng phần trong khi tiếp tục suy luận. Cách tương tác này tự nhiên hơn trong trợ lý giọng nói, nơi những khoảng dừng ngắn và lời hỏi lại nhanh phù hợp hơn sự im lặng kéo dài. Với các hệ thống triển khai nhạy cảm, nên xây dựng lớp bảo vệ gồm tăng cường lời nhắc, bộ lọc nội dung cho văn bản và âm thanh, cùng công cụ thực thi chính sách ghi lại ngữ cảnh và quyết định.

Bài toán doanh nghiệp và cấp phép

Quyết định phát hành theo giấy phép Apache 2.0 rất đáng chú ý. Giấy phép cho phép sử dụng thương mại, phân phối, chỉnh sửa và cấp phép lại. Giấy phép này cũng bao gồm quyền sử dụng bằng sáng chế, giúp giảm rủi ro pháp lý khi tích hợp mô hình vào sản phẩm. Doanh nghiệp có thể chạy Qwen3-Omni trên cụm máy chủ riêng hoặc đám mây đáng tin cậy, tinh chỉnh theo dữ liệu của mình và phát hành phần mềm mà không phải trả phí sử dụng cho nhà cung cấp. Sự kết hợp này loại bỏ nguy cơ bị phụ thuộc vào nhà cung cấp và hạ thấp rào cản thử nghiệm giữa các nhóm.

Alibaba cho biết hệ sinh thái xoay quanh dòng Qwen đang phát triển. Công ty nói dòng này đã phát hành hàng trăm mô hình kể từ khi các điểm kiểm tra Qwen đầu tiên ra mắt, với tổng lượt tải đạt hàng trăm triệu. Các nhà phát triển đã công bố hàng chục nghìn biến thể trên những nền tảng công khai, giúp rút ngắn thời gian từ bản mẫu đến triển khai thực tế. Với các ngành chịu quy định chặt chẽ, hệ thống đa phương thức tự lưu trữ có thể hỗ trợ đáp ứng yêu cầu về lưu trú dữ liệu và kiểm toán, đồng thời giữ cho chi phí suy luận ở mức có thể dự đoán.

Chi phí và vận hành

Vận hành mô hình đa phương thức đòi hỏi kế hoạch cụ thể. Dung lượng bộ nhớ GPU, băng thông lưu trữ cho âm thanh và video, cũng như tốc độ mạng phục vụ truyền dữ liệu trực tuyến đều ảnh hưởng đến khả năng phản hồi. API tính phí theo token giúp đơn giản hóa giai đoạn đầu trong khi đội ngũ hạ tầng xác định quy mô cụm máy chủ. Hạn mức miễn phí một triệu token trong 90 ngày đủ để đánh giá tính khả thi, tinh chỉnh lời nhắc và đo chất lượng trên dữ liệu nội bộ. Khi khối lượng công việc tăng, các tổ chức thường kết hợp nhiều mô hình. Mô hình mở có thể xử lý phần lớn tác vụ hằng ngày, còn API độc quyền đảm nhiệm các trường hợp hiếm hoặc tính năng chuyên biệt. Cách tiếp cận này giảm chi tiêu mà vẫn duy trì tính linh hoạt.

Rủi ro và triển khai có trách nhiệm

Khả năng hiểu âm thanh và video mạnh mẽ cho phép tạo ra những sản phẩm hấp dẫn, nhưng cũng làm tăng nguy cơ bị lạm dụng. Công nghệ tổng hợp giọng nói có thể bắt chước phong cách nói, dù theo mặc định mô hình không tạo ra một giọng nói mục tiêu cụ thể. Các tác nhân thời gian thực quan sát và lắng nghe người dùng cần có quy trình xin phép rõ ràng, lưu trữ bảo mật và chính sách xóa dữ liệu. Bộ phận pháp lý nên xem xét luồng dữ liệu giữa thiết bị ghi nhận, máy chủ và nhật ký, đồng thời đặt thời hạn lưu trữ phù hợp với quy định.

Doanh nghiệp nên kiểm tra mô hình một cách nghiêm ngặt về hiện tượng bịa đặt, thiên kiến và nội dung không an toàn. Chú thích âm thanh có thể diễn giải sai âm thanh trong môi trường lộn xộn. Mô tả video có thể bỏ sót ngữ cảnh giữa các cảnh cắt. Ngữ cảnh dài có thể khiến mô hình chệch khỏi hướng dẫn. Kế hoạch đánh giá được thiết kế tốt cần bao gồm lời nhắc đối kháng, độ bao phủ giọng và phương ngữ, cùng các bài kiểm tra an toàn chuyên sâu. Cơ chế phản hồi cho phép người dùng cuối báo cáo vấn đề giúp cải thiện mô hình và duy trì trách nhiệm giải trình trong quá trình triển khai.

Cách bắt đầu

Nhà phát triển có thể tải trọng số và ví dụ từ kho GitHub chính thức của Qwen3-Omni. Hướng dẫn bắt đầu nhanh trình bày cách chạy mô hình bằng các thư viện phổ biến như Transformers và vLLM. Các ảnh Docker và bản trình diễn giao diện web cũng có sẵn để thử nghiệm nhanh. Truy cập qua API của Alibaba phù hợp với những nhóm muốn tạo bản mẫu có giọng nói trực tuyến trước khi đầu tư vào hạ tầng. Các nền tảng mô hình cung cấp sẵn những điểm kiểm tra và hướng dẫn cộng đồng về tinh chỉnh cũng như đánh giá.

Liên kết: Qwen3-Omni trên GitHub

Điểm chính

• Alibaba phát hành Qwen3-Omni dưới dạng mã nguồn mở theo giấy phép Apache 2.0 có kèm quyền sử dụng bằng sáng chế, cho phép sử dụng thương mại và phân phối lại miễn phí.
• Mô hình tiếp nhận văn bản, hình ảnh, âm thanh và video, đồng thời phản hồi bằng văn bản hoặc lời nói tự nhiên với khả năng truyền dữ liệu trực tuyến theo thời gian thực.
• Có ba biến thể: Instruct cho tương tác đa phương thức, Thinking cho suy luận phức tạp và Captioner để tạo chú thích âm thanh.
• Độ trễ được báo cáo vào khoảng 234 mili giây với âm thanh và 547 mili giây với video, nhằm hỗ trợ việc luân phiên nói chuyện tự nhiên.
• Mô hình hỗ trợ 119 ngôn ngữ văn bản, 19 ngôn ngữ đầu vào giọng nói và 10 ngôn ngữ đầu ra giọng nói, trong đó có tiếng Quảng Đông.
• Trong 36 bài kiểm tra, Alibaba báo cáo mô hình đạt kết quả tiên tiến nhất ở 22 bài và dẫn đầu trong số các mô hình mở ở 32 bài, với kết quả tốt về âm thanh và video.
• Cửa sổ ngữ cảnh đạt tới 65.536 token ở Chế độ Thinking, với số token đầu vào hoặc đầu ra tối đa là 16.384.
• API cung cấp hạn mức miễn phí một triệu token trong 90 ngày, sau đó tính phí theo mỗi 1.000 token trên các phương thức.
• Các trường hợp sử dụng bao gồm chuyển lời nói thành văn bản, dịch thuật, OCR, gắn thẻ âm nhạc, hiểu video và trợ lý thời gian thực.
• Doanh nghiệp có thể tự lưu trữ, tinh chỉnh và tích hợp Qwen3-Omni, đồng thời áp dụng các biện pháp bảo vệ về bảo mật, quyền riêng tư và tuân thủ.