Alibaba ra mắt Qwen3 Omni, mô hình AI đa phương thức mã nguồn mở

Vì sao đợt ra mắt này quan trọng vào thời điểm hiện nay

Alibaba đã phát hành Qwen3 Omni, một mô hình trí tuệ nhân tạo đa phương thức có thể xử lý văn bản, hình ảnh, âm thanh và video trong cùng một hệ thống, trong bối cảnh cạnh tranh AI toàn cầu ngày càng gay gắt. Mô hình có thể được tải xuống và sử dụng theo giấy phép Apache 2.0, cho phép các công ty rộng quyền vận hành, chỉnh sửa và đưa công nghệ vào các sản phẩm thương mại. Sự kết hợp giữa phạm vi đa phương thức rộng và giấy phép linh hoạt này tạo sức ép trực tiếp lên các hệ thống đóng của những doanh nghiệp hàng đầu Mỹ.

Thời điểm ra mắt rất đáng chú ý. Các công ty phương Tây tiếp tục rót tiền vào AI độc quyền và cơ sở hạ tầng phía sau, trong khi các nhóm nghiên cứu Trung Quốc thu hút nhà phát triển bằng những mô hình cho phép truy cập mở. Qwen3 Omni nhanh chóng vươn lên các bảng xếp hạng cộng đồng trên Hugging Face, cho thấy đông đảo nhà phát triển đang sử dụng mô hình. Với Alibaba, đợt phát hành này phát đi tín hiệu rằng nhà cung cấp dịch vụ đám mây lớn nhất Trung Quốc muốn cạnh tranh để giành các khối lượng công việc AI toàn cầu, chứ không chỉ tranh giành ảnh hưởng trong giới nghiên cứu.

Điểm hứa hẹn của mô hình rất dễ diễn đạt: một mô hình nền tảng có thể tiếp nhận ngôn ngữ, hình ảnh, âm thanh và video, rồi phản hồi bằng văn bản hoặc giọng nói tự nhiên với tốc độ truyền phát trực tiếp. Nếu hiệu năng Alibaba công bố được duy trì trong sử dụng phổ thông, doanh nghiệp có thể triển khai trợ lý, dịch vụ phiên âm và công cụ phân tích mà không phải trả phí sử dụng cho các nền tảng đóng, cũng không cần ghép nhiều mô hình riêng cho từng loại dữ liệu.

Qwen3 Omni là gì và có thể làm gì

Qwen3 Omni là mô hình nền tảng được xây dựng để tương tác đa phương thức nguyên bản. Mô hình tiếp nhận bốn loại đầu vào gồm văn bản, hình ảnh, âm thanh và video, đồng thời tạo ra hai loại đầu ra là văn bản và giọng nói. Phản hồi có thể được truyền phát gần như theo thời gian thực, nhờ đó người dùng có thể trò chuyện với hệ thống hoặc hướng camera vào một cảnh vật và bắt đầu nghe câu trả lời trong lúc mô hình xử lý các khung hình.

Alibaba phát hành ba phiên bản để các nhóm lựa chọn năng lực phù hợp với từng trường hợp sử dụng. Mỗi phiên bản dựa trên một mô hình nền tảng 30 tỷ tham số, chọn kích hoạt một số chuyên gia trong quá trình suy luận để tăng hiệu quả. Các phiên bản gồm:

• Instruct, mô hình tương tác đầy đủ xử lý đầu vào âm thanh, video và văn bản, đồng thời tạo cả văn bản lẫn giọng nói.
• Thinking, mô hình tập trung vào suy luận, tạo phản hồi với chuỗi suy nghĩ dài. Mô hình tiếp nhận cùng các loại đầu vào nhưng chỉ xuất văn bản.
• Captioner, phiên bản tinh chỉnh cho tác vụ mô tả âm thanh chi tiết, hướng đến giảm thiểu ảo giác khi mô tả nguồn âm và sự kiện.

Nhà phát triển có thể tải trọng số từ GitHub và Hugging Face, hoặc gọi một điểm cuối được quản lý qua API của Alibaba. API này cũng cung cấp biến thể Flash nhanh hơn cho các tác vụ nhạy cảm với độ trễ.

Thiết kế Thinker và Talker bên trong

Hệ thống sử dụng kiến trúc gồm hai thành phần mà Alibaba gọi là Thinker và Talker. Thinker đảm nhiệm suy luận trên nhiều phương thức. Thành phần này kết hợp tín hiệu từ văn bản, bộ mã hóa hình ảnh và bộ mã hóa âm thanh, sau đó lập kế hoạch và tạo các token văn bản biểu đạt câu trả lời hoặc hành động dự kiến. Talker chuyển kế hoạch đó thành giọng nói tự nhiên, đồng thời giữ cho nhịp điệu và ngữ điệu phù hợp với ngữ cảnh hình ảnh và âm thanh.

Cả hai thành phần đều sử dụng phương pháp Mixture of Experts. Chỉ một phần tham số được kích hoạt ở mỗi bước, phân bổ khối lượng công việc giữa các chuyên gia và tăng thông lượng khi có nhiều yêu cầu cùng lúc. Thiết kế này giúp mô hình duy trì độ trễ thấp khi phục vụ nhiều người dùng đồng thời.

Talker không phụ thuộc vào biểu diễn văn bản nội bộ của Thinker. Thành phần này có thể điều kiện hóa trực tiếp theo các đặc trưng âm thanh và hình ảnh. Nhờ đó, đầu ra giọng nói tự nhiên hơn trong dịch thuật hoặc hỗ trợ trực tiếp, vì hệ thống có thể giữ lại ngữ điệu và âm sắc phù hợp với khung cảnh. Việc tách hai thành phần cũng đem lại lợi ích vận hành: các mô-đun bên ngoài như hệ thống truy xuất thông tin hoặc bộ lọc an toàn có thể kiểm tra và điều chỉnh văn bản Thinker đề xuất trước khi Talker chuyển thành giọng nói.

Để tạo giọng nói nhanh và rõ ràng, Talker dự đoán tự hồi quy một chuỗi đa mã sách, đồng thời sử dụng mạng Code2Wav gọn nhẹ để tổng hợp các khung âm thanh ngay trong quá trình xử lý. Cách tiếp cận này giảm độ trễ mà không làm mất chi tiết về chất lượng giọng nói.

Tốc độ, quy mô và ngôn ngữ

Độ trễ rất quan trọng trong tương tác bằng giọng nói và video. Qwen3 Omni công bố độ trễ đến gói dữ liệu đầu tiên khoảng 234 mili giây với âm thanh và khoảng 547 mili giây với video. Tốc độ phản hồi đầu cuối vẫn nằm trong một hệ số thời gian thực ngay cả khi xử lý nhiều yêu cầu, giúp cuộc trò chuyện diễn ra liền mạch.

Mô hình hỗ trợ nhiều ngôn ngữ. Mô hình hỗ trợ 119 ngôn ngữ ở dạng văn bản, hiểu đầu vào lời nói bằng 19 ngôn ngữ và có thể nói 10 ngôn ngữ. Phạm vi này bao gồm các ngôn ngữ lớn trên thế giới và phương ngữ như tiếng Quảng Đông. Nhờ vậy, các nhóm sản phẩm có thể xây dựng trợ lý phục vụ người dùng toàn cầu mà không cần đổi mô hình theo từng khu vực.

Cửa sổ ngữ cảnh được thiết kế cho các phiên làm việc dài. Chế độ Thinking hỗ trợ 65.536 token, còn chế độ Non Thinking hỗ trợ 49.152 token. Đầu vào và đầu ra tối đa lần lượt là 16.384 token, trong khi chuỗi suy luận dài nhất được hỗ trợ lên đến 32.768 token. Mô hình có thể phân tích và tóm tắt các đoạn âm thanh dài, khoảng 30 phút.

Cách Alibaba huấn luyện mô hình

Năng lực hiểu âm thanh dựa trên bộ biến áp âm thanh tùy chỉnh mang tên AuT. Alibaba huấn luyện AuT từ đầu trên khoảng 20 triệu giờ âm thanh có gán nhãn. Phần lớn dữ liệu tập trung vào nhận dạng tiếng nói tự động bằng tiếng Trung và tiếng Anh, phần nhỏ hơn gồm các ngôn ngữ khác và những tác vụ hướng đến khả năng hiểu âm thanh rộng hơn. AuT có khoảng 600 triệu tham số và được tinh chỉnh cho cả bộ nhớ đệm truyền phát trực tiếp lẫn tác vụ xử lý ngoại tuyến.

Quá trình tiền huấn luyện gồm ba giai đoạn. Ở giai đoạn căn chỉnh bộ mã hóa, nhóm huấn luyện bộ mã hóa hình ảnh và âm thanh trong khi giữ nguyên mô hình ngôn ngữ nền tảng, giúp duy trì chất lượng nhận thức. Tiếp đó là huấn luyện tổng quát trên tập dữ liệu khoảng hai nghìn tỷ token, gồm văn bản, âm thanh và hình ảnh, cùng một phần nhỏ hơn là dữ liệu video và âm thanh-video. Giai đoạn ngữ cảnh dài cuối cùng tăng độ dài chuỗi từ 8.192 lên 32.768 token và bổ sung các đoạn âm thanh, video dài hơn để đảm bảo mô hình có thể xử lý các chuỗi kéo dài.

Giai đoạn hậu huấn luyện bổ sung khả năng làm theo chỉ dẫn và căn chỉnh an toàn. Với Thinker, nhóm áp dụng tinh chỉnh có giám sát, chưng cất từ mô hình mạnh sang mô hình yếu và tối ưu hóa GSPO, sử dụng kết hợp các quy tắc với phản hồi từ LLM đóng vai trò giám khảo. Talker trải qua bốn giai đoạn, kết hợp hàng trăm triệu mẫu giọng nói đa phương thức với quá trình tiền huấn luyện liên tục trên dữ liệu đã tuyển chọn. Mục tiêu là giảm ảo giác, đồng thời cải thiện độ rõ ràng và biểu cảm của lời nói.

Điểm chuẩn, thế mạnh và hạn chế

Trên 36 bộ điểm chuẩn công khai bao quát văn bản, lời nói, thị giác và video, Alibaba cho biết Qwen3 Omni đứng đầu 22 bộ và dẫn đầu trong nhóm mô hình mở ở 32 bộ. Kết quả cho thấy mô hình có hiệu năng mạnh với các tác vụ thiên về âm thanh và đạt kết quả cạnh tranh ở văn bản lẫn thị giác.

Suy luận và viết: trên AIME25, mô hình đạt 65,0 điểm, cao hơn đáng kể kết quả 26,7 của GPT 4o đời 2024. Trên ZebraLogic, mô hình đạt 76,0, vượt Gemini 2.5 Flash với 57,9. Ở WritingBench, mô hình đạt 82,6, cao hơn mức 75,5 của GPT 4o.

Lời nói và âm thanh: trên bộ Wenetspeech, tỷ lệ lỗi từ được công bố là 4,69 và 5,89, thấp hơn nhiều so với mức 15,30 và 32,27 của GPT 4o. Trên LibriSpeech other, tỷ lệ lỗi giảm còn 2,48. Mô hình cũng mạnh về phân loại âm nhạc, đạt 93,0 trên GTZAN và 52,0 trên RUL MuchoMusic, đều cao hơn GPT 4o.

Thị giác và video: HallusionBench đạt 59,7 điểm, MMMU pro đạt 57,0 và MathVision full đạt 56,3, đều cao hơn GPT 4o trong cùng bộ kết quả. Trên bài kiểm tra hiểu video MLVU, Qwen3 Omni đạt 75,2, vượt Gemini 2.0 Flash với 71,0 và GPT 4o với 64,6.

Đây là những con số ấn tượng, nhưng các nhóm nên đặt chúng trong bối cảnh phù hợp. Alibaba tinh chỉnh hệ thống để duy trì chất lượng văn bản và thị giác, đồng thời phát huy thế mạnh về lời nói và tương tác đa phương thức. Những đánh giá ban đầu lưu ý rằng một mô hình chỉ xử lý văn bản trong cùng dòng sản phẩm vẫn có thể dẫn đầu ở một số tác vụ ngôn ngữ thuần túy. Đây là sự đánh đổi thường thấy khi chuyển từ huấn luyện đơn phương thức sang một hệ thống đa phương thức rộng hơn. Phép thử thực sự là hiệu năng hằng ngày trong quy trình sản xuất.

Giấy phép mở, khả năng truy cập và giá

Qwen3 Omni được phát hành theo giấy phép Apache 2.0. Giấy phép này cho phép sử dụng thương mại, chỉnh sửa và phân phối lại, đồng thời có điều khoản cấp quyền sử dụng bằng sáng chế. Doanh nghiệp có thể tích hợp mô hình vào sản phẩm, triển khai trên phần cứng của mình hoặc trên các đám mây đáng tin cậy, và phát hành sản phẩm đóng mà không cần công khai các thay đổi độc quyền. Giấy phép này loại bỏ những trở ngại pháp lý phổ biến nhất khiến các nhóm ngần ngại sử dụng mô hình tiên tiến trong các lĩnh vực có quy định chặt chẽ.

Các mô hình trong dòng sản phẩm có thể được tải từ GitHub và Hugging Face. Các nhóm muốn sử dụng dịch vụ được quản lý có thể dùng API của Alibaba, trong đó có tùy chọn Flash cho phản hồi nhanh hơn. Alibaba cung cấp hạn mức miễn phí một triệu token trên các phương thức trong 90 ngày kể từ khi kích hoạt, để các nhóm đánh giá năng lực trước khi trả phí.

Cách tính giá token

Phí được tính trên mỗi một nghìn token. Token là đơn vị văn bản nhỏ hoặc dạng biểu diễn được chia thành phần của các loại nội dung khác, đồng thời là thước đo chung cho chi phí tính toán giữa các phương thức. Alibaba niêm yết cùng mức giá trên mỗi token cho chế độ Thinking và Non Thinking, chỉ có một ngoại lệ: đầu ra âm thanh chỉ khả dụng ở chế độ Non Thinking.

Chi phí đầu vào: đầu vào văn bản có giá 0,00025 USD mỗi một nghìn token, tương đương khoảng 25 xu mỗi triệu token. Đầu vào âm thanh có giá 0,00221 USD mỗi một nghìn token, tương đương khoảng 2,21 USD mỗi triệu token. Đầu vào hình ảnh và video có giá 0,00046 USD mỗi một nghìn token, tương đương khoảng 46 xu mỗi triệu token.

Chi phí đầu ra: đầu ra văn bản có giá 0,00096 USD mỗi một nghìn token nếu lời nhắc chỉ gồm văn bản. Nếu đầu vào có hình ảnh hoặc âm thanh, đầu ra văn bản có giá 0,00178 USD mỗi một nghìn token. Khi yêu cầu cả đầu ra văn bản và âm thanh, phần âm thanh có giá 0,00876 USD mỗi một nghìn token. Trong trường hợp này, phần văn bản được miễn phí.

Những ứng dụng có thể triển khai ngay

Các ứng dụng tập trung vào âm thanh và video có thể hưởng lợi. Dịch thuật và phiên âm đa ngôn ngữ cho dịch vụ hỗ trợ khách hàng và bản địa hóa nội dung truyền thông có thể chạy trên một mô hình duy nhất, có khả năng lắng nghe, hiểu ngữ cảnh và phản hồi bằng lời nói. Phiên bản Captioner tập trung vào mô tả âm thanh, hữu ích cho việc gắn thẻ nội dung truyền thông, giám sát phát sóng và truy xuất thông tin âm nhạc.

Các tác vụ thị giác như nhận dạng ký tự quang học, xác định vị trí đối tượng và hỏi đáp về hình ảnh hoặc video cũng phù hợp. Nhân viên hỗ trợ có thể theo dõi hình ảnh trực tiếp từ camera điện thoại hướng vào một chiếc máy tính xách tay, mô tả cần kiểm tra dây cáp nào rồi hướng dẫn các bước bằng giọng nói tự nhiên. Alibaba đã trình diễn khả năng dịch thực đơn nhà hàng theo thời gian thực thông qua một thiết bị đeo. Những tình huống này cho thấy vì sao độ trễ khi truyền phát và chất lượng giọng nói lại quan trọng.

Qwen3 Omni cũng hỗ trợ đối thoại nghe nhìn. Mô hình có thể duy trì cuộc trò chuyện dựa trên cả những gì nghe được lẫn những gì nhìn thấy, theo dõi ngữ cảnh trong một phiên dài và đưa ra kiến thức bên ngoài phù hợp khi kết nối với các công cụ. Nhà phát triển có thể định hình giọng điệu và hành vi bằng lời nhắc hệ thống, xây dựng trợ lý chuyên biệt theo lĩnh vực và chuyển đầu ra của Thinker qua các bộ lọc an toàn tùy chỉnh trước khi tạo giọng nói.

So sánh với GPT 4o, Gemini 2.5 và Gemma 3n

Qwen3 Omni gia nhập nhóm mô hình đa năng hướng đến xử lý nhiều loại dữ liệu trong cùng một công cụ. GPT 4o của OpenAI hỗ trợ đầu vào văn bản, hình ảnh và âm thanh, nhưng chỉ được cung cấp dưới dạng dịch vụ đóng. Gemini 2.5 Pro của Google cũng xử lý được video nhưng là mô hình đóng. Gemma 3n của Google có giấy phép mở và chấp nhận văn bản, hình ảnh, âm thanh, video làm đầu vào, nhưng chỉ tạo văn bản. Mô hình của Alibaba tiếp nhận cùng bốn loại đầu vào và bổ sung đầu ra giọng nói, một điểm quan trọng đối với trợ lý và dịch thuật trực tiếp.

Tính mở tạo ra khác biệt thực tế. Trọng số Qwen3 Omni được cung cấp theo giấy phép Apache 2.0, giúp các công ty chạy mô hình tại chỗ, điều chỉnh để đáp ứng quy định của ngành và kiểm soát luồng dữ liệu. Mô hình đóng vẫn chiếm ưu thế trong một số tác vụ cao cấp, nhưng điều khoản cấp phép và lưu trú dữ liệu có thể hạn chế việc triển khai ở các lĩnh vực nhạy cảm. Nhiều tổ chức sẽ chọn kết hợp nhiều loại mô hình, dùng mô hình mở để tiết kiệm chi phí và tăng quyền kiểm soát, đồng thời sử dụng dịch vụ trả phí khi khó có giải pháp nào sánh bằng về hiệu năng.

Một khác biệt nữa nằm ở câu chuyện triển khai thực tế. Alibaba đã xây dựng dòng Qwen đa dạng với hàng trăm biến thể và cho biết được các nhà phát triển chấp nhận rộng rãi. Nếu khả năng tương tác trực tiếp bằng lời nói và video của Qwen3 Omni duy trì được hiệu năng điểm chuẩn trong sử dụng hằng ngày, mô hình sẽ mang đến cho các nhóm một lựa chọn thay thế đáng tin cậy khi cần trợ lý đa ngôn ngữ, độ trễ thấp mà họ có thể tự lưu trữ.

Tín hiệu về mức độ đón nhận và thị trường

Mức độ quan tâm của nhà phát triển đang thể hiện rõ. Qwen3 Omni đã lên đầu các danh sách xu hướng trên Hugging Face, trong khi các mô hình Alibaba khác cũng chiếm một số vị trí dẫn đầu. Đà tăng này phản ánh xu hướng rộng hơn, khi các mô hình mở từ những phòng thí nghiệm Trung Quốc ngày càng được cộng đồng toàn cầu đón nhận.

Alibaba Cloud cho biết dòng Qwen đã được tải xuống hơn 400 triệu lần trên toàn cầu và công ty đã phát hành hơn 300 mô hình kể từ khi bắt đầu phát triển dòng này. Phản ứng của nhà đầu tư cũng tích cực. Cổ phiếu Alibaba tại Hong Kong tăng hơn 4% một chút trong ngày Qwen3 Omni vươn lên đầu bảng xếp hạng cộng đồng, cho thấy thị trường đang theo dõi tiến triển AI của công ty.

Cũng có tranh luận về ý nghĩa của tính mở. Các mô hình được phát hành theo Apache 2.0 và có thể tải trọng số, nhưng công thức đầy đủ để tái tạo quá trình huấn luyện từ dữ liệu thô không được công khai. Những người theo quan điểm chặt chẽ có thể gọi đây là mô hình có trọng số mở. Với phần lớn doanh nghiệp, điều khoản cấp phép mới là yếu tố quan trọng; các điều khoản này cho phép phát hành sản phẩm mà không phải trả phí theo người dùng hoặc theo chỗ ngồi.

Những điều cần theo dõi về an toàn và quản trị

Doanh nghiệp sẽ muốn biết liệu những cải thiện điểm chuẩn được công bố có chuyển thành hành vi an toàn, dễ dự đoán khi hệ thống chịu tải hay không. Hệ thống giọng nói đi kèm những rủi ro riêng, từ lệnh bị nghe nhầm đến tổng hợp giọng nói có sức thuyết phục. Các nhóm nên thiết lập biện pháp bảo vệ cho xác minh danh tính, lọc nội dung và lưu giữ dữ liệu. Việc tách Thinker khỏi Talker hỗ trợ các biện pháp kiểm soát này, vì một lớp an toàn có thể chặn văn bản trước khi giọng nói được tạo ra.

Năng lực sẵn sàng vận hành cũng sẽ được chú ý. Các tổ chức triển khai mô hình mở ở quy mô lớn thường đầu tư vào MLOps, quy trình tinh chỉnh và đánh giá. Qwen3 Omni giảm nhu cầu xoay xở với nhiều mô hình bằng cách xử lý văn bản, âm thanh, hình ảnh và video trong cùng một hệ thống. Điều này có thể đơn giản hóa hạ tầng và rút ngắn chu kỳ phát triển sản phẩm, đặc biệt với triển khai tại chỗ hoặc trên đám mây có chủ quyền cần tuân thủ quy định khu vực.

Alibaba đã nêu các bước tiếp theo, bao gồm cải thiện nhận dạng nhiều người nói, nhận dạng văn bản trong video, tăng cường khả năng học từ âm thanh và video kết hợp, cũng như phát triển các tác nhân tự hành năng lực cao hơn. Những mục tiêu này phù hợp với các lĩnh vực mà khách hàng sẽ sớm thử nghiệm khi đưa các dự án thí điểm vào sản xuất.

Điểm chính

• Qwen3 Omni là mô hình duy nhất tiếp nhận văn bản, hình ảnh, âm thanh và video, đồng thời tạo văn bản và giọng nói với tốc độ truyền phát trực tiếp.
• Alibaba phát hành trọng số theo Apache 2.0, cho phép sử dụng thương mại, chỉnh sửa và phân phối lại, đồng thời có điều khoản cấp quyền sử dụng bằng sáng chế.
• Hiện có ba phiên bản: Instruct cho tương tác đầy đủ, Thinking cho suy luận dài với đầu ra văn bản và Captioner để mô tả âm thanh với mức ảo giác thấp.
• Thinker và Talker tách biệt việc suy luận với tạo giọng nói, đồng thời sử dụng Mixture of Experts để duy trì độ trễ thấp khi xử lý tải đồng thời.
• Độ trễ đến gói dữ liệu đầu tiên được công bố là khoảng 234 mili giây với âm thanh và khoảng 547 mili giây với video, trong phạm vi một hệ số thời gian thực.
• Mô hình hỗ trợ 119 ngôn ngữ văn bản, hiểu lời nói bằng 19 ngôn ngữ và có thể nói 10 ngôn ngữ, trong đó có hỗ trợ phương ngữ như tiếng Quảng Đông.
• AuT, bộ mã hóa âm thanh 600 triệu tham số được huấn luyện trên khoảng 20 triệu giờ dữ liệu, là nền tảng cho khả năng hiểu lời nói.
• Điểm chuẩn cho thấy mô hình dẫn đầu 22 trong số 36 bài kiểm tra và dẫn đầu trong nhóm mô hình mở ở 32 bài, với kết quả mạnh về lời nói, âm nhạc, thị giác và video.
• Giá API bắt đầu từ 0,00025 USD mỗi một nghìn token đầu vào văn bản và 0,00096 USD mỗi một nghìn token đầu ra văn bản; có bản dùng thử miễn phí một triệu token trong 90 ngày.
• Mức độ đón nhận trên Hugging Face tăng nhanh; Alibaba cho biết các mô hình Qwen đã có hàng trăm triệu lượt tải xuống khi doanh nghiệp đánh giá mô hình mở để đưa vào sử dụng thực tế.