Baidu ra mắt AI đa phương thức mã nguồn mở mà hãng cho biết vượt GPT-5 và Gemini trong các bài kiểm tra thị giác

Đối thủ mã nguồn mở mới trong lĩnh vực AI đa phương thức

Baidu đã công bố mã nguồn mở cho một mô hình đa phương thức mới, ERNIE 4.5 VL 28B A3B Thinking, hệ thống có 28 tỷ tham số xử lý hình ảnh, video, tài liệu và văn bản. Công ty cho biết mô hình vượt các mô hình đóng hàng đầu trong những bài đánh giá thiên về thị giác, đồng thời sử dụng ít tài nguyên hơn. Mô hình được cấp phép theo Apache 2.0, cho phép sử dụng thương mại không hạn chế. Nếu được kiểm chứng qua các thử nghiệm độc lập, tuyên bố này sẽ đưa Baidu trở thành nhà cung cấp chủ chốt các mô hình suy luận thị giác cấp doanh nghiệp, có thể chạy trên phần cứng phổ biến.

ERNIE 4.5 VL 28B A3B Thinking kích hoạt khoảng 3 tỷ tham số cho mỗi token, chỉ là một phần nhỏ trong tổng số tham số, nhờ thiết kế Mixture of Experts (hỗn hợp chuyên gia), định tuyến từng đầu vào đến các mạng chuyên gia phù hợp nhất. Cách kích hoạt có chọn lọc này giúp giảm nhu cầu tính toán và bộ nhớ, đồng thời vẫn giữ được năng lực của một mô hình lớn hơn nhiều. Baidu cho biết mô hình có thể chạy suy luận trên một GPU 80 GB mà vẫn đạt kết quả tốt trong việc hiểu tài liệu, diễn giải biểu đồ và suy luận thị giác phức tạp.

Tính năng nổi bật nhất là điều Baidu gọi là Thinking with Images (suy luận bằng hình ảnh). Mô hình có thể phóng to và thu nhỏ hình ảnh trong lúc suy luận, kiểm tra các vùng nhỏ để tìm manh mối, rồi kết hợp phát hiện cục bộ với toàn cảnh. Cách xử lý này tương tự cách con người giải quyết vấn đề thị giác, giúp cải thiện các tác vụ như đọc sơ đồ kỹ thuật dày đặc, phát hiện lỗi trên dây chuyền sản xuất hoặc xác định chính xác vật được nhắc đến, chẳng hạn đầu nối màu xanh nằm dưới bu lông thứ hai.

Baidu cũng nhấn mạnh khả năng định vị đối tượng trong hình ảnh tốt hơn, tuân thủ chỉ dẫn chặt chẽ hơn trong các tác vụ hình ảnh, sử dụng công cụ bao gồm tìm kiếm hình ảnh và hiểu video vững chắc với khả năng nhận biết trình tự thời gian. Mô hình đi kèm các bộ công cụ tích hợp tương thích với Transformers, vLLM và FastDeploy, cùng bộ công cụ huấn luyện và tinh chỉnh mang tên ERNIEKit. Trong bối cảnh phần lớn hệ thống thị giác-ngôn ngữ hàng đầu vẫn là mô hình đóng, bản phát hành này mang đến cho nhà phát triển và doanh nghiệp một lựa chọn mở mới với giấy phép thuận lợi cho kinh doanh.

Mô hình tuyên bố có thể làm gì

Baidu chia năng lực của mô hình thành sáu lĩnh vực: suy luận thị giác, giải quyết vấn đề STEM, định vị đối tượng trong hình ảnh, tích hợp công cụ, hiểu video và phân tích hình ảnh động. Trên thực tế, hệ thống có thể đọc và tóm tắt hóa đơn hoặc báo cáo tài chính, phân tích biểu đồ và bảng, suy luận qua sơ đồ mạch điện và bài toán hình học, chỉ chính xác vào vật thể hoặc khu vực trên ảnh theo yêu cầu, gọi công cụ bên ngoài để tìm hình tham khảo và theo dõi sự kiện qua các đoạn video.

Trong các bảng xếp hạng được giới thiệu trong tài liệu của Baidu, mô hình được cho là ngang bằng hoặc vượt các phiên bản OpenAI GPT-5 High và Google Gemini 2.5 Pro trong một số bài kiểm tra tập trung vào thị giác. Các bài kiểm tra này bao gồm trả lời câu hỏi về biểu đồ, hiểu tài liệu và các chuẩn đánh giá suy luận thị giác nhiều bước. Công ty cũng nhấn mạnh ưu thế về tốc độ, tuyên bố suy luận nhanh hơn từ hai đến ba lần so với các mô hình tương đương có độ chính xác tương tự.

Các phòng thí nghiệm độc lập chưa xác minh những biểu đồ kết quả này. Bộ chuẩn đánh giá thường ưu tiên khả năng ghi nhớ mẫu, định dạng câu lệnh hoặc các mẹo hẹp, thay vì độ tin cậy trong triển khai thực tế với dữ liệu phức tạp. Các công ty đánh giá ERNIE 4.5 VL 28B A3B Thinking sẽ cần chạy thử nghiệm có mục tiêu với tài liệu, điều kiện ánh sáng, góc máy ảnh và chính sách bảo mật của riêng mình trước khi cam kết đưa vào sản xuất.

Dù cần thận trọng, phạm vi tác vụ mà mô hình xử lý được vẫn rất rộng. Sự kết hợp giữa suy luận, định vị đối tượng và sử dụng công cụ khiến mô hình phù hợp với các quy trình kiểu tác nhân, chẳng hạn đọc hồ sơ yêu cầu bồi thường mới trong hệ thống bảo hiểm, phát hiện bất thường trong hoạt động kho bãi hoặc hỗ trợ kỹ thuật viên khắc phục sự cố thiết bị qua ảnh có chú thích và video ngắn.

Cách mô hình 28B chạy trên một GPU 80 GB

Yếu tố then chốt là Mixture of Experts, một thiết kế trong đó nhiều mạng con chuyên biệt hoạt động phía sau một bộ định tuyến. Với mỗi token hoặc vùng ảnh, bộ định tuyến chọn một nhóm nhỏ chuyên gia để kích hoạt. Chỉ những chuyên gia đó thực hiện tính toán, vì vậy ở mỗi bước hệ thống hoạt động như một mô hình nhỏ, trong khi toàn bộ nhóm chuyên gia cung cấp năng lực lớn hơn khi xét qua nhiều bước và tác vụ. Cấu trúc này cải thiện thông lượng vì phần lớn tham số không hoạt động trong mỗi thao tác cụ thể.

Kích hoạt có chọn lọc giúp giảm nhu cầu bộ nhớ và chi phí tính toán. Một mô hình dày đặc 28 tỷ tham số sẽ cần phần cứng mạnh hơn nhiều để chạy ở tốc độ hữu ích. Bằng cách kích hoạt khoảng 3 tỷ tham số cho mỗi token, Baidu có thể tuyên bố mô hình thị giác-ngôn ngữ hỗ trợ suy luận trên một GPU, giúp nhiều phòng thí nghiệm có thể thử nghiệm. Đổi lại, hệ thống phức tạp hơn. Các kỹ sư cần bộ định tuyến nhanh và cân bằng, phân bổ tải hợp lý cùng kỹ thuật huấn luyện ổn định để tránh tình trạng chỉ một vài chuyên gia phải xử lý phần lớn công việc.

Suy luận bằng hình ảnh và định vị chính xác

Các mô hình thị giác-ngôn ngữ truyền thống nhận một hình ảnh có độ phân giải cố định rồi tạo câu trả lời bằng văn bản. Thinking with Images bổ sung một vòng lặp lập kế hoạch. Mô hình chia câu hỏi thành các bước, đề xuất vị trí cần quan sát tiếp theo, cắt một vùng ở độ phân giải cao, đọc văn bản hoặc đo hình học trong vùng đó rồi cập nhật kế hoạch. Vòng lặp tiếp tục cho đến khi thu thập đủ bằng chứng để trả lời. Năng lực này cũng hoạt động theo chiều ngược lại khi tác vụ yêu cầu chỉ vị trí: mô hình ánh xạ từ ngữ trở lại tọa độ điểm ảnh rồi vẽ khung hoặc mặt nạ.

Khả năng định vị tốt hơn rất quan trọng khi hình ảnh có nhiều chi tiết hoặc mang tính kỹ thuật. Trong sản xuất, hai bộ phận có thể trông gần như giống hệt nhau cho đến khi phóng to. Trong bản vẽ kỹ thuật, chỉ một vài điểm ảnh ký hiệu thay đổi cũng có thể làm đổi nghĩa của biểu tượng. Trong chẩn đoán hình ảnh y khoa, những dấu hiệu rất nhỏ có thể ảnh hưởng đến kết luận. Một hệ thống có thể chuyển đổi giữa bối cảnh toàn cảnh và chi tiết nhỏ, đồng thời giải thích các bước đã thực hiện, sẽ giúp người vận hành kiểm tra quy trình rõ hơn và có cơ sở để sửa lỗi.

Chuẩn đánh giá và khối lượng công việc thực tế

Các biểu đồ do nhà cung cấp công bố thường tổng hợp điểm số từ nhiều bài đánh giá. Một số chuẩn sử dụng hình ảnh rõ nét đã được cắt hoàn hảo. Một số khác đặt câu hỏi về nội dung vốn đã có trong tập huấn luyện. Khi triển khai thực tế, hình ảnh có thể bị lóa, nhòe do chuyển động, dùng phông chữ lạ, bị che khuất hoặc có nhãn đa ngôn ngữ. Hiệu suất có thể dao động khi đầu vào nằm ngoài phân bố dữ liệu huấn luyện. Vì vậy, tuyên bố nổi bật rằng mô hình vượt GPT-5 hoặc Gemini trong một số bài kiểm tra nên được xem là điểm khởi đầu, không phải kết luận.

Cách đáng tin cậy hơn là đánh giá theo từng tác vụ. Với tài liệu, các nhóm có thể tập hợp vài trăm tệp đại diện và đo độ chính xác trích xuất chính xác từng trường, đối chiếu với đáp án do con người kiểm tra. Với tác vụ thị giác, họ có thể mô phỏng điều kiện sản xuất rồi theo dõi độ chính xác và độ bao phủ của các khung hoặc mặt nạ. Với biểu đồ, họ có thể tạo dữ liệu tổng hợp có cài các trường hợp khó như thang đo logarit hoặc chuỗi dữ liệu xếp chồng. Cách này cho thấy rõ hơn hành vi và các dạng lỗi của mô hình.

Quy trình huấn luyện và bộ công cụ dành cho nhà phát triển

Các mô hình ERNIE 4.5 sử dụng quy trình huấn luyện kết hợp học có giám sát truyền thống với học tăng cường trên các tác vụ đa phương thức. Tài liệu đề cập đến các chiến lược mang tên GSPO và IcePop nhằm ổn định bộ định tuyến và cải thiện cách thiết kế phần thưởng khi huấn luyện mô hình MoE, kết hợp với lấy mẫu độ khó động để mô hình được tiếp xúc với các ví dụ khó hơn khi năng lực tăng lên. Kết quả là một hệ thống có thể lập kế hoạch suy luận nhiều bước trên hình ảnh, biểu đồ và video, thay vì đoán chỉ trong một lượt.

Họ mô hình này bao gồm các phiên bản chỉ xử lý văn bản và thị giác-ngôn ngữ, từ những mô hình dày đặc rất nhỏ đến các hệ thống MoE khổng lồ với tổng cộng hàng trăm tỷ tham số. Baidu cho biết kiến trúc cho phép chia sẻ tham số giữa các phương thức, nhờ đó các thành phần văn bản và thị giác có thể hỗ trợ lẫn nhau mà không làm giảm chất lượng ngôn ngữ. Huấn luyện và suy luận chạy trên nền tảng PaddlePaddle của công ty; nhóm phát triển cho biết nền tảng khai thác phần cứng hiệu quả ở quy mô lớn.

Baidu cung cấp một bộ công cụ cho nhà phát triển. ERNIEKit hỗ trợ tinh chỉnh, tối ưu hóa theo sở thích và lượng tử hóa để triển khai tiết kiệm tài nguyên. Mô hình thị giác-ngôn ngữ có thể được triển khai thông qua các bộ công cụ phổ biến như Transformers và vLLM, còn suy luận trong môi trường sản xuất có thể dùng FastDeploy. Giấy phép Apache 2.0 loại bỏ nhiều hạn chế đối với việc sử dụng thương mại. Trang mô hình chính thức có tại Hugging Face, còn mã nguồn và hướng dẫn nằm trong kho lưu trữ GitHub của Baidu.

Ý nghĩa đối với doanh nghiệp

Giấy phép mở và khả năng suy luận trên một GPU khiến mô hình hấp dẫn với các nhóm muốn triển khai AI thị giác riêng tư, tại chỗ mà không phải gửi dữ liệu cho nhà cung cấp đám mây. Các ngành xử lý nhiều tài liệu có thể thử nghiệm tiếp nhận thông minh hợp đồng, hóa đơn và hồ sơ yêu cầu bồi thường. Nhà sản xuất có thể xây dựng các trạm kiểm tra chất lượng kết hợp thị giác và hướng dẫn bằng ngôn ngữ cho công nhân dây chuyền. Các nhóm bán lẻ và logistics có thể dùng khả năng định vị để tìm mặt hàng và xác minh nhãn trong kho. Bộ phận chăm sóc khách hàng có thể cải thiện câu trả lời trong hội thoại bằng cách đọc biểu đồ hoặc ảnh chụp màn hình đính kèm.

Chi phí là yếu tố quan trọng. Nhiều tổ chức không thể dành riêng các cụm GPU hạng H100 chỉ cho một ứng dụng. Hệ thống chạy được trên một card 80 GB giúp giảm rào cản cho thử nghiệm và triển khai ban đầu. Khả năng định vị, sử dụng công cụ và hiểu video cũng phù hợp với các quy trình kiểu tác nhân, trong đó mô hình đọc, tìm kiếm, nhấp và suy luận qua nhiều bước để hoàn thành tác vụ. Điều này phù hợp với xu hướng chuyển sang các tác nhân sử dụng máy tính, có thể thao tác trên giao diện tiêu chuẩn thay vì API tùy chỉnh.

Cuộc đua rộng hơn: mô hình mở và dịch vụ đóng

Bản phát hành xuất hiện trong một năm sôi động của các mô hình mở. DeepSeek giới thiệu một mô hình ngôn ngữ MoE rất lớn với tổng cộng hàng trăm tỷ tham số nhưng chỉ kích hoạt vài chục tỷ tham số cho mỗi token, đồng thời báo cáo điểm số cao trên các chuẩn đánh giá tổng quát với chi phí huấn luyện chỉ bằng một phần so với các hệ thống đóng. Alibaba Marco o1 tập trung vào suy luận bằng các kỹ thuật như tinh chỉnh chuỗi suy nghĩ và lập kế hoạch có hướng dẫn bằng tìm kiếm, nhằm xử lý các tác vụ mở không có phần thưởng định lượng rõ ràng.

Các phòng thí nghiệm Trung Quốc, trong đó có Baidu, Alibaba và nhiều đơn vị khác, ngày càng phát hành các mô hình năng lực cao theo giấy phép thoáng. Quyền truy cập mở giúp nhà phát triển trong khu vực xây dựng sản phẩm với ít phụ thuộc hơn vào dịch vụ độc quyền. Điều này cũng gây áp lực lên các nhà cung cấp toàn cầu, buộc họ phải chứng minh mức giá cao cấp bằng ưu thế rõ ràng về độ tin cậy, công cụ hoặc tích hợp. Khoảng cách hiệu năng giữa mô hình mở và đóng đã thu hẹp ở nhiều lĩnh vực, đặc biệt là các tác vụ chuyên biệt như phân tích biểu đồ và trích xuất thông tin từ tài liệu.

Giới hạn và những câu hỏi còn bỏ ngỏ

Mô hình có những đánh đổi. Để đạt kết quả tốt nhất, mô hình thị giác-ngôn ngữ vẫn cần GPU 80 GB, vượt quá khả năng của nhiều thiết bị cá nhân. Cửa sổ ngữ cảnh được công bố là 128K token, hữu ích với các tệp PDF dài nhưng vẫn có giới hạn khi kết hợp nhiều hình ảnh, văn bản OCR và chỉ dẫn. Cơ chế định tuyến MoE có thể làm phức tạp việc triển khai ở quy mô lớn, vì các kỹ sư phải theo dõi mức cân bằng giữa các chuyên gia và đề phòng độ trễ tăng đột biến do một số điểm định tuyến quá tải.

An toàn vẫn là vấn đề lớn. Hệ thống xử lý hình ảnh có thể bị đánh lừa bởi các mẫu đối kháng hoặc những tương quan giả. Một mô hình chủ động cắt và phóng to ảnh cần tránh thiên kiến xác nhận, tức liên tục tập trung vào sai khu vực. Doanh nghiệp sẽ cần nhật ký kiểm tra rõ ràng cho từng bước trong chuỗi suy luận khi mô hình hoạt động ở chế độ tư duy, hoặc ít nhất là dấu vết có cấu trúc về các lệnh gọi công cụ và khung giới hạn. Baidu cho biết mô hình đã trải qua huấn luyện tăng cường đa phương thức và căn chỉnh khả năng định vị, nhưng vẫn cần các đánh giá rộng rãi từ bên thứ ba để tạo dựng niềm tin.

Điểm chính

• Baidu phát hành ERNIE 4.5 VL 28B A3B Thinking, mô hình đa phương thức mã nguồn mở theo giấy phép Apache 2.0, cho phép sử dụng thương mại.
• Mô hình tuyên bố vượt GPT-5 High và Gemini 2.5 Pro trong các bài đánh giá thiên về thị giác, nhưng cần được kiểm chứng độc lập.
• Mô hình sử dụng thiết kế Mixture of Experts, kích hoạt khoảng 3 tỷ trong tổng số 28 tỷ tham số cho mỗi token để giảm nhu cầu tính toán và bộ nhớ.
• Suy luận có thể chạy trên một GPU 80 GB, hạ thấp rào cản cho các dự án thử nghiệm và kiểm tra tại chỗ.
• Các tính năng nổi bật gồm Thinking with Images, hỗ trợ quy trình phóng to và kiểm tra ảnh, khả năng định vị đối tượng tốt hơn và hiểu video.
• Sáu năng lực cốt lõi hướng đến suy luận thị giác, tác vụ STEM, định vị, sử dụng công cụ, phân tích video và lập kế hoạch phân tích hình ảnh động.
• Quy trình huấn luyện gồm học tăng cường đa phương thức với GSPO, IcePop và lấy mẫu độ khó động nhằm ổn định MoE.
• Công cụ dành cho nhà phát triển gồm ERNIEKit, khả năng tương thích với Transformers, vLLM và FastDeploy, cùng trang mô hình và kho mã nguồn công khai.
• Các ứng dụng trải rộng từ xử lý tài liệu, kiểm soát chất lượng sản xuất, vận hành kho bãi đến hỗ trợ khách hàng.
• Giới hạn gồm yêu cầu GPU 80 GB, cửa sổ ngữ cảnh 128K, độ phức tạp của định tuyến MoE và các câu hỏi còn bỏ ngỏ về độ bền vững cũng như an toàn.