Chi phí tiềm ẩn của các tác nhân AI quá sốt sắng
Các tác nhân trí tuệ nhân tạo hiện đại có một điểm yếu căn bản trong việc ra quyết định, khiến chi phí vận hành tăng cao và làm người dùng thất vọng. Các nhà nghiên cứu tại Alibaba đã xác định điều mà họ gọi là sự thiếu hụt siêu nhận thức sâu sắc trong các mô hình ngôn ngữ lớn hiện nay. Những hệ thống này khó phân biệt khi nào cần gọi công cụ bên ngoài và khi nào kiến thức nội tại là đủ. Hệ quả là hàng loạt lệnh gọi API không cần thiết làm chậm hiệu suất, suy giảm chất lượng suy luận và tiêu hao ngân sách tính toán.
Nội dung
Các mô hình tác nhân hiện nay được huấn luyện để ưu tiên hoàn thành nhiệm vụ trên hết. Sự tập trung đơn nhất này tạo ra điều mà các nhà phát triển gọi là hành vi “nóng vội kích hoạt”, khi hệ thống tự động tìm đến công cụ tìm kiếm web, thực thi mã hoặc phân tích hình ảnh ngay cả khi truy vấn của người dùng đã chứa đủ thông tin cần thiết. Theo nghiên cứu của Alibaba, tình trạng dư thừa này lên đến mức đáng báo động: có tới 98% lệnh gọi công cụ là không cần thiết trong các triển khai tiêu chuẩn. Mô hình này vẫn tồn tại vì các phương thức huấn luyện thưởng cho việc giải quyết nhiệm vụ thành công mà không phạt việc tiêu thụ tài nguyên kém hiệu quả.
Mỗi lệnh gọi API thừa làm phát sinh độ trễ xử lý tuần tự, tích tụ thành thời gian phản hồi đáng kể. Người dùng phải chịu tốc độ phản hồi chậm chạp, trong khi các tổ chức gánh hóa đơn hạ tầng tăng cao. Ngoài tốc độ và chi phí, việc sử dụng công cụ quá mức còn trực tiếp làm giảm chất lượng suy luận. Các truy vấn bên ngoài dư thừa đưa nhiễu từ môi trường vào cửa sổ ngữ cảnh của mô hình, khiến hệ thống mất tập trung khỏi quá trình suy nghĩ mạch lạc và có thể dẫn đến kết luận thiếu chính xác. Khi tác nhân phụ thuộc không cần thiết vào những tín hiệu nhiễu này, chất lượng đầu ra cuối cùng sẽ giảm sút ngay cả khi chi phí tính toán tăng lên.
Phá vỡ thế bế tắc tối ưu hóa
Những nỗ lực trước đây nhằm khắc phục sự kém hiệu quả này dựa vào các phương pháp học tăng cường truyền thống, kết hợp độ chính xác và hiệu quả thành một tín hiệu thưởng duy nhất. Cách tiếp cận đan xen này tạo ra một thế lưỡng nan tối ưu hóa không thể giải quyết. Hình phạt quá nặng cho việc sử dụng công cụ khiến mô hình né tránh cả những lệnh gọi bên ngoài cần thiết, làm giảm tính chính xác ở các nhiệm vụ phức tạp. Hình phạt nhẹ lại không ngăn được sự lãng phí trong các bài toán đơn giản hơn. Cấu trúc thưởng dùng chung tạo ra sự mơ hồ về ngữ nghĩa: một câu trả lời nhanh nhưng sai có thể nhận mức điểm tương đương với câu trả lời chậm nhưng đúng. Vì tín hiệu huấn luyện về độ chính xác và hiệu quả bị đan xen, mô hình không thể học cách kiểm soát việc sử dụng công cụ mà không làm suy giảm năng lực suy luận cốt lõi.
Để khắc phục hạn chế này, các nhà nghiên cứu Alibaba đã phát triển Tối ưu hóa Chính sách Phân cấp Tách biệt, hay HDPO. Khuôn khổ này chia quá trình tối ưu hóa thành hai kênh độc lập. Kênh độ chính xác tối đa hóa tính đúng đắn của nhiệm vụ trên mọi lượt chạy của mô hình. Kênh hiệu quả hướng đến tiết kiệm trong quá trình thực thi. Hai tín hiệu được tính toán độc lập và chỉ kết hợp ở giai đoạn tính toán hàm mất mát cuối cùng. Điều quan trọng là phần thưởng về hiệu quả vẫn phụ thuộc vào độ chính xác. Một câu trả lời sai không được ghi nhận điểm thưởng cho tốc độ hay việc sử dụng ít công cụ, ngăn mô hình học cách trả lời nhanh nhưng sai.
Sự tách biệt này tạo ra một chương trình học nhận thức ngầm, tương tự tiến trình giáo dục. Các giai đoạn huấn luyện ban đầu nhấn mạnh độ chính xác, khi mô hình làm chủ suy luận cốt lõi và tiếp thu kiến thức. Khi năng lực trưởng thành và mô hình thường xuyên đưa ra câu trả lời đúng, tín hiệu hiệu quả sẽ tự nhiên tăng cường. Cơ chế này giúp hệ thống trước tiên làm chủ việc giải quyết nhiệm vụ, sau đó nâng cao khả năng tự lực bằng cách tránh các lệnh gọi API dư thừa, tốn kém. Kết quả là loại bỏ xung đột gradient, vốn có thể khiến mục tiêu độ chính xác và hiệu quả triệt tiêu lẫn nhau, đồng thời cung cấp tín hiệu học tập rõ ràng cho cả hai mục tiêu.
Bên trong kiến trúc Metis
Nhóm nghiên cứu đã áp dụng HDPO để xây dựng Metis, một tác nhân suy luận đa phương thức thể hiện các nguyên tắc này trong thực tế. Metis vận hành trên nền tảng thị giác-ngôn ngữ Qwen3-VL-8B-Instruct, được trang bị khả năng thực thi mã Python, tìm kiếm văn bản và tìm kiếm hình ảnh. Quy mô tương đối nhỏ gọn, 8 tỷ tham số, tương phản rõ rệt với các đối thủ lớn hơn, cho thấy lợi ích về hiệu quả có thể vượt qua ưu thế về quy mô thuần túy.
Quy trình huấn luyện tuân theo phương pháp hai giai đoạn nghiêm ngặt, nhằm thiết lập cả năng lực cơ bản lẫn hiệu quả tinh chỉnh. Trước tiên, tinh chỉnh có giám sát cung cấp khởi tạo ban đầu bằng dữ liệu được tuyển chọn kỹ lưỡng. Các nhà nghiên cứu lấy những chuỗi tương tác đa phương thức có bổ sung công cụ từ nguồn công khai, sau đó lọc mạnh để loại bỏ ví dụ chất lượng thấp có lỗi thực thi hoặc phản hồi thiếu nhất quán. Họ loại bỏ mọi mẫu huấn luyện mà mô hình nền có thể giải quyết mà không cần công cụ, bảo đảm tập dữ liệu chỉ chứa những trường hợp thực sự đòi hỏi sử dụng công cụ một cách có chiến lược. Google Gemini 3.1 Pro được dùng làm bộ đánh giá tự động để xác minh các ví dụ còn lại thể hiện việc gọi công cụ là cần thiết chứ không phải theo thói quen.
Giai đoạn thứ hai áp dụng học tăng cường thông qua khuôn khổ HDPO. Giai đoạn này đưa Metis vào các tương tác nhiều lượt, trong đó mô hình phải quyết định có sử dụng tiện ích bên ngoài hay không. Dữ liệu huấn luyện loại trừ các câu lệnh có hình ảnh bị lỗi hoặc mơ hồ về ngữ nghĩa, vốn có thể gây nhiễu cho tín hiệu học tập. Thuật toán cần so sánh câu trả lời đúng và sai để tạo ra gradient có ý nghĩa, vì vậy nhóm đã lọc bỏ những nhiệm vụ quá dễ, nơi mô hình luôn thành công, và những nhiệm vụ quá khó, nơi mô hình liên tục thất bại. Việc tuyển chọn này bảo đảm có tín hiệu học tập hữu ích trong suốt quá trình tối ưu hóa, tránh các vùng gradient phẳng nơi mô hình không thể cải thiện.
Từ lãng phí 98% đến độ chính xác có chiến lược
Kết quả đánh giá cho thấy việc sử dụng công cụ hiệu quả và độ chính xác cao là những mục tiêu bổ trợ, chứ không xung đột với nhau. Metis đạt hiệu suất hàng đầu trên các bộ dữ liệu về nhận thức thị giác và hiểu tài liệu, bao gồm HRBench và V*Bench, cũng như các nhiệm vụ suy luận toán học nghiêm ngặt như WeMath và MathVista. Đáng chú ý, Metis với 8 tỷ tham số vượt qua Skywork-R1V4 có 30 tỷ tham số, một mô hình tác nhân lớn hơn nhiều, trên cả các chuẩn đánh giá thị giác lẫn suy luận. Thành tích này thiết lập chuẩn mới cho lĩnh vực, đồng thời vận hành với chi phí tính toán thấp hơn nhiều.
Những cải thiện định lượng tương ứng với thay đổi hành vi định tính được ghi nhận trong quá trình thử nghiệm. Trong một thí nghiệm, các nhà nghiên cứu đưa ra hình ảnh biển chỉ dẫn trong bảo tàng và hỏi dòng chữ ở chính giữa ghi gì. Các mô hình tác nhân thông thường tự động viết mã Python để cắt và xử lý ảnh một cách không cần thiết, làm tăng độ trễ và độ phức tạp. Metis nhận ra dòng chữ hiển thị rõ trong ảnh gốc, bỏ qua hoàn toàn các công cụ bên ngoài và hoàn thành nhiệm vụ chỉ trong một lượt suy luận. Điều này cho thấy khả năng hiểu hình ảnh thực sự, thay vì phụ thuộc máy móc vào công cụ.
Ngược lại, khi được cho xem một biểu đồ phức tạp với các đường chồng lấn trong một biểu đồ phụ rất nhỏ và được yêu cầu xác định đường cao thứ hai tại một điểm dữ liệu cụ thể, Metis xác định chính xác rằng độ phân giải gốc không đủ để phân biệt các chi tiết thị giác. Thay vì đoán dựa trên toàn bộ hình ảnh, mô hình dùng Python để cắt và phóng to riêng khu vực đó, đạt được độ chính xác cần thiết. Hành vi này cho thấy mã được triển khai như một công cụ chính xác, chỉ sử dụng khi bằng chứng thị giác thực sự mơ hồ, chứ không phải cơ chế dự phòng mặc định cho mọi đầu vào.
Lợi ích kinh tế của các tác nhân thông minh hơn
Đối với các công ty khởi nghiệp và doanh nghiệp xây dựng sản phẩm AI, đột phá Metis có thể trực tiếp cải thiện tính bền vững của hiệu quả kinh tế trên mỗi đơn vị sản phẩm. Các tác nhân AI hiện chạy trên những API phổ biến của OpenAI, Anthropic hoặc Google có thể phát sinh hàng nghìn USD chi phí hằng tháng chỉ từ các lệnh gọi dư thừa. Theo tỷ lệ giảm từ 98% xuống 2% được chứng minh trong nghiên cứu, một công ty khởi nghiệp chi 10.000 USD mỗi tháng để truy cập API có thể giảm khoản này tới 9.600 USD bằng cách loại bỏ các lệnh gọi công cụ lãng phí. Những khoản tiết kiệm này trở nên thiết yếu khi sản phẩm vượt qua giai đoạn sản phẩm khả dụng tối thiểu để bước vào môi trường sản xuất với hàng nghìn người dùng hoạt động.
Ngoài việc tiết kiệm chi phí trực tiếp, giảm độ trễ còn tạo lợi thế cạnh tranh về trải nghiệm người dùng. Cả sản phẩm tiêu dùng lẫn sản phẩm B2B đều được hưởng lợi từ thời gian phản hồi nhanh hơn, yếu tố có mối tương quan chặt chẽ với khả năng giữ chân người dùng và các chỉ số tương tác. Khi sản phẩm mở rộng từ hàng trăm lên hàng nghìn người dùng hoạt động, những nút thắt tuần tự do các lệnh gọi API không cần thiết gây ra sẽ tích tụ, làm suy giảm hiệu suất toàn hệ thống. Những gì hoạt động đủ tốt trong giai đoạn phát triển ban đầu thường sụp đổ dưới lưu lượng sản xuất nếu thiếu tối ưu hóa hiệu quả, tạo ra khủng hoảng đúng vào lúc tăng trưởng tăng tốc.
Tại các thị trường có người tiêu dùng nhạy cảm về giá, như Mỹ Latinh và các nền kinh tế mới nổi khác, hiệu quả vận hành quyết định khả năng tồn tại của doanh nghiệp. Những công ty duy trì được biên lợi nhuận lành mạnh trong khi đối thủ đốt vốn cho năng lực tính toán dư thừa sẽ có vị thế cạnh tranh bền vững. Nghiên cứu cho thấy trong môi trường mà bất kỳ công ty khởi nghiệp nào cũng có thể tiếp cận cùng một mô hình nền, hiệu quả sẽ trở thành yếu tố khác biệt cạnh tranh chủ yếu. Xu hướng này có lợi cho các tổ chức triển khai bộ nhớ đệm thông minh, ngưỡng độ tin cậy và lựa chọn mô hình có chiến lược bên cạnh các khuôn khổ như HDPO.
Triết lý huấn luyện mới
Khuôn khổ HDPO đánh dấu sự thay đổi về quan niệm trong cách các nhà nghiên cứu tiếp cận việc học có bổ sung công cụ. Các phương pháp trước đây chủ yếu tập trung dạy mô hình cách thực hiện lệnh gọi công cụ chính xác, coi trọng năng lực kỹ thuật hơn khả năng phán đoán. Nhóm Alibaba chủ trương bồi dưỡng sự sáng suốt siêu nhận thức về thời điểm nên hoàn toàn không dùng tiện ích bên ngoài. Điều này đòi hỏi dữ liệu huấn luyện phải thể hiện rõ việc kiềm chế có chiến lược, chứ không chỉ thao tác kỹ thuật, một sắc thái mà các tập dữ liệu trước đây phần lớn bỏ qua.
Quy trình tuyển chọn dữ liệu xử lý những thiếu sót nghiêm trọng thường gặp trong các tập dữ liệu có bổ sung công cụ hiện nay. Hầu hết kho dữ liệu công khai đều chứa các chuỗi tương tác nhiễu, khiến mô hình học cách gọi công cụ theo thói quen thay vì theo chiến lược. Bằng cách lọc bỏ các ví dụ có thể giải quyết mà không cần trợ giúp bên ngoài và sử dụng bộ đánh giá tự động để xác minh sự cần thiết, các nhà nghiên cứu đã tạo ra môi trường huấn luyện khuyến khích việc chủ động không sử dụng công cụ một cách cân nhắc. Cách tiếp cận này khác với các khuôn khổ như ReAct, vốn kết hợp suy luận và hành động mà không tối ưu hóa rõ ràng theo hai kênh, hay Meta Toolformer, vốn nhấn mạnh việc học cách sử dụng công cụ hơn là hiệu quả vận hành.
Chương trình học ngầm do HDPO tạo ra phản ánh các mô hình học tập của con người trong đào tạo chuyên môn. Các tác nhân mới bắt đầu trước tiên làm chủ độ chính xác khi thực hiện nhiệm vụ, bảo đảm chúng có thể giải quyết vấn đề một cách đáng tin cậy bằng các nguồn lực sẵn có. Khi năng lực đã vững chắc, hệ thống tự nhiên chuyển sang tối ưu hóa hiệu quả, học cách trực tiếp giải quyết những vấn đề quen thuộc trong khi dành công cụ bên ngoài cho tình huống thực sự mới lạ hoặc trường hợp biên phức tạp. Tiến trình này tránh được sự mong manh của các hệ thống được huấn luyện đồng thời theo cả hai mục tiêu, vốn thường bị suy giảm độ chính xác khi chịu áp lực từ các ràng buộc hiệu quả.
Khả năng tiếp cận mã nguồn mở và tác động toàn cầu
Alibaba phát hành Metis và mã huấn luyện HDPO theo giấy phép Apache 2.0 cho phép sử dụng rộng rãi, giúp doanh nghiệp khai thác thương mại mà không chịu điều kiện hạn chế hay tiền bản quyền. Cách phát hành mở này cho phép các công ty khởi nghiệp tích hợp công nghệ ngay lập tức thay vì chờ giải pháp độc quyền hoặc trả phí truy cập cao cấp. Tuy nhiên, vì bài công bố có từ tháng 4 năm 2026, tài liệu hướng dẫn và hỗ trợ cộng đồng vẫn đang ở giai đoạn đầu phát triển, đòi hỏi chuyên môn kỹ thuật đáng kể để triển khai và tùy chỉnh đúng cách.
Bản phát hành xuất hiện khi hệ sinh thái tác nhân AI đang trưởng thành, chuyển từ việc tích lũy tính năng sang tối ưu hóa hiệu quả. Các công ty như LangChain và LlamaIndex tiếp tục tích hợp những tối ưu hóa tương tự vào nền tảng của họ, trong khi các giải pháp độc quyền cung cấp dịch vụ được quản lý với cơ cấu chi phí đa dạng. Đối với các nhà phát triển tại những thị trường nói tiếng Tây Ban Nha và các nền kinh tế mới nổi, sớm áp dụng những khuôn khổ hiệu quả như vậy sẽ tạo cơ hội xây dựng các sản phẩm cạnh tranh, được tối ưu cho những hạn chế về hạ tầng và mức độ nhạy cảm về giá tại địa phương.
Các thành viên nhóm nghiên cứu nhấn mạnh rằng việc loại bỏ những lệnh gọi công cụ nhiễu và dư thừa trực tiếp góp phần nâng cao độ chính xác, thay vì đánh đổi chỉ số này để lấy chỉ số khác. Kết luận của họ hướng đến sự thay đổi mô hình rộng hơn trong phát triển trí tuệ nhân tạo: chuyển từ các hệ thống thể hiện năng lực bằng tần suất sử dụng công cụ sang các tác nhân thể hiện khả năng phán đoán thông qua việc kiềm chế có chiến lược. Nghiên cứu cho thấy quá trình phát triển AI trong tương lai sẽ ưu tiên hành động có chọn lọc và thông minh hơn việc gọi mọi công cụ sẵn có.
Những điểm chính
- Tác nhân Metis của Alibaba giảm số lần gọi công cụ AI dư thừa từ 98% xuống 2% bằng khuôn khổ HDPO
- HDPO (Tối ưu hóa Chính sách Phân cấp Tách biệt) chia độ chính xác và hiệu quả thành các kênh huấn luyện độc lập
- Metis với 8 tỷ tham số vượt qua các mô hình lớn hơn nhiều, có 30 tỷ tham số, trên các chuẩn đánh giá thị giác và suy luận
- Việc sử dụng công cụ có chiến lược tạo ra chương trình học nhận thức ngầm, giúp tác nhân làm chủ độ chính xác trước khi tối ưu hóa hiệu quả
- Các công ty khởi nghiệp có thể tiết kiệm chi phí đáng kể, giảm 96% hóa đơn API bằng cách loại bỏ các lệnh gọi lãng phí
- Mã Metis và HDPO được phát hành theo giấy phép Apache 2.0, cho phép sử dụng thương mại không hạn chế
- Khuôn khổ này giải quyết tình trạng thiếu hụt siêu nhận thức, khiến các tác nhân AI không thể phân biệt khi nào kiến thức nội tại là đủ và khi nào cần đến công cụ bên ngoài
