Alibaba Cloud giảm nhu cầu GPU Nvidia nhờ hệ thống chia sẻ tài nguyên Aegaeon

Bên trong Aegaeon: Alibaba Cloud giảm nhu cầu GPU cho AI như thế nào

Alibaba Cloud cho biết họ đã giảm đáng kể số bộ xử lý đồ họa Nvidia cần thiết để phục vụ các mô hình ngôn ngữ lớn ở quy mô lớn nhờ một hệ thống mới có tên Aegaeon. Trong đợt thử nghiệm beta trên môi trường thực tế tại chợ mô hình của mình, công ty cho biết Aegaeon đã giảm số GPU Nvidia H20 cần để xử lý hàng chục mô hình, trong đó có các mô hình lên tới 72 tỷ tham số, từ 1.192 xuống còn 213. Đây là mức giảm 82% số bộ tăng tốc được triển khai mà vẫn duy trì cùng chất lượng dịch vụ. Kết quả được trình bày tại Hội nghị chuyên đề về các nguyên lý hệ điều hành ở Seoul, một diễn đàn hàng đầu về nghiên cứu hệ thống máy tính. Với khách hàng sử dụng dịch vụ đám mây, tuyên bố này đồng nghĩa với khả năng tiết kiệm chi phí và điện năng, tăng khả năng tiếp cận các chip khan hiếm và có trải nghiệm ổn định hơn khi gọi nhiều mô hình khác nhau thông qua cùng một nền tảng.

Thành tựu này nhắm đến một vấn đề ngày càng nan giải trong kỷ nguyên chợ mô hình. Các nhà cung cấp dịch vụ đám mây hiện phục vụ hàng nghìn mô hình cho nhà phát triển cùng lúc. Một số mô hình, như dòng Qwen của Alibaba và mô hình mở DeepSeek, nhận phần lớn lưu lượng truy cập. Nhiều mô hình khác nằm im trong thời gian dài rồi bất ngờ nhận những đợt yêu cầu ngắn. Các hệ thống phục vụ truyền thống dành riêng toàn bộ GPU hoặc các phần lớn GPU cho từng phiên bản mô hình. Khi mô hình ít hoạt động, GPU đã dành riêng cho nó bị sử dụng kém hiệu quả. Khi yêu cầu đến mà không có đủ bản sao sẵn sàng, nền tảng phải khởi tạo thêm năng lực xử lý, tốn thời gian tải và làm giảm thông lượng. Aegaeon tìm cách thay đổi bài toán này bằng cách gộp tài nguyên GPU của nhiều mô hình, rồi lập lịch công việc theo các lát thời gian nhỏ hơn để mỗi bộ tăng tốc luôn hoạt động.

Alibaba Cloud giới thiệu Aegaeon như một giải pháp phục vụ đồng thời các tác vụ LLM mà không lãng phí tài nguyên. Hệ thống kết hợp lập lịch đa mô hình quyết liệt với các cơ chế duy trì dữ liệu trong bộ nhớ và chuyển đổi công việc giữa các mô hình với độ trễ tối thiểu. Theo nhóm nghiên cứu của Đại học Bắc Kinh và Alibaba Cloud, kết quả là thông lượng cao hơn, thời gian chờ ngắn hơn và ít chip bị bỏ không trong các dịch vụ ít được sử dụng.

Aegaeon được tạo ra để giải quyết vấn đề gì?

Các nền tảng AI hiện đại phải đối mặt với nhu cầu sử dụng phân bố lệch về một nhóm nhỏ. Một số ít mô hình phổ biến thu hút phần lớn lưu lượng suy luận. Những mô hình ít phổ biến hơn vẫn quan trọng với nhà phát triển, nhưng chỉ nhận yêu cầu rải rác. Alibaba Cloud đo được rằng 17,7% GPU trên chợ mô hình của họ được phân bổ để phục vụ chỉ 1,35% số yêu cầu. Khi mô hình bị gắn cố định với bộ tăng tốc riêng, nhà cung cấp đám mây phải trả chi phí cho thời gian nhàn rỗi và thường xuyên khởi động nguội, nhất là khi lưu lượng truy cập tăng giảm đột ngột hoặc khó dự đoán.

Nhìn từ bên ngoài, việc phục vụ suy luận có vẻ đơn giản, nhưng bên trong lại rất phức tạp. Một mô hình ngôn ngữ lớn lưu trữ trọng số và trạng thái trong lúc chạy ở bộ nhớ GPU. Trong quá trình tạo văn bản, hệ thống duy trì bộ nhớ đệm khóa-giá trị (KV cache), lưu các giá trị kích hoạt trung gian của những token đã tạo. Việc tải trọng số mô hình từ ổ đĩa hoặc qua mạng rất chậm. Làm nóng KV cache cũng mất thời gian. Theo cách truyền thống, chuyển GPU từ mô hình này sang mô hình khác đòi hỏi phải dỡ và nạp lại dữ liệu, gây tốn kém. Chi phí này khiến việc chia sẻ thường xuyên kém hấp dẫn, nên phần lớn bộ tăng tốc chỉ phục vụ riêng một hoặc hai mô hình. Aegaeon được thiết kế để quản lý các chuyển đổi này hiệu quả hơn nhiều, cho phép GPU luân phiên phục vụ nhiều mô hình mà không phải chịu mức tổn thất lớn.

Cách hệ thống hoạt động

Aegaeon là một hệ thống phục vụ đa mô hình, xem GPU như một nhóm tài nguyên dùng chung và quyết định nội dung cần chạy với độ chi tiết rất cao. Thay vì mở rộng ở cấp độ yêu cầu hoặc bản sao mô hình, hệ thống đưa ra quyết định theo từng token. Bộ lập lịch có thể đan xen quá trình tạo token cho những người dùng và mô hình khác nhau trên cùng một GPU, đồng thời giữ sẵn trong bộ nhớ các cấu trúc dữ liệu quan trọng. Mục tiêu là tối đa hóa lượng công việc hữu ích mỗi giây mà không khiến thời gian phản hồi vượt quá ngưỡng chặt chẽ.

Tự động mở rộng ở cấp độ token

Ý tưởng cốt lõi là mở rộng năng lực xử lý ở cấp độ token. Nhờ đó, Aegaeon có thể bắt đầu phục vụ yêu cầu cho một mô hình, rồi tận dụng phần năng lực còn trống để lập lịch token cho mô hình khác, trong cùng đợt gom yêu cầu và lần khởi chạy kernel. Bài báo cho biết Aegaeon duy trì được tốc độ yêu cầu đến cao hơn từ 2 đến 2,5 lần, hoặc đạt thông lượng hữu ích cao hơn từ 1,5 đến 9 lần so với các nhóm tài nguyên thay thế chỉ ghép kênh hai hoặc ba mô hình trên mỗi GPU. Nhờ hoạt động ở độ phân giải token, hệ thống tránh được những khoảng dừng dài khi khởi chạy bản sao mới và có thể nhanh chóng ứng phó với đột biến yêu cầu ở bất kỳ mô hình nào.

Tái sử dụng bộ nhớ và điều phối KV cache

Aegaeon giảm chi phí bằng cách tái sử dụng các thành phần, quản lý bộ nhớ tường minh và đồng bộ KV cache giữa các mô hình ở mức chi tiết cao. Các nhà nghiên cứu cho biết cách này giảm 97% chi phí tự động mở rộng so với những phương pháp đơn giản. Nhờ quản lý bộ nhớ và bộ nhớ đệm thông minh hơn, cùng một GPU có thể duy trì nhiều mô hình ở trạng thái sẵn sàng mà không phải liên tục nạp lại. Nhờ đó, một bộ tăng tốc có thể hỗ trợ đồng thời tới bảy mô hình, so với giới hạn thường thấy là hai hoặc ba mô hình ở các hệ thống đa mô hình trước đây.

Kết quả đo được từ đợt thử nghiệm beta thực tế

Alibaba Cloud cho biết họ đã thử nghiệm Aegaeon ở phiên bản beta trên chợ mô hình trong hơn ba tháng. Hệ thống phục vụ hàng chục mô hình, trong đó có các mô hình lên tới 72 tỷ tham số. Trong giai đoạn này, nhóm nghiên cứu cho biết số GPU cần thiết để đáp ứng cùng tải dịch vụ đã giảm từ 1.192 GPU Nvidia H20 xuống còn 213, tiết kiệm 82% tài nguyên. Hệ thống cũng giảm 97% mức tăng độ trễ khi chuyển đổi giữa các mô hình, giúp ích khi khối lượng công việc luân phiên giữa mô hình phổ biến và mô hình ít được sử dụng trong ngày.

Môi trường chợ mô hình là nơi thử nghiệm khắt khe vì có lưu lượng đồng thời thực tế, yêu cầu với quy mô đa dạng và nhiều loại mô hình. Trong điều kiện này, Aegaeon giúp bộ tăng tốc hoạt động hiệu quả hơn, giảm thời gian nhàn rỗi ở các dịch vụ ít dùng và duy trì khả năng phản hồi của các mô hình có nhu cầu cao nhờ lập lịch với độ chi tiết cao hơn. Sự kết hợp giữa lập lịch theo từng token và tái sử dụng bộ nhớ cẩn thận dường như là chìa khóa giúp khai thác thêm nhiều công việc hữu ích trên mỗi giờ GPU.

Nhóm nghiên cứu của Đại học Bắc Kinh và Alibaba Cloud cho rằng cách làm phổ biến trong ngành đã bỏ lỡ cơ hội tiết kiệm chi phí khi dành riêng GPU cho các mô hình có nhu cầu rải rác. Họ nêu thẳng kết luận này trong bài báo.

Aegaeon là công trình đầu tiên chỉ ra những chi phí quá mức gắn với việc phục vụ đồng thời các tác vụ LLM trên chợ mô hình.

Nhận định này phù hợp với xu hướng được ghi nhận ở các chợ mô hình. Từ lâu, các nhà cung cấp đã nhận thấy nhóm mô hình ít phổ biến chiếm dụng năng lực xử lý và đẩy chi phí lên cho tất cả mọi người. Cách tiếp cận của Aegaeon cho thấy thiết kế lập lịch và bộ nhớ dành riêng cho dịch vụ đa mô hình có thể giải quyết tình trạng lãng phí đó.

Ý nghĩa với khách hàng dịch vụ đám mây và nhà phát triển

Với khách hàng, giảm số GPU cần cho mỗi đơn vị thông lượng có thể giúp hạ giá, tăng hạn mức và mang lại hiệu năng ổn định hơn. Nếu một nhà cung cấp đám mây có thể phục vụ cùng lượng lưu lượng với số bộ tăng tốc chỉ bằng khoảng một phần năm, họ có thể dành thêm năng lực cho các đợt cao điểm và rút ngắn danh sách chờ triển khai mới. Các nhà phát triển kết hợp nhiều mô hình trong một ứng dụng cũng có thể gặp ít nút thắt hơn do khởi động nguội và thay đổi bản sao khi lưu lượng chuyển giữa các điểm cuối.

Có một số vấn đề thực tế mà người mua cần lưu tâm. Việc chia sẻ giữa nhiều mô hình phải đảm bảo cách ly để khối lượng công việc của một khách thuê không làm suy giảm trải nghiệm hoặc rò rỉ dữ liệu sang khách thuê khác. Bộ lập lịch phải tuân thủ các quy tắc ưu tiên và công bằng để mô hình phổ biến vẫn có độ trễ thấp, trong khi mô hình chậm hơn vẫn tiếp tục xử lý. Bài báo cho biết các quyết định theo từng token của Aegaeon được thiết kế dựa trên mục tiêu chất lượng dịch vụ. Dù vậy, khi mở rộng việc gộp tài nguyên trên các cụm máy chủ lớn hơn, các nhà cung cấp đám mây vẫn cần công cụ giám sát và giới hạn lưu lượng đáng tin cậy để kiểm soát độ trễ ở nhóm yêu cầu chậm nhất.

Nvidia, Trung Quốc và bối cảnh chip AI

Aegaeon ra mắt trong bối cảnh nguồn cung bộ tăng tốc cao cấp toàn cầu khan hiếm và các biện pháp kiểm soát xuất khẩu chip AI tiên tiến sang Trung Quốc vẫn đang được áp dụng. Nvidia phát triển H20 cho thị trường Trung Quốc để tuân thủ các quy định này, và nhiều nhà cung cấp Trung Quốc dựa vào thiết bị đó để chạy suy luận. Cùng lúc, các nhà thiết kế chip Trung Quốc như Huawei và Cambricon đang đầu tư vào các lựa chọn thay thế trong nước. Phần mềm giúp mỗi GPU xử lý được nhiều công việc hơn có giá trị ở mọi thị trường, nhưng đặc biệt hữu ích tại những nơi bị hạn chế tiếp cận các chip tiên tiến nhất.

Lãnh đạo Nvidia cho biết dự báo tài chính trong ngắn hạn của công ty giả định doanh thu từ phân khúc chip tiên tiến ở Trung Quốc sẽ ở mức tối thiểu hoặc bằng không do các giới hạn chính sách. Bối cảnh đó khiến kết quả của Alibaba Cloud có ý nghĩa lớn hơn. Nếu các nhà cung cấp lớn có thể kéo dài hiệu quả sử dụng lượng chip đã lắp đặt nhờ phần mềm, họ vẫn có thể mở rộng dịch vụ ngay cả khi nguồn cung bộ tăng tốc hàng đầu bị hạn chế.

Aegaeon khác gì các cách tiếp cận khác?

Cho đến gần đây, hầu hết hệ thống phục vụ đa mô hình chỉ có thể ghép kênh an toàn hai hoặc ba mô hình trên một GPU trước khi chi phí phụ trội lấn át lợi ích. Mỗi mô hình bổ sung làm tăng số lần chuyển đổi ngữ cảnh, lỗi bộ nhớ đệm và nguy cơ dao động hiệu năng có thể khiến hệ thống không đạt mục tiêu độ trễ. Thiết kế của Aegaeon tập trung giảm chi phí chuyển đổi và giữ các cấu trúc dữ liệu cốt lõi thường trực giữa nhiều mô hình. Đây là lý do một bộ tăng tốc hiện có thể duy trì tối đa bảy mô hình trong các điều kiện được báo cáo.

Việc dùng phiên bản chuyên dụng vẫn phù hợp với các điểm cuối có thông lượng cao nhất hoặc khối lượng công việc đòi hỏi cách ly nghiêm ngặt. Ở thái cực kia, dịch vụ suy luận không máy chủ khởi chạy bản sao mô hình đầy đủ theo yêu cầu có thể tiết kiệm với mô hình ít lưu lượng, nhưng phải chịu thời gian khởi động lâu hơn. Aegaeon chọn hướng đi trung gian: gộp năng lực xử lý và giữ mô hình sẵn sàng, sau đó lập lịch công việc theo các lát nhỏ để tăng mức sử dụng tổng thể mà không phải đánh đổi quá nhiều về độ trễ.

Câu hỏi kỹ thuật còn bỏ ngỏ và các bước tiếp theo

Đợt thử nghiệm beta diễn ra trên chợ mô hình của Alibaba Cloud, một môi trường có quy mô đáng kể nhưng chưa bao phủ toàn bộ hoạt động dịch vụ. Triển khai Aegaeon ở nhiều khu vực hơn và trên các dòng sản phẩm đa dạng, như cụm máy chủ chuyên dụng cho doanh nghiệp hoặc hệ thống tại chỗ, sẽ kiểm nghiệm thiết kế trong những điều kiện ràng buộc khác nhau. Một câu hỏi khác là bộ lập lịch hoạt động ra sao khi độ dài ngữ cảnh của mô hình tăng lên, cũng như khi mô hình đa phương thức kết hợp ngôn ngữ với hình ảnh và âm thanh. Những tình huống đó sẽ tạo áp lực mới lên chính sách bộ nhớ và bộ nhớ đệm.

Một hướng nghiên cứu khác là chia sẻ tài nguyên giữa các bộ tăng tốc không đồng nhất và giữa nhiều nút. Nếu bộ lập lịch có thể gộp không chỉ một GPU mà cả một nhóm GPU kết nối qua mạng liên kết, hệ thống có thể đạt thêm lợi ích, miễn là chi phí liên kết vẫn thấp và việc bố trí bộ nhớ có thể dự đoán được. Bằng chứng đã công bố đến nay cho thấy mức cải thiện lớn khi gộp tài nguyên trên một thiết bị, vốn đã là tiến bộ thực tiễn đáng kể đối với các khối lượng công việc suy luận hiện nay.

Thông tin nhanh

• Aegaeon giảm số GPU phục vụ chợ mô hình của Alibaba Cloud từ 1.192 GPU Nvidia H20 xuống còn 213, tức giảm 82%.
• Trong đợt thử nghiệm beta kéo dài hơn ba tháng, hệ thống phục vụ hàng chục mô hình, trong đó có các mô hình lên tới 72 tỷ tham số.
• Trong các thử nghiệm được báo cáo, một GPU hỗ trợ tối đa bảy mô hình, so với hai hoặc ba mô hình ở các hệ thống trước đây.
• Lập lịch theo từng token, tái sử dụng bộ nhớ và đồng bộ KV cache giúp giảm 97% chi phí tự động mở rộng.
• Các thử nghiệm cho thấy hệ thống duy trì tốc độ yêu cầu đến cao hơn từ 2 đến 2,5 lần, hoặc đạt thông lượng hữu ích cao hơn từ 1,5 đến 9 lần so với các giải pháp thay thế.
• Cách tiếp cận này nhắm đến vấn đề nhóm mô hình ít phổ biến trên các chợ mô hình, nơi một phần nhỏ yêu cầu chiếm dụng phần lớn GPU.
• Kết quả được công bố trong bối cảnh các biện pháp kiểm soát xuất khẩu hạn chế khả năng tiếp cận chip AI tiên tiến ở Trung Quốc và các nỗ lực phát triển GPU trong nước tăng tốc.