Samsung hướng tới giảm chi phí mỗi token AI bằng cách khai thác bộ nhớ máy chủ hiệu quả hơn

Tăng số yêu cầu AI mà không cần bổ sung GPU

Samsung Electronics đã phát triển một phương pháp xử lý đồng thời nhiều yêu cầu hơn trên các máy chủ trí tuệ nhân tạo (AI) bằng cách thay đổi cách phân bổ bộ nhớ và chuyển dữ liệu giữa các bộ xử lý. Một đơn đăng ký sáng chế đã công bố mô tả phần mềm cân nhắc thời gian chờ, chi phí truyền dữ liệu và nhu cầu bộ nhớ trong tương lai để quyết định mô hình ngôn ngữ lớn nào cần xử lý yêu cầu trước.

Mục tiêu là giảm độ trễ khi bộ nhớ của bộ xử lý đồ họa (GPU) đầy, giúp các máy chủ hiện có phục vụ được nhiều người hơn. Samsung mô tả sáng chế này là công nghệ hạ tầng cho suy luận AI, tức quá trình chạy một mô hình đã được huấn luyện để trả lời câu hỏi, chứ không phải tính năng dành riêng cho một sản phẩm tiêu dùng cụ thể.

Nghiên cứu liên quan của Samsung cho thấy cụ thể hơn mức tiết kiệm tiềm năng nhờ quản lý bộ nhớ tốt hơn. Trong một thử nghiệm lưu trữ riêng sử dụng tám GPU NVIDIA H100 NVL và mười ổ cứng thể rắn Samsung, Samsung duy trì thời gian chờ token đầu tiên dưới một giây với tối đa 240 người dùng đồng thời. Khi không chuyển dữ liệu sang lưu trữ, thời gian chờ bắt đầu tăng khi vượt quá 140 người dùng.

Đơn đăng ký sáng chế, thử nghiệm lưu trữ và một dự án khác của Samsung SDS giải quyết những khía cạnh khác nhau của cùng một vấn đề: các bộ xử lý AI đắt tiền có thể mất quá nhiều thời gian để di chuyển hoặc tái tạo thông tin. Với các đơn vị vận hành, giảm khối lượng công việc đó có thể giúp thiết bị hiện có đưa ra nhiều câu trả lời hơn và hạ chi phí cho mỗi token, tức những mẩu văn bản nhỏ mà mô hình ngôn ngữ xử lý và tạo ra.

Vì sao bộ nhớ có thể khiến câu trả lời bị chậm

GPU thực hiện nhiều phép tính cùng lúc nên phù hợp để tạo phản hồi AI. Tuy nhiên, bộ nhớ cục bộ tốc độ cao của GPU có dung lượng hạn chế. Nhiều cuộc trò chuyện cùng tranh chỗ trong bộ nhớ, nhất là khi người dùng gửi tài liệu dài hoặc đặt câu hỏi cần câu trả lời dài.

Mô hình ngôn ngữ lưu các bản ghi tạm thời của những phép tính trước đó trong một cấu trúc gọi là bộ nhớ đệm khóa-giá trị, thường viết tắt là KV cache. Có thể hình dung đây là ghi chú làm việc: giữ lại những ghi chú này giúp mô hình tiếp tục câu trả lời mà không phải tính toán lại mọi thứ đã xử lý.

Thử nghiệm lưu trữ của Samsung cần khoảng 3 GB KV cache cho mỗi phiên. Với 240 phiên, khối lượng công việc có tổng cộng khoảng 720 GB dữ liệu cache. Con số này giúp lý giải vì sao phục vụ nhiều người có thể trở thành vấn đề về bộ nhớ, ngay cả khi hệ thống được trang bị năng lực tính toán đáng kể.

Khi bộ nhớ GPU tốc độ cao sắp cạn, máy chủ có thể chuyển một phần dữ liệu sang bộ nhớ gắn với bộ xử lý trung tâm (CPU), rồi đưa dữ liệu trở lại khi cần. Việc truyền dữ liệu này mất thời gian. Tái tạo các phép tính đã loại bỏ cũng tiêu tốn tài nguyên. Sáng chế của Samsung tập trung quản lý sự cạnh tranh này hiệu quả hơn.

Phương pháp lập lịch được cấp sáng chế hoạt động ra sao

Đơn đăng ký của Samsung, có tiêu đề Phương pháp và máy chủ xử lý nhiều yêu cầu người dùng của mô hình ngôn ngữ lớn, mô tả một bộ lập lịch cân nhắc chi phí phục vụ từng yêu cầu. Các yếu tố đầu vào gồm thời gian người dùng đã chờ, thời gian truyền dữ liệu và lượng bộ nhớ mà yêu cầu cần dùng.

Máy chủ sử dụng các phép tính đó để chọn thứ tự xử lý. Điều này quan trọng vì một yêu cầu có vẻ sẵn sàng chạy có thể cần truyền một lượng dữ liệu đáng kể trước, trong khi yêu cầu khác có thể dùng dữ liệu đã ở gần. Điều phối các lựa chọn này có thể giảm thời gian dành cho việc sắp xếp lại bộ nhớ.

Phương pháp này cũng kiểm tra xem thông tin đã chuyển sang bộ nhớ CPU trước đó có còn ở đó hay không. Nếu có bản sao dùng được, máy chủ chỉ cần chuyển những phần cần thiết thay vì sao chép lại toàn bộ. Máy chủ cũng có thể chuyển dữ liệu cho một người dùng trong lúc GPU tạo phản hồi cho người khác, để việc xử lý hữu ích và chuẩn bị dữ liệu diễn ra đồng thời.

Samsung cũng mô tả cách tận dụng phần bộ nhớ còn trống. Nếu yêu cầu mới cần năm đơn vị dung lượng nhưng chỉ còn ba đơn vị, hệ thống có thể bắt đầu xử lý phần vừa với dung lượng hiện có thay vì chờ đủ cả năm. Mục tiêu thực tế là duy trì hiệu suất sử dụng tài nguyên hạn chế trong những lúc tải cao. Chi tiết triển khai thương mại và mức cải thiện được đo lường về thời gian phản hồi cũng như thông lượng của phương pháp được cấp sáng chế này chưa được công bố.

Kết quả Samsung đo được với phương pháp chuyển dữ liệu sang lưu trữ

Sách trắng về KV cache của Samsung Electronics nghiên cứu một cách tiếp cận khác: lưu giữ dữ liệu cache có thể tái sử dụng trên ổ cứng thể rắn NVMe. NVMe là công nghệ cho phép thiết bị lưu trữ giao tiếp tốc độ cao với máy tính qua kết nối PCIe.

Thử nghiệm sử dụng tám GPU NVIDIA H100 NVL, tám dịch vụ suy luận LLaMA-3.1 8B chạy song song, phần mềm phục vụ vLLM và LMCache, một lớp mã nguồn mở quản lý dữ liệu KV cache có thể tái sử dụng. Mười ổ Samsung PM1753 được kết hợp thành một mảng RAID-0, phân bổ dữ liệu trên nhiều ổ để tăng hiệu suất truyền tải.

Samsung đo tải người dùng theo từng mức tăng 20 người, đạt tối đa 280 người dùng đồng thời. Mỗi người gửi một truy vấn sau mỗi 20 giây, tạo ra khối lượng công việc từ một đến 14 truy vấn mỗi giây. Do đó, thử nghiệm đánh giá một mô hình cụ thể gồm các yêu cầu lặp lại và việc di chuyển dữ liệu cache.

Giải pháp lưu trữ phát huy tác dụng khi một phiên chuyển giữa các GPU. GPU đích có thể tải lại các phép tính đã lưu thay vì lặp lại bước xử lý ban đầu đối với một câu lệnh dài. Trong một máy, cache bên ngoài có thể được giữ trong bộ nhớ CPU hoặc bộ lưu trữ. Khi triển khai trên nhiều máy, Samsung cho biết cache cần một tài nguyên dùng chung mà các máy chủ liên quan đều truy cập được.

Khởi tạo nhanh hơn, tạo được nhiều văn bản hơn

Samsung đo hai khía cạnh hiệu năng dịch vụ: thời gian đến token đầu tiên và số token mỗi giây. Chỉ số thứ nhất đo khoảng thời gian người dùng chờ trước khi câu trả lời bắt đầu xuất hiện. Chỉ số thứ hai đo lượng văn bản hệ thống tạo ra theo thời gian.

Khi bật chuyển dữ liệu sang lưu trữ, thử nghiệm duy trì thời gian đến token đầu tiên dưới một giây với tối đa 240 người dùng đồng thời; trong khi đó, độ trễ bắt đầu tăng khi vượt quá 140 người dùng nếu không chuyển dữ liệu. Samsung cho biết cấu hình này hỗ trợ số người dùng nhiều gấp 1,7 lần ở mức độ trễ tương đương. Trong khoảng 20 đến 140 người dùng, cấu hình có chuyển dữ liệu duy trì thời gian chờ ban đầu ở khoảng nửa giây.

Ở mức 240 người dùng, hệ thống có chuyển dữ liệu tạo ra lượng token đầu ra nhiều hơn khoảng 1,5 lần. Cấu hình không chuyển dữ liệu bắt đầu bão hòa ở khoảng 160 người dùng, trong khi hệ thống tái sử dụng cache đã lưu tiếp tục tăng lượng đầu ra khi nhu cầu tăng.

Samsung cho rằng mức cải thiện đến từ việc giảm xử lý lặp lại câu lệnh. Trước tiên, mô hình ngôn ngữ xử lý đầu vào, giai đoạn gọi là prefill, sau đó tạo phản hồi từng token trong giai đoạn gọi là decode. Tái sử dụng các phép tính đã lưu giúp giải phóng thêm năng lực GPU để tạo câu trả lời.

Khi nào chi phí lưu trữ bổ sung được bù đắp

Phân tích chi phí của Samsung cho thấy phần cứng bổ sung vẫn có giá, ngay cả khi giúp tăng hiệu quả trong điều kiện nhu cầu cao. Với số người dùng đồng thời từ 0 đến 160, hai cấu hình có thông lượng token tương đương, trong khi cấu hình có chuyển dữ liệu tốn hơn khoảng 4% do bổ sung các linh kiện NVMe.

Khi vượt quá 180 người dùng, sản lượng cao hơn bù đắp được chi phí lưu trữ tăng thêm. Ở mức 240 người dùng, Samsung tính toán hiệu quả chi phí cao hơn khoảng 1,5 lần, đo bằng số token mỗi giây trên mỗi USD trong thời gian vận hành ba năm.

Nói cách khác, sản lượng trên mỗi USD tăng 1,5 lần tương đương chi phí cho mỗi đơn vị sản lượng giảm khoảng một phần ba theo cách tính này. So sánh trên chỉ áp dụng cho thiết bị và khối lượng công việc Samsung đã thử nghiệm. Hiệu quả kinh tế thực tế của một dịch vụ còn phụ thuộc vào mô hình, độ dài hội thoại, lưu lượng truy cập và chi phí thiết bị.

Vì vậy, lựa chọn thực tế của nhà khai thác đám mây phụ thuộc nhiều vào nhu cầu. Lưu trữ bổ sung có thể làm tăng chi phí ban đầu khi năng lực GPU hiện có đã xử lý khối lượng công việc thoải mái. Khi tình trạng quá tải kéo dài, tái sử dụng cache có thể giúp cùng một hệ thống GPU hỗ trợ nhiều hoạt động hơn trước khi cần thêm máy chủ.

Tiết kiệm điện cả ở quạt làm mát

Trong thử nghiệm lưu trữ, Samsung cũng đo được mức tiêu thụ điện thấp hơn. Với 240 người dùng, hiệu năng trên mỗi watt cải thiện khoảng 2,9 lần. Tổng công suất của hệ thống giảm còn khoảng 53% so với cấu hình không chuyển dữ liệu, tức giảm khoảng 47%.

Theo sách trắng, các ổ NVMe bổ sung làm mức tiêu thụ điện tăng khoảng 6%. Mức giảm nhu cầu của GPU và hệ thống làm mát lớn hơn phần tăng này. Samsung ghi nhận GPU hoạt động ở mức khoảng 49% khi khối lượng công việc giảm bớt việc lặp lại các phép tính prefill nặng.

Quạt làm mát cũng phản ánh thay đổi đó. Khi không chuyển dữ liệu, tất cả quạt hệ thống chạy ở tốc độ tối đa dự kiến là 15.000 vòng/phút. Khi có chuyển dữ liệu, quạt làm mát CPU, bộ nhớ và lưu trữ chạy ở khoảng 7.800 vòng/phút, còn quạt phía GPU chạy ở khoảng 9.800 vòng/phút.

Kết quả cho thấy vì sao một linh kiện có thể làm tăng nhu cầu điện tại chỗ nhưng vẫn giảm mức tiêu thụ trên toàn máy chủ. Trong thử nghiệm này, dùng điện để truy xuất các phép tính đã lưu giúp giảm mức tiêu hao năng lượng lớn hơn dành cho việc tính toán lại và tản lượng nhiệt sinh ra.

Hệ thống lưu trữ phải xử lý được các đợt tải tăng đột biến

Số liệu của Samsung cũng cho thấy giải pháp này không chỉ cần dung lượng ổ đĩa dự phòng. Thông lượng tổng hợp trung bình của hệ thống lưu trữ đạt tối đa 37 GB mỗi giây, còn các yêu cầu đồng thời từ GPU có thể đẩy nhu cầu đỉnh lên gần gấp đôi mức trung bình.

Số thao tác lưu trữ đang được xử lý thường ở khoảng 160 nhưng có thể tăng vọt lên 800. Samsung khuyến nghị băng thông lưu trữ ít nhất gấp đôi nhu cầu trung bình để xử lý các đợt tăng đột biến này mà vẫn duy trì khả năng phản hồi.

PM1753 có thông số thông lượng tuần tự tối đa 14,5 GB mỗi giây và 3,3 triệu thao tác đọc ngẫu nhiên mỗi giây. Trong khối lượng công việc được thử nghiệm, thao tác đọc chiếm khoảng 92% hoạt động lưu trữ và thao tác ghi chiếm 8%. LMCache di chuyển các khối cache lớn, mỗi khối khoảng 33 MB.

Nhiều dịch vụ cùng lúc đọc các khối lớn có thể tạo ra luồng yêu cầu xen kẽ. Vì vậy, hệ thống lưu trữ cần duy trì hiệu suất truyền dữ liệu khi nhiều người dùng cùng hoạt động. Dung lượng cache, tốc độ truyền tải và việc lập lịch đều góp phần quyết định liệu thông tin đã lưu có đến GPU đủ nhanh để phát huy tác dụng hay không.

Samsung SDS đưa phép tính vào bộ nhớ

Samsung SDS đang giải quyết vấn đề di chuyển dữ liệu theo một hướng khác. Bài viết nghiên cứu về PAISE mô tả Công cụ lập lịch suy luận tăng tốc bằng PIM, được giới thiệu tại hội nghị IEEE HPCA 2025. PAISE sử dụng xử lý trong bộ nhớ (PIM), công nghệ đặt các đơn vị tính toán bên trong chip nhớ để một số phép tính có thể diễn ra ngay tại nơi lưu trữ dữ liệu.

Samsung SDS đã triển khai và xác thực hệ thống trên phần cứng PIM Aquabolt-XL của Samsung, đánh giá các mô hình GPT-2, OPT và Llama2. Công ty cho biết tốc độ suy luận tăng tối đa 48,3% và mức tiêu thụ điện giảm khoảng 11,5%.

PAISE quyết định phép toán nào nên chạy trong bộ nhớ và sắp xếp dữ liệu phù hợp với phần cứng. Hệ thống cũng nhóm các phép tính attention nhỏ để chạy song song hiệu quả hơn. Samsung SDS cho biết tốc độ cập nhật KV cache nhanh hơn và mức cải thiện lớn hơn khi kích thước lô tăng, tức khi xử lý đồng thời nhiều yêu cầu hơn.

Ba dự án giải quyết những khâu khác nhau trong máy chủ. Sáng chế lập lịch các yêu cầu và việc truyền dữ liệu giữa bộ nhớ GPU và CPU. Thử nghiệm lưu trữ giữ cache trên ổ đĩa để tái sử dụng sau này. PAISE đưa một số phép tính vào phần cứng bộ nhớ. Kết hợp lại, các dự án cho thấy Samsung đang theo đuổi nhiều cách để giảm thời gian và năng lượng tiêu tốn cho việc di chuyển hoặc tái tạo thông tin làm nền tảng cho phản hồi AI.

Điểm chính

• Đơn đăng ký sáng chế đã công bố của Samsung lập lịch các yêu cầu AI dựa trên thời gian chờ, chi phí truyền dữ liệu và nhu cầu bộ nhớ dự kiến.
• Phương pháp được cấp sáng chế hướng tới phục vụ nhiều người dùng hơn bằng GPU hiện có; số liệu hiệu năng thương mại chưa được công bố.
• Một thử nghiệm lưu trữ riêng của Samsung hỗ trợ 240 người dùng đồng thời với thời gian chờ phản hồi ban đầu dưới một giây; khi không chuyển dữ liệu, độ trễ bắt đầu tăng khi vượt quá 140 người dùng.
• Với 240 người dùng, giải pháp chuyển dữ liệu sang lưu trữ tạo ra lượng token và hiệu quả chi phí cao hơn khoảng 1,5 lần, đồng thời nâng hiệu năng trên mỗi watt lên 2,9 lần.
• Lưu trữ bổ sung làm chi phí tăng khoảng 4% khi tải nhẹ, vì vậy nhu cầu là yếu tố quan trọng trong tính toán kinh tế.
• Samsung SDS cho biết hệ thống PAISE riêng biệt của hãng cải thiện tốc độ suy luận tối đa 48,3% nhờ thực hiện phép tính ngay trong bộ nhớ.