Microsoft Maia 300 sử dụng tiến trình TSMC N2P, Azure đặt mục tiêu triển khai năng lực AI ở quy mô gigawatt vào năm 2027

Hệ thống tủ rack 96 bộ tăng tốc làm trụ cột cho bước tiến AI tiếp theo của Microsoft

Microsoft đã công bố Maia 300, bộ tăng tốc AI có các chiplet tính toán sử dụng tiến trình N2P của Taiwan Semiconductor Manufacturing Co., với kế hoạch bắt đầu triển khai trong môi trường sản xuất từ năm 2027. Thông báo đưa ra một thiết kế cụ thể cho tham vọng biến phần cứng Maia tự phát triển thành hệ thống chủ lực chạy suy luận AI trên các sản phẩm và dịch vụ của Microsoft.

Hệ thống tủ rack dự kiến kết hợp 96 bộ tăng tốc trong giới hạn công suất 167 kilowatt, với 27,6 terabyte bộ nhớ băng thông cao và tổng băng thông bộ nhớ khoảng 1,7 petabyte mỗi giây. Microsoft kỳ vọng Maia 300 tạo ra nhiều hơn 40% token trên mỗi megawatt so với các hệ thống hàng đầu dựa trên bộ xử lý đồ họa (GPU), và cho sản lượng cao gấp bảy lần so với một tủ rack Maia 200.

Đây là các tuyên bố hiệu năng của công ty, không phải kết quả đo chuẩn độc lập. Dù vậy, chúng cho thấy hướng đầu tư của Microsoft: tăng lượng đầu ra AI hữu ích trong giới hạn điện năng, làm mát và không gian của trung tâm dữ liệu, thay vì chỉ tăng sức mạnh tính toán của từng chip.

Scott Guthrie, Phó chủ tịch điều hành phụ trách Cloud + AI của Microsoft, đã nêu kế hoạch triển khai trong thông báo về Azure Maia ngày 12 tháng 10 năm 2026 của công ty.

Bắt đầu từ năm 2027, chúng tôi sẽ mở rộng dòng Azure Maia lên quy mô triển khai nhiều gigawatt, đưa Maia trở thành hệ thống suy luận chủ lực cho các sản phẩm và dịch vụ của Microsoft.

Cam kết này áp dụng cho dòng Maia, chứ không chỉ riêng Maia 300. Các thông tin cho rằng Microsoft có thể triển khai hơn một triệu chip Maia 300 trong năm 2027 vượt quá nội dung thông báo đã công bố. Thông báo xác nhận năm bắt đầu nhưng không nêu số lượng chip hay thời hạn hoàn tất đợt mở rộng rộng hơn.

TSMC N2P sẽ sản xuất những gì

Xác nhận của Microsoft cụ thể hơn cách gọi chung Maia 300 là chip 2 nanomet. Các chiplet tính toán sử dụng N2P, một tiến trình thuộc dòng 2 nanomet của TSMC. Bộ điều khiển bộ nhớ cùng các chức năng nhập xuất được đặt trên những khuôn chip riêng, cho phép từng phần trong gói chip sử dụng công nghệ sản xuất phù hợp với nhiệm vụ của mình.

Chiplet là một mảnh silicon nhỏ hơn, hoạt động cùng các khuôn chip khác trong một gói. Với Maia 300, cách phân chia này cho phép Microsoft đặt các chức năng tính toán trên tiến trình tiên tiến, đồng thời xem kết nối, điều khiển bộ nhớ và chi phí là những lựa chọn thiết kế riêng. Điều đó không có nghĩa mọi khuôn chip trong gói đều sử dụng N2P.

Phân tích kiến trúc Maia 300 ngày 12 tháng 10 của Microsoft, do Rani Borkar, Chủ tịch phụ trách Hệ thống và Hạ tầng Phần cứng Azure, cùng Saurabh Dighe, Phó chủ tịch tập đoàn phụ trách Hoạch định và Kiến trúc Hệ thống, thực hiện, mô tả rõ cách phân chia này.

Tài liệu cho biết các thay đổi về kiến trúc giúp tăng 36% thông lượng tính toán của hệ thống, đo bằng số phép toán dấu phẩy động; cung cấp băng thông HBM gấp 2,5 lần; và tăng 14% băng thông liên lạc giữa các bộ tăng tốc. Những con số này mô tả các tài nguyên khác nhau trong hệ thống. Không con số nào tự nó lý giải mức tăng sản lượng token gấp bảy lần được công bố cho một tủ rack.

Vì sao bộ nhớ quan trọng ngang sức mạnh tính toán

Maia 300 được thiết kế chủ yếu cho suy luận, tức quá trình dùng mô hình đã huấn luyện để tạo câu trả lời hoặc thực hiện nhiệm vụ. Các khối lượng công việc dự kiến gồm suy luận trên tài liệu dài, hội thoại đòi hỏi phản hồi nhanh và tác nhân AI thực hiện nhiều bước, sử dụng công cụ trong thời gian dài.

Những khối lượng công việc này có thể dành đáng kể thời gian để di chuyển dữ liệu mô hình và thông tin hội thoại đã lưu trữ, thay vì thực hiện phép tính. Vì vậy, Microsoft thiết kế mỗi bộ tăng tốc với tám cụm bộ nhớ HBM4, cung cấp dung lượng 288 gigabyte và băng thông tối đa 18 terabyte mỗi giây trong giới hạn công suất thiết kế nhiệt 950 watt. Công suất thiết kế nhiệt là thông số thiết kế về điện năng và làm mát, không phải mức tiêu thụ điện liên tục được đo thực tế.

So với Maia 200, Microsoft cho biết Maia 300 có dung lượng bộ nhớ lớn hơn 33% và băng thông bộ nhớ cao gấp 2,5 lần. So sánh về dung lượng phù hợp với mức tăng được nêu từ 216 gigabyte lên 288 gigabyte, tức tăng 72 gigabyte mỗi bộ tăng tốc.

Cần lưu ý các đơn vị băng thông. Một số báo cáo thể hiện băng thông của chip đời trước bằng terabit mỗi giây, còn băng thông của tủ rack mới bằng petabit mỗi giây. Tài liệu Maia 300 của Microsoft dùng terabyte và petabyte mỗi giây. Bit và byte chênh nhau tám lần, vì vậy không nên coi các số liệu được biểu thị theo những đơn vị khác nhau này là tương đương.

Phần mềm kiểm soát dữ liệu được chuyển đến đâu

Maia 300 phát triển tiếp kiến trúc Luồng dữ liệu được xác định bằng phần mềm và truy cập cục bộ (SDLA) của Microsoft. Trên thực tế, kiến trúc này cho phép phần mềm kiểm soát rõ dữ liệu được lưu ở đâu, di chuyển như thế nào, khi nào đổi định dạng và cách phối hợp hoạt động giữa các bộ xử lý, bộ nhớ và mạng.

Thiết kế mới sử dụng cách bố trí bộ nhớ không đồng nhất giữa các chiplet. Một số vùng bộ nhớ ở gần một khu vực tính toán nhất định hơn những vùng khác, do đó phần mềm có thể giảm việc di chuyển dữ liệu bằng cách đặt dữ liệu gần các bộ xử lý cần dùng. SRAM, loại bộ nhớ tốc độ cao nằm trên khuôn chip, cũng đóng vai trò vùng làm việc tạm thời do phần mềm quản lý, giúp giảm nhu cầu sử dụng HBM.

Microsoft kết hợp các thay đổi đó với khả năng hỗ trợ mở rộng cho những định dạng số gọn nhẹ, gồm MXFP4 và các định dạng lưu trữ sử dụng dưới ba bit. Những cách biểu diễn này giảm dung lượng bộ nhớ dữ liệu chiếm dụng và số byte cần di chuyển trong quá trình suy luận. Tính hữu ích của chúng phụ thuộc vào khả năng hỗ trợ của phần mềm và mô hình, chứ không chỉ dựa vào định dạng nhỏ hơn.

Thiết kế này cũng hướng đến bộ nhớ đệm KV, nơi lưu thông tin về các token mô hình đã xử lý để không phải tính toán lại ở mỗi bước. Việc giữ bộ nhớ đệm này gọn nhẹ rất quan trọng khi hội thoại dài hơn hoặc khi cần phục vụ nhiều người dùng cùng lúc.

Tổng giám đốc điều hành Microsoft AI Mustafa Suleyman liên hệ chương trình phần cứng với công việc phát triển mô hình của công ty, đồng thời giải thích vì sao nhóm của ông muốn kiểm soát nền tảng bên dưới các mô hình.

Ở quy mô đó, chúng tôi cần một nền tảng thuộc sở hữu của mình và được đồng thiết kế cùng các mô hình. Đó là lý do việc chạy các mô hình Microsoft AI trên chip Maia là trọng tâm quan trọng của nhóm chúng tôi.

Từ một tủ rack lên 12.288 bộ tăng tốc

Một tủ rack Maia 300 có 24 khay, mỗi khay chứa bốn bộ tăng tốc cùng bộ xử lý chủ, bộ nhớ, lưu trữ và hệ thống làm mát liên quan. Số bộ tăng tốc này gấp đôi con số 48 trong một tủ rack Maia 200. Việc tích hợp thiết bị chủ vào các khay loại bỏ nhu cầu dùng khay chủ riêng, dành thêm không gian cho bộ tăng tốc.

Thiết kế mạng của Microsoft có thể kết nối tối đa 128 tủ rack thành một siêu cụm gồm 12.288 bộ tăng tốc. Mạng dùng kết nối điện bên trong tủ rack và kết nối quang giữa các tủ, cùng giao thức truyền tải AI tùy chỉnh dựa trên Ethernet.

Mạng cung cấp một mô hình liên lạc thống nhất cho phần mềm trên toàn siêu cụm. Các bộ tăng tốc có thể khởi tạo truyền dữ liệu đến những bộ tăng tốc khác mà không cần chuyển qua bộ xử lý chủ hoặc giao diện mạng riêng để liên lạc giữa các tủ rack.

Điều này quan trọng khi mô hình được chia cho nhiều chip. Tính toán song song tensor phân tách các phần tính toán của mô hình giữa nhiều bộ tăng tốc và đòi hỏi chúng liên lạc thường xuyên. Microsoft cho biết phần mềm có thể giữ lưu lượng cần độ trễ thấp nhất trong phạm vi một tủ rack, đồng thời phân phối rộng hơn các tác vụ khác.

Cùng một mạng có thể tách quá trình xử lý ban đầu của lời nhắc khỏi quá trình tạo câu trả lời tiếp theo. Dữ liệu KV được lưu chuyển trực tiếp giữa các bộ xử lý phụ trách những giai đoạn đó. Các bộ tăng tốc dự phòng ở tủ rack khác cũng có thể tiếp quản khi năng lực xử lý không còn khả dụng, dù đường truyền dài hơn sẽ làm tăng độ trễ.

Các tuyên bố về hiệu quả thực sự so sánh điều gì

Microsoft đưa ra hai so sánh nổi bật cần được xem xét riêng. Mức tăng dự kiến 40% về số token trên mỗi megawatt so sánh Maia 300 với các hệ thống GPU hàng đầu. Tuyên bố sản lượng token trên mỗi tủ rack cao gấp bảy lần so sánh tủ rack Maia 300 được cấu hình đầy đủ với Maia 200.

Token là đơn vị văn bản mà mô hình ngôn ngữ xử lý, thường là một phần của từ chứ không phải từ hoàn chỉnh. Thông lượng token đo khối lượng đầu ra, nhưng tự nó không cho biết chất lượng câu trả lời, tốc độ phản hồi với từng người dùng hay hiệu năng trên mọi mô hình.

Tài liệu kiến trúc cũng dùng cách diễn đạt khác nhau khi nói về hiệu quả so với Maia 200. Phần về tủ rack nêu hiệu năng trên mỗi watt cao gấp tối đa 2,5 lần, trong khi phần so sánh kết luận nói cao hơn 2,5 lần. Nếu không có điều kiện kiểm thử chi tiết, không nên gộp các mô tả này thành một kết quả được đảm bảo duy nhất.

Số lượng bộ tăng tốc lý giải một phần mức tăng sản lượng của tủ rack: Maia 300 có số chip gấp đôi. Vì vậy, tuyên bố thông lượng gấp bảy lần không chỉ đến từ mật độ mà còn kết hợp nhiều bộ tăng tốc hơn với những cải tiến về bộ nhớ, phần mềm, mạng và hiệu quả thực thi. Không nên hiểu đây là mức cải thiện gấp bảy lần trên từng chip riêng lẻ.

Thông số 950 watt của mỗi bộ tăng tốc cũng khác với giới hạn công suất 167 kilowatt của tủ rack. Nhân 96 với 950 watt cho kết quả 91,2 kilowatt. Con số của tủ rack bao quát một hệ thống rộng hơn, gồm thiết bị chủ, bộ nhớ, mạng và phân phối điện, nên hai giá trị mô tả những phạm vi khác nhau.

Làm mát và điện năng định hình việc triển khai

Với công suất 167 kilowatt mỗi tủ rack, Maia 300 đòi hỏi cách tiếp cận tích hợp đối với điện năng và nhiệt lượng. Microsoft cho biết hệ thống làm mát bằng chất lỏng loại bỏ hơn 80% tải nhiệt từ bộ tăng tốc, bộ điều chỉnh điện áp và chip chuyển mạch mạng trong tủ rack. Làm mát bằng không khí xử lý bộ nhớ, lưu trữ và các linh kiện khác.

Tủ rack có thể kết nối trực tiếp với nguồn nước của cơ sở nếu có, hoặc sử dụng bộ trao đổi nhiệt tại trung tâm dữ liệu dựa vào làm mát bằng không khí. Hai nguồn cấp điện và bộ chuyển mạch tự động hỗ trợ duy trì hoạt động khi một nguồn bị ngắt để bảo trì.

Các phép đo điện năng ở cấp tủ rack và dãy tủ được đưa vào hoạt động vận hành trung tâm dữ liệu. Microsoft cho biết thông tin này giúp các thuật toán phân bổ điện năng, bố trí khối lượng công việc và điều chỉnh mật độ triển khai để phù hợp với năng lực điện và làm mát sẵn có.

Alistair Speirs, tổng giám đốc của Microsoft, giải thích mối liên hệ với chi phí vận hành khi nói về kiến trúc mới.

Chúng tôi cần những kiến trúc mới giúp cải thiện hiệu năng và sử dụng tốt hơn nguồn điện hiện có.

Vì vậy, mục tiêu triển khai quy mô gigawatt không chỉ là kế hoạch mua chip. Đó là cam kết hạ tầng lớn, bao gồm tủ rack, mạng, năng lực cấp điện và làm mát. Thông báo đã công bố không nêu địa điểm, phân bổ theo khu vực hay tiến độ hoàn tất năng lực này.

Maia 200 là điểm khởi đầu

Microsoft cho biết Maia 200 đã phục vụ các khối lượng công việc trong môi trường sản xuất, trong đó có Microsoft Copilot, đồng thời hỗ trợ nhóm MAI phát triển mô hình mới. Chip này chạy các mô hình OpenAI, các mô hình MAI của Microsoft và những dòng mô hình mã nguồn mở hàng đầu, với triển khai tại Mỹ, châu Âu và Australia.

Các thông tin về việc triển khai GitHub Copilot và Microsoft Foundry không thống nhất. Một nguồn cho biết cả hai đã chạy khối lượng công việc sản xuất trên Maia 200. Tuyên bố ngày 12 tháng 10 của Microsoft nói hai dịch vụ dự kiến sẽ triển khai tiếp trước cuối năm 2026. Lịch trình chính thức này là căn cứ đáng tin cậy hơn để mô tả tình trạng của chúng.

Microsoft báo cáo các chức năng AI tích hợp trong Teams, Copilot và Cowork có thể tạo ra số token trên mỗi watt cao hơn tối đa 1,7 lần so với hạ tầng GPU hàng đầu. Công ty cũng nêu các ứng dụng trong tương lai gồm hỗ trợ lập trình, cung cấp mô hình đám mây, suy luận và tạo dữ liệu cho MAI, cùng quy trình lâm sàng thông qua Dragon Copilot.

Trình tự các thông báo và mốc dự kiến như sau:

• 2023: Microsoft giới thiệu Maia 100, bộ tăng tốc AI tùy chỉnh đầu tiên của công ty.
• Tháng 1 năm 2026: Microsoft công bố Maia 200.
• Ngày 12 tháng 10 năm 2026: Microsoft giới thiệu kiến trúc Maia 300 và xác nhận Maia 200 đang phục vụ các khối lượng công việc sản xuất.
• Trước cuối năm 2026: GitHub Copilot và Microsoft Foundry dự kiến sẽ tiếp nối trên Maia 200.
• 2027: Maia 300 bắt đầu được triển khai trong môi trường sản xuất và dòng Maia mở rộng hướng tới quy mô nhiều gigawatt.

Jim Kleewein, chuyên gia kỹ thuật cấp cao của Microsoft, cho biết một số tính năng của Microsoft 365 Copilot sẽ nhanh hơn với Maia 300. Công ty chưa công bố mức cải thiện cụ thể về thời gian phản hồi với người dùng.

TSMC và ngành máy chủ Đài Loan có vai trò lớn hơn

Maia 300 mang lại cho TSMC vai trò đã được xác nhận trong phần cứng AI tiên tiến của một công ty điện toán đám mây lớn khác. Microsoft thiết kế bộ tăng tốc, còn TSMC sản xuất các chiplet tính toán N2P. Vì vậy, giảm phụ thuộc vào GPU mua sẵn không đồng nghĩa với việc giảm phụ thuộc vào năng lực sản xuất bán dẫn.

TSMC cho biết năm cơ sở sử dụng tiến trình 2 nanomet sẽ bắt đầu tăng sản lượng trong năm 2026, trong đó có hai cơ sở tại Tân Trúc và ba tại Cao Hùng. Sản xuất hàng loạt N2P dự kiến bắt đầu vào nửa cuối năm 2026, trước thời điểm Microsoft lên kế hoạch triển khai trong năm 2027.

Các ước tính thị trường cho rằng năng lực sản xuất tiến trình 2 nanomet hàng tháng của TSMC sẽ đạt khoảng 90.000 đến 100.000 tấm wafer vào cuối năm 2026 và vượt 110.000 vào giữa năm 2027. Dự báo tiến trình này có thể đóng góp gần 10% doanh thu nửa cuối năm là dự báo, không phải doanh thu đã xác nhận từ các đơn hàng Maia.

Các mục tiêu TSMC công bố gồm sản lượng wafer trong năm đầu tiên của tiến trình 2 nanomet cao hơn 45% so với năm đầu tiên sản xuất 3 nanomet vào năm 2023, cùng tốc độ tăng trưởng kép hằng năm 70% về năng lực 2 nanomet trong giai đoạn 2026-2028. Không mục tiêu nào xác định thị phần sản lượng thuộc về Microsoft.

Các dự báo thị trường rộng hơn xác định Foxconn, Quanta, Wistron, Wiwynn, Pegatron, Inventec, Compal và MiTAC là những doanh nghiệp có thể hưởng lợi từ nhu cầu máy chủ AI tăng. Dự báo số lượng máy chủ AI xuất xưởng đạt 3,5 triệu chiếc năm 2026 và 5,2 triệu chiếc năm 2027. Các tổng số đã làm tròn này hàm ý mức tăng khoảng 49%, cao hơn đôi chút so với dự báo 46% được trích dẫn riêng.

Dự báo cũng cho rằng chi tiêu vốn năm 2026 của các nhà cung cấp đám mây lớn tại Mỹ sẽ tăng 96%, trong đó khoảng một nửa mức tăng đến từ xây dựng trung tâm dữ liệu. Foxconn kỳ vọng số lượng tủ rack AI xuất xưởng hằng năm sẽ tăng hơn gấp đôi, trong khi Quanta duy trì mục tiêu tăng trưởng máy chủ AI ít nhất 100%. Đây là kỳ vọng chung của ngành, không phải xác nhận về hợp đồng cung ứng Maia 300.

Nvidia vẫn nằm trong kế hoạch

Mục tiêu của Microsoft là đưa Maia thành hệ thống suy luận chủ lực cho các sản phẩm và dịch vụ của mình, chứ không thay thế mọi GPU trên Azure. Huấn luyện mô hình mới vẫn là yêu cầu riêng, và Microsoft tiếp tục hợp tác với Nvidia và AMD cho mục đích đó.

Trong cuộc gọi công bố kết quả kinh doanh tháng 7, Microsoft cho biết công ty kỳ vọng là một trong những nhà cung cấp đám mây đầu tiên triển khai các hệ thống Nvidia Vera Rubin và AMD Helios. Evercore ISI ước tính Maia có thể chiếm khoảng 10% chi tiêu cho chip AI của Microsoft vào quý I năm 2027. Tỷ trọng chi tiêu khác với tỷ lệ khối lượng suy luận được thực hiện, nên ước tính này không đo trực tiếp tiến độ hướng tới mục tiêu vận hành của Microsoft.

Hiện các công ty khác chưa thể thuê bộ tăng tốc Maia theo giờ. Điều này hạn chế khả năng đánh giá từ bên ngoài, đồng thời có nghĩa là các tuyên bố hiệu năng đã công bố chưa cho biết một khách hàng độc lập sẽ đạt kết quả thế nào với một mô hình cụ thể.

Những điểm còn chưa rõ gồm số lượng triển khai, thời điểm đạt đầy đủ năng lực gigawatt, điều kiện kiểm thử chuẩn chi tiết và việc phân chia khối lượng công việc sau cùng giữa Maia và GPU mua sẵn. Microsoft cho biết sẽ chia sẻ thêm thông tin chiến lược tại Ignite 2026 ở San Francisco và trực tuyến vào tháng 11.

Điểm chính

• Các chiplet tính toán của Maia 300 sử dụng tiến trình TSMC N2P; triển khai trong môi trường sản xuất sẽ bắt đầu từ năm 2027.
• Mỗi bộ tăng tốc có 288 GB bộ nhớ HBM4 và băng thông bộ nhớ tối đa 18 TB/s.
• Một tủ rack hoàn chỉnh có 96 bộ tăng tốc trong giới hạn công suất 167 kW.
• Microsoft kỳ vọng số token trên mỗi megawatt cao hơn 40% so với các hệ thống GPU hàng đầu, và sản lượng mỗi tủ rack cao gấp tối đa bảy lần Maia 200.
• Việc triển khai dòng Maia sẽ mở rộng hướng tới quy mô nhiều gigawatt từ năm 2027, nhưng chưa có thời hạn hoàn tất được công bố.
• Thông tin cho rằng số lượng Maia 300 được triển khai vượt một triệu chiếc chưa được xác nhận trong thông báo của Microsoft.
• Microsoft vẫn lên kế hoạch triển khai các hệ thống Nvidia và AMD song song với phần cứng tự phát triển.