Buổi hỏi đáp Reddit về Kimi K2.5 của Moonshot AI phơi bày thực tế đầy trắc trở của các mô hình AI tiên phong mã nguồn mở

Khi 595 gigabyte va chạm với thực tế của giới phát triển

Hai ngày sau khi phát hành thứ mà các nhà phân tích trong ngành gọi là mô hình trí tuệ nhân tạo mã nguồn mở mạnh nhất từng được tạo ra, các nhà nghiên cứu của Moonshot AI đăng nhập Reddit để đối diện với một cộng đồng vừa hào hứng vừa bức xúc. Công ty khởi nghiệp có trụ sở tại Bắc Kinh có mọi lý do để ăn mừng. Kimi K2.5 đã xuất hiện trên các mặt báo với câu chuyện thu hẹp khoảng cách năng lực với những gã khổng lồ AI của Mỹ và thử thách giới hạn kiểm soát xuất khẩu chip của Hoa Kỳ. Nhưng các nhà phát triển đang chờ trên r/LocalLLaMA, diễn đàn nơi kỹ sư trao đổi kinh nghiệm chạy mô hình ngôn ngữ lớn trên đủ loại thiết bị, từ GPU tiêu dùng đơn lẻ đến những cụm máy nhỏ dành cho người dùng chuyên nghiệp, lại có mối quan tâm cấp thiết hơn. Họ muốn biết khi nào mới thực sự dùng được mô hình này.

Buổi Hỏi đáp trực tiếp kéo dài ba giờ bất ngờ trở thành cánh cửa nhìn vào quá trình phát triển AI tiên phong năm 2026: không phải phiên bản được trau chuốt trong tài liệu tiếp thị doanh nghiệp, mà là thực tế lộn xộn của việc gỡ lỗi, xử lý sự trôi dạt tính cách và đối diện với mâu thuẫn căn bản đang định hình AI mã nguồn mở ngày nay. Moonshot đã công bố trọng số mô hình để bất kỳ ai cũng có thể tải xuống và tùy chỉnh. Tệp này có dung lượng khoảng 595 gigabyte. Với phần lớn nhà phát triển trong cuộc thảo luận, tính mở đó vẫn chỉ là lý thuyết.

Ba thành viên nhóm Moonshot tham gia với các tên người dùng ComfortableAsk4494, zxytim và ppwwyyxx. Trong khoảng 187 bình luận, họ trả lời câu hỏi về kiến trúc, phương pháp huấn luyện và câu đố triết học về điều gì tạo nên cá tính của một mô hình AI. Họ cũng phác họa nguồn gốc của đợt tiến bộ tiếp theo, và đó không đơn thuần là số lượng tham số lớn hơn.

Bài toán kích thước chưa có lời giải

Ngay từ đợt câu hỏi đầu tiên, Kimi K2.5 đã được nhìn nhận giống một bài toán hậu cần hơn là một đột phá. Một người dùng thẳng thắn hỏi vì sao Moonshot không tạo ra các mô hình nhỏ hơn bên cạnh sản phẩm chủ lực. “Các kích thước nhỏ như 8B, 32B, 70B rất phù hợp để đạt mật độ trí tuệ cao,” họ viết, nói đến số lượng tham số tính bằng tỷ. Một người khác cho rằng những mô hình khổng lồ ngày càng khó khiến người ta phấn khích, vì nhiều nhà phát triển đơn giản là không thể chạy chúng. Người thứ ba lấy các đối thủ Mỹ làm mốc kích thước, đề nghị những phiên bản chuyên viết mã có thể chạy trên GPU cấu hình khiêm tốn.

Nhóm Moonshot không công bố ngay một mô hình nhỏ hơn. Nhưng họ thừa nhận nhu cầu bằng cách diễn đạt cho thấy họ đã quen thuộc với lời phàn nàn này. “Chúng tôi đã ghi nhận các đề nghị!” một đồng chủ trì viết. Người khác lưu ý rằng bộ sưu tập mô hình của Moonshot đã có một số mô hình hỗn hợp chuyên gia nhỏ hơn trên Hugging Face, đồng thời nhấn mạnh mô hình nhỏ và lớn thường đòi hỏi các khoản đầu tư kỹ thuật khác nhau.

Câu trả lời đáng chú ý nhất xuất hiện khi một người dùng hỏi liệu Moonshot có thể xây dựng mô hình khoảng 100 tỷ tham số, tối ưu cho sử dụng cục bộ hay không. Nhóm Kimi đưa ra một phương án thỏa hiệp khác: mô hình 200 tỷ hoặc 300 tỷ tham số có thể duy trì hiệu năng trên mức mà họ gọi là “ngưỡng khả dụng” trong nhiều tác vụ. Câu trả lời đó cho thấy thế khó mà các phòng thí nghiệm phát hành trọng số mở phải đối mặt. Mô hình 200-300 tỷ tham số sẽ giúp nhiều người tiếp cận hơn so với hệ thống một nghìn tỷ tham số, nhưng vẫn đòi hỏi cấu hình nhiều GPU hoặc các kỹ thuật lượng tử hóa mạnh tay, vốn giảm độ chính xác để tiết kiệm bộ nhớ.

Những nhà phát triển trong cuộc thảo luận không chỉ muốn mô hình nhỏ hơn đôi chút. Họ cần mô hình phù hợp với phần cứng mình thực sự sở hữu, cùng một lộ trình xem việc triển khai cục bộ là yêu cầu cốt lõi chứ không phải mối bận tâm thứ yếu của giới đam mê công nghệ. Cuộc trao đổi làm nổi bật rạn nứt ngày càng lớn trong cộng đồng AI mã nguồn mở giữa các phòng thí nghiệm phát hành mô hình khổng lồ đòi hỏi hạ tầng quy mô trung tâm dữ liệu và những người thực hành muốn chạy hệ thống trên thiết bị của riêng mình.

Các quy luật mở rộng đã chạm trần?

Khi cuộc thảo luận vượt qua những phàn nàn về phần cứng, chủ đề chuyển sang điều mà nhiều nhà nghiên cứu hiện xem là câu hỏi trọng tâm của các mô hình ngôn ngữ lớn: liệu các quy luật mở rộng quy mô có bắt đầu chững lại? Các quy luật này mô tả mối quan hệ có thể dự đoán giữa kích thước mô hình, lượng dữ liệu và hiệu năng, vốn thúc đẩy tiến bộ AI trong nhiều năm. Một người tham gia hỏi thẳng liệu việc mở rộng quy mô đã “chạm tường” hay chưa.

Đại diện Kimi trả lời bằng một nhận định ngày càng phổ biến trong ngành. “Lượng dữ liệu chất lượng cao không tăng nhanh bằng năng lực tính toán sẵn có,” họ viết, “nên việc mở rộng quy mô theo cách dự đoán token tiếp theo truyền thống, bằng dữ liệu Internet, sẽ mang lại ít cải thiện hơn.” Nhận xét này đề cập đến một giới hạn căn bản: lượng văn bản chất lượng trên Internet là hữu hạn, và các phòng thí nghiệm AI đã dùng phần lớn dữ liệu đó để huấn luyện.

Sau đó, nhóm đưa ra hướng đi mà họ cho là lời giải. Họ nêu Agent Swarm, khả năng của Kimi K2.5 trong việc điều phối tối đa 100 tác nhân phụ làm việc song song, như một hình thức “mở rộng quy mô tại thời điểm suy luận” có thể mở ra con đường mới để nâng cao năng lực. Mở rộng quy mô tại thời điểm suy luận là tăng lượng tính toán được thực hiện khi mô hình đang trả lời câu hỏi, thay vì trong giai đoạn huấn luyện ban đầu.

Theo cách nhìn của nhóm, mở rộng quy mô không nhất thiết chỉ có nghĩa là chạy các đợt tiền huấn luyện lớn hơn. Nó cũng có thể là tăng lượng công việc có cấu trúc được thực hiện tại thời điểm suy luận, rồi đưa những hiểu biết thu được trở lại quá trình huấn luyện thông qua học tăng cường. “Có thể sẽ xuất hiện những mô hình mới để mở rộng quy mô,” một đồng chủ trì viết. “Nhìn về phía trước, có lẽ sẽ có mô hình học được mà cần ít hoặc thậm chí không cần tiền đề của con người.”

Nhận định này hàm ý rằng thước đo tiến bộ có thể đang chuyển từ số lượng tham số và đường cong mất mát tiền huấn luyện sang những hệ thống biết lập kế hoạch, phân công và xác minh, sử dụng công cụ cùng các tác nhân phụ làm khối xây dựng thay vì chỉ dựa vào một lượt truyền xuôi khổng lồ qua mạng nơ-ron.

Bên trong Agent Swarm: 100 tác nhân phụ chia sẻ bộ nhớ ra sao

Trên lý thuyết, Agent Swarm nghe giống một ý tưởng quen thuộc khoác lớp áo mới: nhiều tác nhân AI cùng phối hợp giải quyết một nhiệm vụ. Buổi Hỏi đáp trực tiếp đã hé lộ những chi tiết quan trọng hơn: bộ nhớ được lưu ở đâu, việc phối hợp diễn ra thế nào và vì sao quá trình điều phối không biến thành nhiễu loạn.

Một nhà phát triển nêu lên mối lo kinh điển về hệ thống đa tác nhân. Khi có 100 tác nhân phụ, tác nhân điều phối thường trở thành nút thắt, cả về độ trễ lẫn hiện tượng cộng đồng gọi là “thoái hóa ngữ cảnh”. Thoái hóa ngữ cảnh là tình trạng hiệu năng suy giảm khi lịch sử hội thoại đầy những trao đổi nội bộ và dấu vết sử dụng công cụ, khiến mô hình mất dấu mục tiêu ban đầu.

Một đồng chủ trì Kimi trả lời bằng lựa chọn thiết kế có ý nghĩa với bất kỳ ai xây dựng hệ thống tác nhân trong môi trường doanh nghiệp.

Các tác nhân phụ hoạt động với bộ nhớ làm việc riêng và gửi kết quả về cho tác nhân điều phối, thay vì truyền mọi thứ vào một ngữ cảnh chung. Nhờ vậy, chúng tôi có thể mở rộng tổng chiều dài ngữ cảnh theo một chiều hướng mới!

Một nhà phát triển khác đặt câu hỏi về các tuyên bố hiệu năng. Moonshot từng công khai cho biết Agent Swarm có thể nhanh hơn khoảng 4,5 lần trong những quy trình phù hợp, nhưng những người hoài nghi hỏi liệu con số đó đơn giản chỉ phản ánh mức độ dễ song song hóa của từng tác vụ. Nhóm đồng ý rằng điều đó còn tùy. Trong một số trường hợp, hệ thống xác định tác vụ không cần các tác nhân song song và tránh tiêu tốn thêm năng lực tính toán. Nhóm cũng mô tả ngân sách token của tác nhân phụ là thứ mà tác nhân điều phối phải quản lý, giao cho mỗi tác nhân phụ một nhiệm vụ có quy mô phù hợp.

Nhìn dưới góc độ kỹ thuật thay vì tiếp thị, Moonshot đang mô tả một mô hình quen thuộc trong doanh nghiệp: giữ cho lớp điều khiển gọn gàng, giới hạn đầu ra từ các tiến trình thực thi và tránh nhấn chìm bộ điều phối bằng những bản ghi mà nó không thể xử lý. Kiến trúc này cho thấy các hệ thống AI tương lai có thể giống những cụm máy tính phân tán hơn là chatbot nguyên khối.

Chuyển dịch từ Hệ thống 1 sang Hệ thống 2

Chuyển dịch đáng kể nhất được gợi ra trong buổi Hỏi đáp trực tiếp không phải là một điểm số mới trên bảng chuẩn. Đó là tuyên bố về ưu tiên nghiên cứu. Một câu hỏi đặt ra liệu Moonshot có đang chuyển năng lực tính toán từ tiền huấn luyện “Hệ thống 1” sang học tăng cường “Hệ thống 2” hay không. Các thuật ngữ này chỉ những kiểu tư duy do nhà tâm lý học Daniel Kahneman phổ biến: Hệ thống 1 là tư duy nhanh, trực giác; còn Hệ thống 2 là suy luận chậm rãi, có chủ đích.

Trong lĩnh vực AI, điều này đồng nghĩa chuyển từ việc học các khuôn mẫu rộng sang huấn luyện có chủ đích để khuyến khích lập luận và hành vi chính xác trong các tác vụ nhiều bước. Đại diện Kimi trả lời rằng năng lực tính toán dành cho học tăng cường sẽ tiếp tục tăng, đồng thời cho rằng nhiều khả năng sẽ xuất hiện các hàm mục tiêu RL mới, “đặc biệt là trong lĩnh vực tác nhân”.

Câu trả lời đó giống một lộ trình phát triển. Khi mô hình sử dụng công cụ và chia nhỏ tác vụ ngày càng tốt hơn, các phòng thí nghiệm sẽ dành nhiều ngân sách hơn để huấn luyện mô hình hoạt động hiệu quả như tác nhân, chứ không chỉ dự đoán token. Điều này có ý nghĩa với doanh nghiệp vì những cải thiện nhờ RL thường đi kèm đánh đổi. Mô hình có thể quyết đoán hơn, ham dùng công cụ hơn hoặc ngày càng tối ưu theo các tín hiệu thưởng không hoàn toàn phù hợp với kỳ vọng của công ty.

Khi được hỏi về khoảng cách năng lực tính toán giữa Moonshot và các phòng thí nghiệm Mỹ có số lượng GPU lớn hơn nhiều, nhóm trả lời thẳng thắn. “Tôi cho rằng khoảng cách không thu hẹp,” một đồng chủ trì viết. “Nhưng cần bao nhiêu năng lực tính toán để đạt được AGI? Chúng ta sẽ thấy.” Một người khác đưa ra cách lý giải mang tính triết học hơn: “Có quá nhiều yếu tố ảnh hưởng đến năng lực tính toán sẵn có. Nhưng dù thế nào, đổi mới luôn phát triển trong điều kiện bị giới hạn.”

Vì sao Kimi đôi khi tự nhận mình là Claude

Các mô hình phát hành trọng số mở giờ đây luôn vấp phải một nghi vấn: liệu mô hình có học quá nhiều từ đối thủ hay không? Nghi vấn đó có thể nhanh chóng biến thành cáo buộc chưng cất, tức một AI học bằng cách huấn luyện trên đầu ra của AI khác. Một người dùng nêu một trong những tuyên bố gây tranh cãi nhất trong cộng đồng mô hình mở: đôi khi K2.5 tự nhận mình là “Claude”, mô hình chủ lực của Anthropic. Hàm ý ở đây là mô hình đã vay mượn rất nhiều.

Moonshot không phủ nhận hành vi này. Thay vào đó, nhóm giải thích những điều kiện khiến nó xảy ra. Theo nhóm, khi có lời nhắc hệ thống phù hợp, mô hình có xác suất cao trả lời “Kimi”, đặc biệt là ở chế độ suy nghĩ. Nhưng nếu lời nhắc hệ thống để trống, mô hình sẽ trôi vào cái mà nhóm gọi là “vùng chưa xác định”, phản ánh phân bố dữ liệu tiền huấn luyện thay vì lựa chọn huấn luyện có chủ đích.

Sau đó, nhóm đưa ra lời giải thích cụ thể gắn với một quyết định huấn luyện. Moonshot cho biết họ đã tăng trọng số lấy mẫu dữ liệu lập trình Internet mới hơn trong giai đoạn tiền huấn luyện, và dữ liệu này dường như gắn nhiều hơn với token “Claude”, có lẽ vì các nhà phát triển thường nhắc đến mô hình của Anthropic khi thảo luận về trợ lý lập trình AI. Nhóm bác bỏ cáo buộc chưng cất bằng kết quả kiểm tra chuẩn.

Trên thực tế, K2.5 dường như vượt Claude ở nhiều bài kiểm tra chuẩn. Chẳng hạn như HLE, BrowseComp, MMMU Pro và MathVision.

Với các doanh nghiệp triển khai mô hình, điều quan trọng không nằm ở những tranh cãi trên Internet. Điểm mấu chốt là hiện tượng trôi dạt danh tính là một dạng lỗi có thật, và các tổ chức thường có thể giảm thiểu bằng cách kiểm soát lời nhắc hệ thống thay vì phó mặc phần tự mô tả của mô hình cho may rủi. Buổi Hỏi đáp trực tiếp xem việc quản trị lời nhắc không phải là chi tiết trang trí trải nghiệm người dùng, mà là quy trình vận hành thiết yếu để triển khai đáng tin cậy.

Tìm kiếm linh hồn trong mô hình phần thưởng

Một chủ đề lặp lại trong cuộc thảo luận là văn phong của K2.5 có vẻ chung chung hơn các mô hình Kimi trước đây. Người dùng mô tả nó giống một “trợ lý hữu ích” tiêu chuẩn hơn, kiểu tính cách mà nhiều nhà phát triển hiện xem là mặc định ở các mô hình được hậu huấn luyện kỹ lưỡng. Một người dùng cho biết họ rất thích tính cách của Kimi K2 và hỏi chuyện gì đã xảy ra.

Một đồng chủ trì Kimi thừa nhận mỗi phiên bản mới đều kéo theo một số thay đổi về tính cách, đồng thời nói rằng tính cách mang tính chủ quan và khó đánh giá. “Đây là một vấn đề khá khó,” họ viết. Nhóm cho biết muốn cải thiện vấn đề này và giúp người dùng tùy chỉnh tính cách theo nhu cầu cá nhân tốt hơn.

Trong một trao đổi riêng về việc liệu tăng cường năng lực lập trình có làm suy giảm khả năng viết sáng tạo và trí tuệ cảm xúc hay không, đại diện Kimi cho rằng nếu mô hình đủ lớn thì hai năng lực này vốn không mâu thuẫn. Tuy nhiên, họ nói rằng việc duy trì “gu văn chương” qua các phiên bản rất khó, vì mô hình phần thưởng liên tục thay đổi. Nhóm dựa vào các bài kiểm tra nội bộ, một dạng đánh giá ở cấp độ siêu kiểm định, để theo dõi tiến bộ trong khả năng viết sáng tạo và điều chỉnh mô hình phần thưởng cho phù hợp.

Một câu trả lời khác đi xa hơn, sử dụng cách diễn đạt có thể lạ lẫm trong tài liệu đặc tả AI doanh nghiệp nhưng quen thuộc với những người dùng các công cụ này hằng ngày. Nhóm nói về “linh hồn” của mô hình phần thưởng và gợi ý khả năng lưu một “trạng thái” của người dùng phản ánh sở thích, rồi dùng trạng thái đó để định hướng đầu ra của mô hình. Cuộc trao đổi này cho thấy một hướng phát triển sản phẩm mà doanh nghiệp thường đánh giá thấp. Sự thay đổi phong cách không chỉ là vấn đề thẩm mỹ. Nó có thể làm thay đổi cách mô hình giải thích quyết định, mức độ dè dặt, cách xử lý điều mơ hồ và cách tương tác với khách hàng lẫn nhân viên.

Gỡ lỗi mới là công việc thực sự trong nghiên cứu AI

Góc nhìn văn hóa đáng chú ý nhất xuất hiện khi có người hỏi về những điều bất ngờ trong quá trình huấn luyện và học tăng cường. Một đồng chủ trì trả lời bằng một từ duy nhất, được in đậm để nhấn mạnh: gỡ lỗi.

Dù là tiền huấn luyện hay hậu huấn luyện, có một việc luôn thể hiện rõ là ưu tiên hàng đầu: gỡ lỗi.

Bình luận đó làm sáng tỏ một chủ đề xuyên suốt buổi hỏi đáp. Khi được hỏi về phương pháp “thang mở rộng quy mô” để đánh giá ý tưởng mới ở các kích thước mô hình khác nhau, zxytim kể một chuyện thất bại. Nhóm từng vội đưa Kimi Linear, một kiến trúc chú ý tuyến tính thử nghiệm, vào thế hệ mô hình trước. Ở một quy mô nhất định, nó không vượt qua được bài kiểm tra của thang mở rộng quy mô. Nhóm lùi lại và trải qua quá trình mà đồng chủ trì gọi là “một đợt gỡ lỗi gian nan”, rồi cuối cùng cũng khiến nó hoạt động sau nhiều tháng.

“Xét về mặt thống kê, hầu hết ý tưởng hoạt động ở quy mô nhỏ đều không vượt qua được thang mở rộng quy mô,” họ nói tiếp. “Những ý tưởng vượt qua được thường đơn giản, hiệu quả và có nền tảng toán học vững chắc. Nghiên cứu phần lớn là quản lý thất bại, chứ không phải ăn mừng thành công.”

Với các lãnh đạo kỹ thuật đang đánh giá nhà cung cấp AI, lời thừa nhận này rất đáng suy ngẫm. Năng lực tiên phong không chỉ đến từ những đột phá thanh thoát. Nó hình thành nhờ liên tục cô lập lỗi và nhờ văn hóa tổ chức sẵn sàng dành hàng tháng cho những vấn đề có thể không giải quyết được. Thực tế đó tương phản rõ nét với những câu chuyện được trau chuốt thường thấy trong các đợt ra mắt sản phẩm.

Lộ trình đến K3 và học liên tục

Buổi Hỏi đáp trực tiếp cũng khéo léo hé lộ thế hệ tiếp theo của Kimi. Các nhà phát triển hỏi liệu Kimi K3 có áp dụng nghiên cứu chú ý tuyến tính của Moonshot hay không. Nghiên cứu này nhằm xử lý ngữ cảnh dài hiệu quả hơn các cơ chế chú ý truyền thống. Thành viên nhóm cho biết phương pháp tuyến tính là một lựa chọn nghiêm túc. “Kimi Linear nhiều khả năng sẽ là một phần của K3,” một người viết. “Chúng tôi cũng sẽ đưa vào những tối ưu hóa khác.”

Trong một trao đổi khác, một đồng chủ trì dự đoán K3 “sẽ tốt hơn K2.5 rất nhiều, thậm chí có thể gấp 10 lần”. Nhóm cũng nhấn mạnh học liên tục là hướng họ đang tích cực nghiên cứu, gợi ra tương lai nơi các tác nhân có thể làm việc hiệu quả trong thời gian dài hơn. Đây là nhu cầu thiết yếu với doanh nghiệp nếu muốn tác nhân xử lý các dự án kéo dài thay vì chỉ hoàn thành những tác vụ một lượt.

“Chúng tôi tin rằng học liên tục sẽ nâng cao năng lực tự chủ và giúp các tác nhân làm việc hiệu quả trong thời gian dài hơn nhiều,” một đồng chủ trì viết. Riêng về Agent Swarm, nhóm cho biết dự định cung cấp bộ khung điều phối cho các nhà phát triển khi hệ thống ổn định hơn. “Hy vọng là rất sớm,” họ nói thêm.

Điều này cho thấy gì về AI mở năm 2026

Buổi trao đổi không giải đáp mọi câu hỏi. Một số câu hỏi chuyên sâu nhất về công thức huấn luyện đa phương thức, biện pháp chống khai thác phần thưởng và quản trị dữ liệu được để dành cho báo cáo kỹ thuật sắp tới. Điều đó không có gì lạ. Nhiều phòng thí nghiệm hiện xem những chi tiết có tính quyết định trong vận hành là thông tin nhạy cảm.

Tuy vậy, cuộc thảo luận vẫn cho thấy các cuộc cạnh tranh thực sự trong lĩnh vực AI đã chuyển dịch đến đâu. Khoảng cách quan trọng nhất không nằm giữa Trung Quốc và Hoa Kỳ, hay giữa mã nguồn mở và đóng. Đó là khoảng cách giữa những gì mô hình hứa hẹn và những gì hệ thống thực sự có thể mang lại. Điều phối đang trở thành sản phẩm. Moonshot không chỉ phát hành một mô hình. Họ còn đưa ra một thế giới quan cho rằng những bước tiến tiếp theo đến từ các tác nhân có thể chia nhỏ công việc, sử dụng công cụ và nhanh chóng trả về kết quả có cấu trúc.

Trọng số mở đang va chạm với thực tế phần cứng, khi các nhà phát triển đòi hỏi tính mở cho phép chạy cục bộ chứ không phải tính mở đòi hỏi trung tâm dữ liệu. Chiến trường cũng đang chuyển từ trí tuệ thuần túy sang độ tin cậy, từ việc hơn đối thủ hai điểm trên một bài kiểm tra chuẩn sang gỡ lỗi kỷ luật gọi công cụ, quản lý bộ nhớ trong quy trình đa tác nhân và duy trì “gu” khó định lượng, yếu tố quyết định liệu người dùng có tin đầu ra hay không.

Moonshot xuất hiện trên Reddit sau một đợt phát hành đình đám và giữa lúc câu chuyện địa chính trị ngày càng được chú ý. Các nhà phát triển chờ ở đó quan tâm đến một câu hỏi thực tế hơn: Khi nào tính mở mới thực sự đồng nghĩa với khả năng sử dụng? Theo nghĩa đó, buổi Hỏi đáp trực tiếp không chỉ quảng bá Kimi K2.5. Nó còn cho thấy một ngành đang chuyển đổi: từ mô hình lớn hơn sang tính toán có cấu trúc hơn, từ API đóng sang trọng số mở vẫn đòi hỏi kỹ thuật triển khai nghiêm túc, và từ ăn mừng thành công sang quản lý thất bại.

Tóm tắt

• Moonshot AI phát hành Kimi K2.5, mô hình mã nguồn mở dung lượng 595GB, rồi tổ chức buổi Hỏi đáp trực tiếp trên Reddit tại r/LocalLLaMA, nơi cộng đồng đặt câu hỏi về khả năng sử dụng thực tế
• Các nhà phát triển yêu cầu mô hình nhỏ hơn (8B-70B tham số) để chạy trên phần cứng cá nhân, nhưng Moonshot cho rằng 200B-300B tham số là mức tối thiểu để sử dụng hiệu quả trên nhiều tác vụ
• Nhóm thừa nhận các quy luật mở rộng quy mô đang chững lại do thiếu dữ liệu huấn luyện chất lượng cao, đồng thời chuyển hướng sang “mở rộng quy mô tại thời điểm suy luận” thông qua Agent Swarm điều phối 100 tác nhân phụ
• Agent Swarm dùng bộ nhớ làm việc riêng cho từng tác nhân phụ để tránh thoái hóa ngữ cảnh; tác nhân điều phối quản lý ngân sách token và phân chia nhiệm vụ
• Năng lực tính toán dành cho học tăng cường sẽ tăng, chuyển trọng tâm từ khớp mẫu kiểu Hệ thống 1 sang suy luận kiểu Hệ thống 2 và huấn luyện hành vi tác nhân
• Moonshot giải thích hiện tượng trôi dạt danh tính (mô hình tự nhận là “Claude”) là do dữ liệu lập trình được tăng trọng số lấy mẫu có nhiều nội dung nhắc đến Claude, chứ không phải chưng cất
• Tính cách và “linh hồn” vẫn khó đo lường, khó duy trì qua các phiên bản; nhóm dự định xây dựng trạng thái sở thích riêng cho từng người dùng
• Kimi K3 dự kiến có các kiến trúc chú ý tuyến tính và khả năng học liên tục để xử lý những tác vụ của tác nhân kéo dài