Các nhà nghiên cứu MIT cho biết GPT-6 Astra cải thiện điểm toán của Qwen bằng cách chỉnh sửa trực tiếp trọng số

Một chỉnh sửa số nhỏ tạo ra mức tăng điểm lớn

Các nhà nghiên cứu tại Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo của MIT cho biết GPT-6 Astra của OpenAI đã nâng điểm toán của một mô hình Qwen nhỏ từ 7.9% lên 48.1% chỉ bằng cách thay đổi 131,072 trong tổng số khoảng 800 triệu tham số số học của mô hình. Can thiệp này nhắm vào một lỗi cụ thể: mô hình liên tục tạo văn bản cho đến khi hết chỗ trả lời.

Rikiya Takehi, Jayden Teoh, Alex Zhang và Omar Khattab mô tả các thí nghiệm trong một bài đăng nghiên cứu ngày 2 tháng 11 có tiêu đề Sparks of Weight-Space Programming, sau đó là bài tường thuật đăng ngày 3 tháng 11 năm 2026. Phương pháp của họ yêu cầu một mô hình ngôn ngữ kiểm tra, diễn giải và trực tiếp viết lại trọng số của một mạng nơ-ron khác, tức các con số quyết định cách mạng xử lý thông tin.

Kết quả nổi bật nhất liên quan đến Qwen3.5-0.8B. Độ chính xác trên MATH-500 tăng 40.2 điểm phần trăm, tương đương khoảng sáu lần điểm ban đầu, sau khi Astra thay đổi khoảng 0.016% trọng số. Độ chính xác trên các câu hỏi toán GSM8K tăng từ 13.8% lên 67.1%, trong khi điểm làm theo chỉ dẫn IFEval tăng từ 21.0% lên 62.3%, gần gấp ba kết quả ban đầu.

Các thí nghiệm không chỉ giới hạn ở toán học. Astra xác định mục đích của các mạng nhỏ, sửa bộ điều khiển lái xe mô phỏng và viết trực tiếp các mạng chơi trò chơi dựa trên luật và mã nguồn. Những thử nghiệm khác cho thấy giới hạn của phương pháp: chỉ dựa vào trọng số, Astra gặp khó khăn khi nhận diện xu hướng đồng tình quá mức với người dùng; các chỉnh sửa cũng hầu như không cải thiện khả năng toán học của một mô hình ngôn ngữ khác.

Đối với nhà phát triển, khả năng trước mắt là một hình thức sửa chữa mô hình mới. Thay vì dạy mạng bằng một vòng huấn luyện thông thường khác, trợ lý AI có thể tìm hiểu lỗi và thay đổi phần máy móc số học gây ra lỗi đó. Kết quả của Qwen cũng cho thấy bản chất của lỗi quan trọng không kém mức tăng điểm.

Lập trình trọng số thực sự có nghĩa là gì?

Mạng nơ-ron chuyển đầu vào thành đầu ra thông qua các lớp phép tính. Trọng số kiểm soát mức độ tín hiệu truyền giữa các thành phần. Huấn luyện thường điều chỉnh các con số đó nhiều lần, dùng ví dụ và một thước đo lỗi toán học để xác định thay đổi nào hữu ích.

Gradient descent là một cách phổ biến để tính những điều chỉnh này. Phương pháp này ước tính nên dịch chuyển trọng số theo hướng nào để giảm lỗi. Trong các thí nghiệm này, thay vào đó Astra tự suy luận về mạng đích và viết các thay đổi, không dùng vòng lặp huấn luyện để tính toán chỉnh sửa.

Takehi, nghiên cứu sinh tiến sĩ tại MIT CSAIL, mô tả quy trình được đề xuất trong một bài đăng trên mạng xã hội:

Thay vì huấn luyện, các mô hình có thể xem trọng số thô như mã có thể đọc và chỉnh sửa: chẩn đoán lỗi rồi vá trực tiếp.

So sánh với việc sửa phần mềm rất hữu ích. Lập trình viên điều tra một ứng dụng bị lỗi có thể tìm đến hàm gây lỗi rồi viết lại nó. Trong trường hợp này, Astra tìm kiếm các cấu trúc số gắn với hành vi không mong muốn. Trọng số mạng nơ-ron khó diễn giải hơn phần mềm thông thường vì chúng thường không có tên dễ hiểu cho biết chức năng của mình.

Các thí nghiệm cung cấp những mức hỗ trợ khác nhau. Có thử nghiệm chỉ cung cấp cho Astra trọng số và mô tả kiến trúc. Những thử nghiệm khác cho phép sử dụng môi trường Python, ví dụ hoặc quyền chạy mô hình đích. Trong trường hợp Qwen, dù không có huấn luyện thông thường, quá trình này vẫn cần lượng tính toán đáng kể, câu hỏi luyện tập và kiểm thử.

Astra đã ngăn Qwen lặp lại như thế nào

Hành vi ban đầu của Qwen cho Astra một vấn đề đặc biệt rõ ràng để điều tra. Trong loạt 96 câu hỏi ban đầu, 85 câu trả lời đạt giới hạn đầu ra tối đa 32,768 token. Token là những mảnh văn bản mà mô hình ngôn ngữ đọc và tạo ra, thường là từ hoặc một phần của từ. Khoảng 95% câu trả lời bị cắt cụt kết thúc bằng nội dung lặp lại.

Đánh giá MATH-500 trên diện rộng cho thấy cùng vấn đề: 93.0% câu trả lời ban đầu chạm giới hạn token. Astra truy nguyên hành vi lặp vòng đến một hướng số học liên quan đến đầu ra của các thành phần truyền thẳng ở lớp 15 và 19. Các thành phần này, thường gọi là perceptron đa lớp hay MLP, biến đổi thông tin bên trong từng lớp.

Một hướng số học là một mẫu phân bố trên nhiều giá trị, chứ không phải một công tắc đơn lẻ. Astra trừ hướng liên quan đến việc lặp lại khỏi 64 cột đầu ra trong mỗi lớp nói trên. Việc này làm thay đổi 131,072 trọng số và giảm tỷ lệ câu trả lời MATH-500 chạm giới hạn token xuống còn 33.1%.

Các câu trả lời được sửa cho thấy nguyên nhân của sự cải thiện. Trong 1,152 câu hỏi được giữ riêng để đánh giá, 579 câu trả lời chuyển từ sai sang đúng, trong khi năm câu chuyển từ đúng sang sai. Trong số 579 câu cải thiện, 576 câu ban đầu bị cắt cụt do chạm giới hạn đầu ra. Vì vậy, phần lớn tiến bộ đến từ việc mô hình sau chỉnh sửa hoàn tất những câu trả lời vốn bị gián đoạn bởi việc lặp lại.

Sau khi vá, khoảng một phần ba câu trả lời MATH-500 vẫn dùng hết dung lượng đầu ra. Mạng đã chỉnh sửa hữu ích hơn nhiều trong điều kiện thử nghiệm, nhưng hiện tượng lặp vòng vẫn là vấn đề đáng kể.

Tìm ra cách chỉnh sửa cần nhiều giờ điều tra

Nỗ lực thành công nhất của Astra trên Qwen sử dụng ngân sách 50 lượt yêu cầu đánh giá, mỗi lượt có thể bao gồm hàng trăm ví dụ. Cuộc điều tra gồm 158 lượt trao đổi, 80 lần chạy Python và kéo dài 20.3 giờ, trong đó có 4.7 giờ chờ dịch vụ khắc phục sự cố gián đoạn.

Môi trường làm việc có hơn 14,000 câu hỏi luyện tập từ các tập huấn luyện GSM8K và MATH, quyền truy cập trọng số của Qwen và một môi trường Python dạng sandbox chạy trên CPU. Sandbox cho phép chạy tối đa 300 lần. Những lần thử khác dùng ngân sách 10 hoặc 25 lượt yêu cầu đánh giá.

Các con số độ chính xác được báo cáo cũng phụ thuộc vào một thiết lập tạo văn bản cụ thể. Các lần đánh giá dùng chế độ suy luận, giới hạn đầu ra 32,768 token và nhiệt độ 0.6. Nhiệt độ kiểm soát mức độ ngẫu nhiên khi chọn token tiếp theo; thẻ mô hình khuyến nghị nhiệt độ 1.0 cho tác vụ văn bản ở chế độ suy luận. Khác biệt này quan trọng khi tái tạo hành vi ban đầu và so sánh kết quả.

Quy trình thực tế gồm:

• Các nhà nghiên cứu cung cấp cho Astra mô hình đích, bài tập luyện và công cụ để kiểm tra trọng số cũng như thử nghiệm hành vi.
• Astra điều tra các đầu ra lặp lại và xây dựng chỉnh sửa có mục tiêu cho lớp 15 và 19.
• Đánh giá đo lường mức cải thiện về toán học và khả năng làm theo chỉ dẫn, đồng thời ghi nhận số câu trả lời chạm giới hạn đầu ra giảm xuống.
• Nhóm mô tả công trình vào ngày 2 tháng 11 và cho biết đang phát triển một bộ chuẩn đánh giá cùng khung thử nghiệm.

Chỉnh sửa cuối cùng rất nhỏ, nhưng để tìm ra nó cần một quy trình lớn hơn nhiều. Liệu phương pháp này có tiết kiệm thời gian hoặc tài nguyên tính toán so với tinh chỉnh thông thường hay không vẫn là câu hỏi thực tiễn chưa có lời giải.

Đọc trò chơi, hình dạng và ngôn ngữ từ các con số

Các thử nghiệm kiểm tra của Astra bắt đầu với bốn mạng chơi trò chơi được huấn luyện bằng tối ưu hóa chính sách vùng lân cận, hay PPO, một phương pháp học tăng cường cải thiện hành vi thông qua phần thưởng. Các mạng có cùng cấu trúc, đầu vào và hành động khả dĩ. Không được cung cấp danh sách trò chơi có thể có, Astra vẫn xác định được chúng là Breakout, Pong, Pac-Man và Freeway.

Các nhà nghiên cứu cho biết Astra kiểm tra mẫu ở lớp đầu tiên và những khác biệt trong cách lớp đầu ra chọn hành động. Trong ví dụ nhận diện Breakout, Astra tự chấm độ tin cậy cho câu trả lời là 99%. Đây là đánh giá của chính Astra về kết quả nhận diện.

Ba mô hình khuếch tán nhỏ là một thử nghiệm khác. Mỗi mô hình được huấn luyện để tạo hình tròn, tam giác hoặc hình vuông. Không cần chạy chúng, Astra nhận diện được các hình bằng cách tìm đường viền trong trọng số lớp đầu ra. Hình vẽ của Astra là các đường nét rỗng, dù mô hình tạo ra hình đặc, một chi tiết khác thường kết nối cách diễn giải của nó với cấu trúc số đã kiểm tra.

Khả năng nhận diện ngôn ngữ được thử nghiệm với ba mô hình, mỗi mô hình có 7.2 triệu tham số, được huấn luyện để dự đoán ký tự tiếp theo trong mã Python, tiếng Nhật chuyển tự bằng chữ La-tinh hoặc tiếng Anh. Astra chỉ được cung cấp các lớp giữa nhưng vẫn nhận diện chính xác ngôn ngữ huấn luyện trong cả hai lần thử.

Astra cũng tìm thấy các đầu sao chép trong mô hình, tức những thành phần chú ý giúp lặp lại văn bản đã gặp trước đó. Mô hình Python có nhiều đầu này hơn, phù hợp với đặc điểm mã thường dùng lặp lại tên biến và hàm. Mô hình tiếng Nhật chuyển tự có ít hướng hơn do mô-đun cuối tạo ra, phù hợp với tập ký tự thường dùng nhỏ hơn.

Sửa xe và xây dựng mạng chơi trò chơi

Một chiếc xe mô phỏng trong môi trường Kinetix đã hình thành thói quen không hữu ích: lao vào dốc rồi mắc kẹt. Nếu lùi trước, xe sẽ có đủ khoảng trống để chạy lấy đà thành công. Được cung cấp trọng số của bộ điều khiển, mô tả cảnh và một bản ghi lỗi, Astra đưa ra bản sửa chỉ trong một phản hồi, không cần công cụ.

Bản vá thay đổi 3.5% trọng số và thành công trong cả 1,024 lần kiểm thử. Astra bổ sung một đường truyền nhỏ trong mạng để theo dõi vị trí và tốc độ, sau đó trả quyền điều khiển về mạng ban đầu khi xe vượt qua một mốc.

Với các trò chơi Breakout, Seaquest và Asterix trong MinAtar, Astra nhận một nhiệm vụ khác: tự viết các mạng chính sách từ đầu. Mạng chính sách chuyển trạng thái trò chơi thành hành động. Astra được cung cấp luật chơi, mã nguồn và kiến trúc yêu cầu, nhưng không có ví dụ huấn luyện, phép tính gradient, công cụ hoặc cơ hội chơi trước khi đánh giá.

Các mạng do Astra viết đánh bại các mô hình PPO cơ sở được huấn luyện qua 100 triệu bước ở cả ba trò chơi. Breakout cho thấy mức chênh lệch điểm lớn nhất: Astra đạt 517.4, so với 15.8 của mô hình cơ sở huấn luyện 100 triệu bước và 25.3 của mô hình huấn luyện 500 triệu bước. So sánh thứ hai tương đương lợi thế khoảng 20 lần.

Mức lợi thế khác nhau tùy trò chơi. So với các mô hình PPO huấn luyện 500 triệu bước, Astra đạt kết quả gần tương đương ở Asterix và khoảng 60% điểm số ở Seaquest. Thiết kế Breakout của Astra chuyển một chiến lược rõ ràng thành trọng số: ước tính nơi bóng sẽ rơi rồi di chuyển thanh đỡ bóng đến vị trí đó.

Mạng Go lớn hơn cần một quy trình khác

Thí nghiệm Go sử dụng mạng có khoảng 1.5 triệu tham số, quá lớn để đưa trực tiếp vào cửa sổ ngữ cảnh của Astra, tức lượng thông tin mô hình có thể xử lý cùng lúc. Thay vào đó, các nhà nghiên cứu cung cấp một sandbox Python để kiểm tra và chỉnh sửa trọng số.

Kiến trúc có 243 đầu vào, sáu lớp ẩn với 512 đơn vị mỗi lớp và 82 đầu ra. Astra tổ chức mạng như một chương trình Go thu gọn: các lớp đầu biểu diễn quân cờ và khí, tức các giao điểm trống liền kề giúp một nhóm quân tồn tại. Các lớp giữa truyền thông tin qua những nhóm liên kết để xác định nguy hiểm.

Lớp cuối chấm điểm các nước đi nhằm bắt quân đối phương, cứu nhóm bị đe dọa, bảo vệ mắt và tránh bị Atari, tình trạng một nhóm chỉ còn một khí. Đây là chiến lược được lắp ghép bằng trọng số số học thay vì học qua những ván đấu lặp đi lặp lại.

Không cần đánh giá hiệu suất nào, mạng của Astra đã thắng hơn một nửa số ván trước hai mạng PPO nhỏ hơn. Với ngân sách 50 lượt đánh giá, mạng này vượt trội so với một mạng cùng kích cỡ được huấn luyện trên 20 triệu ván. Phản hồi cho phép Astra xem xét các ván thua và giữ lại những thay đổi giúp cải thiện lối chơi.

Hai phép thử khó cho thấy giới hạn

Gemma 3 270M là đối chứng hữu ích với Qwen. Mô hình này hiếm khi mắc vào vòng lặp lặp lại. Thay vào đó, Astra phát hiện các lỗi suy luận thông thường, bao gồm sai sót số học và các bước đại số không hợp lệ. Những chỉnh sửa nhỏ, trong đó có việc tăng gấp đôi độ nhạy của một nơ-ron với các con số, chỉ cải thiện độ chính xác MATH-500 tối đa khoảng một điểm phần trăm.

So sánh này cho thấy một khác biệt thực tiễn. Loại bỏ hành vi lặp lại có thể giúp mô hình phát huy những năng lực vốn đã có. Sửa nhiều lỗi toán học khác nhau đòi hỏi giải pháp rộng hơn việc loại bỏ một mẫu số học chung.

Xu hướng nịnh người dùng, tức khuynh hướng đồng tình với người dùng ngay cả khi họ sai, là vấn đề khó kiểm tra trực tiếp. Các nhà nghiên cứu tinh chỉnh từng cặp mô hình Gemma 3 270M trên cùng dữ liệu hỏi đáp. Một mô hình được huấn luyện để trả lời chính xác; mô hình còn lại được huấn luyện để đồng tình với gợi ý của người dùng.

Astra không thể phân biệt chúng một cách đáng tin cậy chỉ dựa vào trọng số. Khi được phép kiểm tra các mẫu chú ý trên văn bản do chính nó viết, nhưng không xem câu trả lời của các mô hình, Astra nhận diện đúng mô hình nịnh người dùng trong cả ba cặp. Những mô hình đó dành nhiều sự chú ý hơn ở các lớp giữa cho nội dung do người dùng gợi ý.

Các phép đo chú ý cho thấy mô hình hướng một phần quá trình xử lý vào đâu khi xử lý văn bản. Tính hữu ích của chúng trong trường hợp này khiến việc kiểm tra dựa trên thực thi trở thành một phần quan trọng của quá trình chẩn đoán thành công. Nhiệm vụ ở đây là phát hiện sự đồng tình quá mức; thay đổi hành vi đó là một ứng dụng được đề xuất riêng.

Các nhà nghiên cứu muốn thử nghiệm điều gì tiếp theo

Nhóm MIT nhìn thấy những ứng dụng tiềm năng trong kiểm tra mô hình, sửa chữa có mục tiêu, thay đổi năng lực mà không cần dữ liệu huấn luyện thông thường và chuyển các thành phần hữu ích giữa những kiến trúc khác nhau. Chỉnh sửa mô hình trực tiếp đã có lịch sử nghiên cứu, trong đó có ROME, được trình bày tại NeurIPS năm 2022, và MEMIT, được trình bày tại ICLR năm 2023. Công trình này tìm hiểu cách một mô hình ngôn ngữ đa dụng tự suy luận để thực hiện các chỉnh sửa.

Cải thiện bản thân theo đệ quy là một hướng đi khác được đề xuất: một hệ thống AI có thể giúp cải thiện một mô hình, từ đó mô hình này trở nên giỏi hơn trong việc tạo ra những cải thiện tiếp theo. Các thí nghiệm này dùng những nhiệm vụ, công cụ và ngân sách đánh giá do con người thiết lập, với Astra làm việc trên các mạng khác. Để xây dựng một chu trình lặp đáng tin cậy sẽ cần thêm thí nghiệm.

Nhóm đã công bố nhật ký thí nghiệm và các sản phẩm chỉnh sửa; kho lưu trữ công khai được mô tả là có bản ghi của 1,125 lần gọi mô hình. Bước tiếp theo được công bố là xây dựng bộ chuẩn đánh giá và khung thí nghiệm để đánh giá nhất quán. Chưa có ngày phát hành cụ thể.

Đối với những người xây dựng ứng dụng AI, phát hiện cụ thể nhất cũng hẹp hơn và dễ hiểu ngay: một sửa chữa số nhỏ có thể tạo ra cải thiện lớn khi lỗi lặp lại ngăn mô hình hoàn thành công việc hữu ích. Kết quả đối lập ở Gemma và bài toán phát hiện xu hướng nịnh người dùng cho thấy mỗi phương án sửa chữa đều cần được chẩn đoán và kiểm thử riêng.

Điểm chính

• Astra thay đổi 131,072 trọng số Qwen, khoảng 0.016% mô hình, nâng độ chính xác MATH-500 từ 7.9% lên 48.1%.
• Độ chính xác GSM8K tăng từ 13.8% lên 67.1%, còn IFEval tăng từ 21.0% lên 62.3%.
• Bản sửa chữa chính làm giảm đầu ra lặp lại; tỷ lệ câu trả lời MATH-500 chạm giới hạn token giảm từ 93.0% xuống 33.1%.
• Nỗ lực thành công nhất trên Qwen sử dụng 50 lượt yêu cầu đánh giá và kéo dài 20.3 giờ, bao gồm cả thời gian dịch vụ gián đoạn.
• Astra cũng sửa bộ điều khiển xe mô phỏng và viết mạng cho các trò chơi đơn giản hóa cùng trò Go.
• Gemma hầu như không cải thiện về toán học, trong khi việc nhận diện xu hướng nịnh người dùng cần đến các phép đo chú ý.
• Các nhà nghiên cứu đang phát triển bộ chuẩn đánh giá và khung thử nghiệm cho phương pháp lập trình không gian trọng số.