Apple thử nghiệm HALO trên Unitree G1, báo cáo tỷ lệ thành công 91% trong các căn phòng chưa được lập bản đồ

Robot được huấn luyện trong nhà ảo thử sức trong những căn phòng thật

Các nhà nghiên cứu của Apple cho biết hệ thống điều khiển robot hình người HALO đã hoàn thành từng nhiệm vụ vật lý riêng lẻ với tỷ lệ thành công trung bình 91% qua 360 lần thử tại sáu môi trường thực tế chưa từng được quét hoặc lập bản đồ. Chạy trên Unitree Robotics G1, hệ thống vận dụng những gì học được trong mô phỏng để di chuyển trong các không gian xa lạ, ngồi lên đồ nội thất, đi qua lối hẹp và đẩy hộp.

Kết quả được trình bày trong nghiên cứu Perceptive Humanoid Motion from Simulation, gửi lên arXiv ngày 4 tháng 11 năm 2026. Bài báo của nhóm Apple mô tả quá trình huấn luyện bằng khoảng 300 giờ dữ liệu tổng hợp trong 1.000 môi trường nhà ở được tạo bằng máy tính, sau đó chuyển trực tiếp hệ thống sang robot vật lý.

Các nhiệm vụ dài hơn khó thực hiện hơn. Trong một môi trường thực tế riêng biệt, HALO đạt tỷ lệ thành công trung bình 70% với ba tổ hợp hành động, mỗi tổ hợp được thử 10 lần. Chuỗi yêu cầu robot cúi xuống dưới chướng ngại vật, tiến đến mục tiêu rồi đẩy hộp thành công trong năm trên 10 lần thử.

Bước tiến thực tiễn nằm ở việc kết nối hiểu yêu cầu với khả năng điều khiển toàn thân di chuyển giữa những món đồ nội thất xa lạ. Một mệnh lệnh như ngồi lên ghế đòi hỏi robot phải nhận diện chỗ ngồi, tìm đường đi, định vị cơ thể và giữ thăng bằng khi hạ người xuống. HALO phân chia các nhiệm vụ này cho ba tầng điều khiển phối hợp với nhau.

Các tác giả gồm Siyuan Hu, Abulikemu Abuduweili, Yue Meng, Shipeng Liu, Quentin Leboutet, Chen Chen, Matthias Müller và Vladlen Koltun, tất cả đều được ghi nhận thuộc Apple. Nhóm cũng công bố mã nguồn bao gồm các phần tạo dữ liệu, huấn luyện và triển khai, trong đó có lập kế hoạch nhiệm vụ, tạo chuyển động và theo dõi chuyển động trong mô phỏng lẫn trên robot vật lý.

Kết quả 91% bao gồm những gì

Sáu kỹ năng riêng lẻ có tỷ lệ thành công khác nhau. Động tác cúi người đạt kết quả tốt nhất, còn ngồi là hành động kém thành công nhất trong số các động tác được thử nghiệm:

• Đi đến vật thể được gọi tên: 92%.
• Ngồi lên đồ nội thất: 85%.
• Đi qua cửa hé mở: 93%.
• Cúi xuống dưới chướng ngại vật: 100%.
• Bò bên dưới chướng ngại vật: 90%.
• Đẩy hộp: 88%.

Chênh lệch giữa động tác cúi người và ngồi là 15 điểm phần trăm. Ngồi đòi hỏi nhiều hơn việc đến đúng vị trí: robot phải căn chỉnh cơ thể với đồ nội thất và chuyển trọng lượng lên chỗ ngồi. Điều này đặt ra yêu cầu cho cả khả năng nhận thức thị giác lẫn bộ điều khiển vật lý.

Cả sáu môi trường đánh giá đều xa lạ với HALO. Các nhà nghiên cứu không quét chúng trước cũng không sử dụng chúng trong quá trình huấn luyện. Bài báo gọi đây là khả năng chuyển giao zero-shot, nghĩa là hệ thống chuyển từ huấn luyện mô phỏng sang các môi trường vật lý đó mà không cần huấn luyện bổ sung cho từng địa điểm.

Các đoạn trình diễn cũng cho thấy G1 đi theo một người, ngồi lên sofa, di chuyển ngang qua cửa hé mở và cúi người hoặc bò bên dưới bàn. Những chuyển động này minh họa cách hệ thống điều chỉnh tư thế theo không gian xung quanh thay vì chỉ đi thẳng về phía đích.

Vì sao chỉ dẫn dài khó thực hiện hơn

Ba tổ hợp nhiệm vụ của HALO cho kết quả chênh lệch đáng kể hơn. Robot đi qua cửa rồi đến mục tiêu thành công trong cả 10 lần thử. Tổ hợp cúi người rồi ngồi thành công sáu lần. Tổ hợp cúi người, tiến đến mục tiêu rồi đẩy hộp thành công năm lần.

Tổng cộng, robot hoàn thành 21 trong 30 chuỗi hành động, tương đương 70%. Mức này thấp hơn 21 điểm phần trăm so với tỷ lệ trung bình của các nhiệm vụ riêng lẻ, dù các bài thử theo chuỗi diễn ra trong bối cảnh khác và có số lần thử ít hơn.

Một chuỗi hành động tạo thêm cơ hội xảy ra trục trặc vì kết quả của chuyển động trước trở thành vị trí bắt đầu cho chuyển động tiếp theo. Chẳng hạn, khi chui ra khỏi chướng ngại vật, robot phải ở tư thế cho phép nó tiến đến mục tiêu và thực hiện động tác kế tiếp.

HALO xử lý việc này bằng các bước kiểm tra qua hình ảnh. Bộ lập kế hoạch theo dõi video từ góc nhìn của robot, đánh giá hành động hiện tại có thành công hay không rồi quyết định chuyển sang bước tiếp theo hay thử lại. Kết quả cho thấy kết nối các kỹ năng hữu ích với nhau vẫn khó hơn thực hiện từng kỹ năng riêng biệt.

Ba tầng biến yêu cầu thành chuyển động

Tầng điều khiển cao nhất đảm nhiệm lập kế hoạch nhiệm vụ. Tầng này sử dụng mô hình ngôn ngữ-thị giác, một loại AI xử lý cả hình ảnh lẫn từ ngữ, để diễn giải yêu cầu cùng với những gì camera ghi nhận. Mô hình mặc định là Qwen3.6-35B-A3B, chạy cục bộ trên máy Mac mini do robot mang theo.

Bộ lập kế hoạch được kích hoạt hai giây một lần. Nếu ai đó yêu cầu robot ngồi xuống mà không chỉ rõ chỗ ngồi, robot phải chọn một vật thể phù hợp trong tầm nhìn. Nếu bàn chắn lối đến ghế, hệ thống có thể chia yêu cầu thành các hành động nhỏ hơn: cúi xuống dưới chướng ngại vật, tiến đến ghế rồi ngồi.

Tầng giữa chuyển từng nhiệm vụ con thành kế hoạch chuyển động. Tầng này kết hợp Qwen3.5-2B, với các tham số bộ mã hóa được giữ cố định trong quá trình huấn luyện, cùng bộ giải mã transformer khuếch tán tạo ra chuyển động toàn thân. Bộ mã hóa chuyển hình ảnh và chỉ dẫn thành biểu diễn mà mô hình chuyển động có thể sử dụng; bộ giải mã tạo ra các tư thế dự kiến.

Tầng này quan sát trước khoảng năm giây và lập kế hoạch lại khoảng ba lần mỗi giây. Nhờ vậy, hệ thống liên tục cập nhật chuyển động dự kiến dựa trên quan sát mới từ camera thay vì quyết định toàn bộ hành động kéo dài năm giây mà không kiểm tra môi trường xung quanh.

Tầng thấp nhất, gọi là bộ theo dõi chuyển động, chuyển các kế hoạch thành lệnh điều khiển khớp 50 lần mỗi giây. Tầng này kết hợp ảnh chiều sâu với thông tin về vị trí và chuyển động của chính robot, giúp robot bám sát kế hoạch đồng thời tính đến khả năng giữ thăng bằng, tiếp xúc và giới hạn động cơ.

Mac mini được gắn trên G1

Trong cấu hình vật lý, một máy Mac mini dùng chip M4 Pro và bộ nhớ thống nhất 64 GB được đặt trong hộp bảo vệ trên lưng G1. Máy tính này chạy các mô hình lập kế hoạch nhiệm vụ và tạo chuyển động đòi hỏi năng lực xử lý cao hơn. Bộ xử lý tích hợp của G1 chạy bộ theo dõi chuyển động.

Giá đỡ tùy chỉnh trên đầu robot gắn một camera OAK-1W. Luồng video màu có độ phân giải 1280 x 800 pixel, tốc độ 30 khung hình mỗi giây và góc nhìn 120 độ. Góc nhìn rộng giúp hệ thống quan sát đồ nội thất và lối đi gần đó khi robot di chuyển.

Robot hoạt động không cần dây nối, các thành phần phần mềm giao tiếp qua ZeroMQ, một hệ thống nhắn tin. Cấu hình cục bộ mặc định có thể hoạt động không cần kết nối internet. HALO cũng có thể gọi mô hình đám mây thông qua giao diện lập trình ứng dụng nếu được cấu hình để làm vậy.

Cách phân chia công việc tính toán tương ứng với hệ thống điều khiển phân cấp. Việc hiểu yêu cầu có thể diễn ra ít thường xuyên hơn, trong khi giữ cho robot đang di chuyển ổn định đòi hỏi cập nhật nhanh hơn nhiều. Bộ tạo chuyển động tính toán kế hoạch mới trong khi bộ theo dõi tiếp tục thực hiện kế hoạch hiện tại, nhờ đó robot không phải dừng lại mỗi khi mô hình cần xử lý.

1.000 ngôi nhà ảo cung cấp dữ liệu huấn luyện ra sao

Quy trình huấn luyện HALO giải quyết một vấn đề thiếu hụt cụ thể: dữ liệu kết nối những gì robot hình người nhìn thấy, điều nó được yêu cầu thực hiện và cách toàn thân nó nên chuyển động. Video thông thường có hình ảnh các hành động, nhưng để huấn luyện hệ thống này, cần ghép những hình ảnh đó với chỉ dẫn và chi tiết chuyển động của robot.

Các tác giả mô tả thời gian cần thiết của một số phương pháp thu thập dữ liệu trình diễn bằng cách điều khiển robot thủ công hoặc dùng thiết bị ghi hình đeo trên người:

Vì một người phải trực tiếp thực hiện thủ công từng lần, một giờ dữ liệu tiêu tốn ít nhất một giờ làm việc của con người.

Thay vào đó, HALO tạo các ví dụ tương ứng trong môi trường mô phỏng. Quy trình bắt đầu bằng việc chia nhiệm vụ thành các đoạn chuyển động. Chẳng hạn, ngồi vào ghế bành có thể gồm đi thẳng về phía trước, quay người rồi hạ xuống ghế. Các câu lệnh văn bản, điểm mốc trên lộ trình và tư thế then chốt định hướng cho mô hình tạo chuyển động có tên Kimodo.

Sau đó, các bước kiểm tra hình học tự động chấm điểm những chuyển động đề xuất để phát hiện lỗi như chân trượt, cơ thể xuyên qua sàn, nhảy đột ngột và khớp vượt quá giới hạn. Quy trình giữ lại phương án tốt nhất trước khi đưa chuyển động vào một căn phòng ảo.

Infinigen, một công cụ tạo cảnh theo quy trình, cung cấp 1.000 môi trường với cách bố trí và đồ nội thất đa dạng, gồm phòng khách, văn phòng và phòng ngủ. Hệ thống tìm vị trí đặt sao cho chuyển động dự kiến của robot và vật thể mục tiêu phù hợp mà không va chạm với đồ nội thất xung quanh.

Tiếp đó, trình mô phỏng dựng lại những gì robot sẽ nhìn thấy khi thực hiện hành động, bằng camera mắt cá mô phỏng được điều chỉnh tương ứng với thiết lập vật lý. Các thay đổi về ánh sáng, độ phơi sáng, màu sắc, độ tương phản, độ nhòe và nhiễu cảm biến giúp hình ảnh đa dạng hơn. Mỗi ví dụ tạo ra kết nối một chỉ dẫn, góc nhìn camera và chuyển động cơ thể tương ứng.

Chi phí tính toán và công sức của con người

Việc tạo bộ dữ liệu huấn luyện chính mất khoảng 48 giờ bằng 250 bộ xử lý đồ họa Nvidia H100. Các bộ xử lý này, thường gọi là GPU, có thể thực hiện nhiều phép tính song song, cho phép tạo lượng lớn dữ liệu mô phỏng cùng lúc.

Bộ tạo hành động được huấn luyện bằng phương pháp học bắt chước trên 64 GPU Nvidia B200. Trong học bắt chước, mô hình học cách tái tạo hành vi mẫu. Bộ theo dõi chuyển động sử dụng bốn GPU H100 để huấn luyện kết hợp học tăng cường với chưng cất chính sách.

Học tăng cường huấn luyện bộ điều khiển thông qua các lần thử và phản hồi về hiệu quả thực hiện. Chưng cất chính sách chuyển hành vi đã học sang một mô hình khác. Trong HALO, các phương pháp này giúp bộ theo dõi chuyển những tư thế dự kiến thành chuyển động mà robot vật lý có thể thực hiện.

Con người vẫn thiết kế một số phần của quy trình. Muốn bổ sung nhiệm vụ vật lý mới, cần viết câu lệnh và thiết kế các tư thế then chốt; một số chuyển động sử dụng video của con người hoặc dữ liệu ghi nhận chuyển động. Khi đã có mô tả nhiệm vụ và các ràng buộc, quy trình có thể tái sử dụng chúng trong nhiều căn phòng được tạo ra.

Vì vậy, điểm thay đổi nằm ở cách mở rộng dữ liệu trình diễn. Thay vì cần một người thực hiện từng lần, HALO dùng tài nguyên tính toán để tạo và kiểm tra nhiều biến thể của một nhiệm vụ.

Thị giác vẫn chưa giải quyết được vấn đề tiếp xúc

Theo các nhà nghiên cứu, HALO hiện chủ yếu dựa vào thị giác và không thể trực tiếp cảm nhận tiếp xúc. Hiệu suất có thể giảm trong các nhiệm vụ đòi hỏi tiếp xúc vật lý đáng kể khi vật thể ra khỏi tầm camera hoặc bị thứ khác che khuất.

Việc đẩy hộp cho thấy điều này quan trọng ra sao. Robot cần giữ cơ thể ở vị trí phù hợp so với hộp khi cả hai cùng di chuyển. Camera có thể cung cấp thông tin về vị trí nhìn thấy được, trong khi cảm biến xúc giác có thể cung cấp thông tin về tiếp xúc vẫn hữu ích khi tầm nhìn bị cản.

Các nhà nghiên cứu nêu cảm biến xúc giác là một hướng có thể được phát triển thêm, nhưng không đưa ra thời hạn bổ sung công nghệ này. Kết quả hiện tại xác định rõ giới hạn của thử thách: HALO có thể thực hiện một số kỹ năng được hướng dẫn bằng thị giác trong những căn phòng xa lạ, nhưng các chuỗi hành động dài hơn và tương tác có tiếp xúc vẫn kém tin cậy hơn.

Nghiên cứu thay đổi điều gì

Nghiên cứu của Apple kết hợp tạo dữ liệu huấn luyện, lập kế hoạch dựa trên ngôn ngữ và điều khiển vật lý trong một hệ thống chạy trên robot hình người tại những căn phòng robot chưa từng gặp. Kết quả nổi bật nhất là khả năng chuyển giao từ 1.000 môi trường mô phỏng sang 360 lần thử vật lý mà không cần lập bản đồ trước sáu địa điểm thử nghiệm.

Mã nguồn được công bố giúp các nhà nghiên cứu tiếp tục phát triển quy trình này trên mô phỏng và phần cứng. Phạm vi mã nguồn bao gồm công cụ tạo ví dụ huấn luyện cũng như các mô hình và phần mềm cần thiết để tạo, theo dõi và phối hợp chuyển động.

Với người yêu cầu robot ngồi xuống hoặc di chuyển một chiếc hộp, độ tin cậy phụ thuộc vào toàn bộ quy trình phối hợp nhịp nhàng: nhận diện đúng vật thể, đi đến đó, tiếp xúc và hoàn tất chuyển động. Kết quả của HALO ở các nhiệm vụ riêng lẻ cho thấy tiến bộ trong quy trình này. Kết quả theo chuỗi chỉ ra những điểm cần cải thiện trước khi nhiều hành động có thể được kết hợp với độ ổn định tương tự.

Điểm chính

• Các nhà nghiên cứu của Apple gửi nghiên cứu Perceptive Humanoid Motion from Simulation lên arXiv ngày 4 tháng 11 năm 2026.
• HALO đạt tỷ lệ thành công trung bình 91% qua 360 lần thử nhiệm vụ riêng lẻ tại sáu môi trường thực tế xa lạ, chưa được lập bản đồ.
• Ba tổ hợp nhiệm vụ đạt tỷ lệ thành công trung bình 70% qua 30 lần thử tại một môi trường thực tế khác.
• Hệ thống kết hợp lập kế hoạch nhiệm vụ, tạo chuyển động và bộ theo dõi phát lệnh điều khiển khớp 50 lần mỗi giây.
• Quá trình huấn luyện sử dụng khoảng 300 giờ dữ liệu tổng hợp trong 1.000 môi trường được tạo ra.
• Mac mini do Unitree G1 mang theo hỗ trợ hoạt động cục bộ mà không cần kết nối internet.
• Con người vẫn tham gia thiết kế nhiệm vụ trong quá trình huấn luyện, còn khả năng cảm nhận tiếp xúc hạn chế vẫn là điểm yếu.