Google DeepMind ra mắt Genie 4 với âm thanh trực tiếp, nhân vật tương tác và thế giới chân thực hơn

Thế giới ảo phản hồi bằng hình ảnh, chuyển động và âm thanh

Google DeepMind vừa giới thiệu Genie 4, một mô hình trí tuệ nhân tạo thử nghiệm có thể tạo ra các thế giới ảo tương tác với âm thanh, hội thoại và môi trường vật lý thay đổi. Được công bố ngày 27 tháng 10 theo giờ Mỹ, mô hình hiện chỉ dành cho một nhóm nhỏ người thử nghiệm đáng tin cậy. Google dự kiến cung cấp quyền truy cập thông qua Project Genie, Gemini API và Google AI Studio.

Google cho biết Genie 4 có thể duy trì tính nhất quán của một cảnh trong tối đa hai phút, gấp đôi mức khoảng một phút của phiên bản tiền nhiệm Genie 3. Trong khoảng thời gian đó, người dùng có thể di chuyển trong môi trường, thay đổi thời tiết, đưa người hoặc vật thể vào cảnh và nghe các nhân vật phản hồi những gì đang diễn ra.

Sundar Pichai, CEO của Alphabet và Google, mô tả mô hình này khi công bố bản xem trước nghiên cứu:

mô hình thế giới tương tác và chân thực nhất của chúng tôi

Bổ sung lớn nhất là âm thanh tích hợp, tức âm thanh được tạo ra như một phần của trải nghiệm mô phỏng thay vì thêm vào sau. Tiếng gió, sóng biển, nhạc nền và hội thoại có thể xuất hiện khi thế giới thay đổi. Google cũng cho biết mô hình đã cải thiện khả năng mô phỏng chuyển động của con người và các hiệu ứng vật lý như va chạm, khí động học, tức cách không khí tác động lên các vật thể đang chuyển động.

Google định hướng công nghệ này cho việc lên kế hoạch làm phim, phát triển trò chơi, giáo dục và huấn luyện robot hoặc tác nhân AI trước khi chúng hoạt động trong môi trường thực. Những hạn chế trước mắt cũng rất thực tế: các cảnh chỉ kéo dài trong thời gian ngắn, vật thể có thể thay đổi bất ngờ, chữ viết trong cảnh có thể khó đọc và độ chính xác của âm thanh vẫn là vấn đề chưa được giải quyết.

Thế giới tương tác khác video tạo sinh ra sao

Genie bắt đầu bằng một mô tả văn bản hoặc hình ảnh, sau đó tạo ra môi trường để người dùng khám phá. Video tạo sinh thông thường phát theo một chuỗi hình ảnh mà người xem theo dõi. Trong khi đó, mô hình thế giới liên tục tạo ra diễn biến tiếp theo để phản hồi hành động của người dùng.

Người dùng có thể dùng bàn phím để di chuyển và điều chỉnh vị trí camera. Các chỉ dẫn bằng văn bản có thể thay đổi môi trường khi mô phỏng đang chạy, chẳng hạn đổi thời tiết, thêm nhân vật hoặc chuyển góc nhìn. Hệ thống sau đó phải tạo các khung hình tiếp theo để thể hiện những thay đổi đó.

Google mô tả quá trình này là tạo trải nghiệm theo từng khung hình. Thay vì phải chuẩn bị trước mọi tương tác có thể xảy ra, mô hình dự đoán cảnh sẽ tiếp diễn thế nào khi có người hành động bên trong.

Điều đó khiến việc duy trì tính liên tục trở thành thách thức trọng tâm. Một mô phỏng hữu ích cần ghi nhớ vị trí của các vật thể, chuyển động của con người và những gì đã xảy ra. Một cảnh trông thuyết phục trong chốc lát sẽ kém hữu ích nếu bố cục thay đổi khi người dùng quay lại nhìn.

Âm thanh đưa nhân vật vào tương tác

Genie 4 bổ sung tiếng động môi trường, âm nhạc và lời nói vào thế giới hình ảnh luôn thay đổi này. Google cho biết âm thanh có thể phù hợp với địa điểm được tạo ra, chẳng hạn tiếng gió thổi qua hàng cây hoặc sóng vỗ bờ.

Nhân vật cũng có thể phản hồi bằng lời nói trước dữ liệu người dùng nhập vào và các sự kiện trong mô phỏng. Hội thoại của họ được thiết kế để thay đổi theo tình huống, thay vì phát theo một bản nhạc cố định. Người dùng có thể đưa các yếu tố âm thanh vào câu lệnh, bên cạnh các yếu tố hình ảnh.

Google cho biết hình người đã được cải thiện ở những khía cạnh khác, với chuyển động tự nhiên hơn và phản ứng với môi trường xung quanh. Người dùng có thể điều khiển hành động của họ trong khi mô phỏng tiếp tục chạy, kết hợp hành vi nhân vật và chỉnh sửa cảnh trong cùng một tương tác.

Đội ngũ phát triển thừa nhận độ chính xác của âm thanh vẫn là vấn đề cần giải quyết. Với người lên kế hoạch cho một cảnh phim hay bài tập tương tác, yêu cầu thực tế là lời nói và âm thanh môi trường phải tiếp tục phù hợp khi diễn biến thay đổi.

Gemini lập kế hoạch, Genie tạo thế giới

Google tích hợp sâu hơn nhóm mô hình AI Gemini vào Genie 4. Các mô hình đảm nhận những vai trò khác nhau: Genie tạo thế giới mô phỏng, còn Gemini giúp định hướng diễn biến và kiểm tra kết quả có làm đúng theo kế hoạch hay không.

Gemini Omni hỗ trợ hình thức và hành vi của môi trường. Gemini 3.8 Flash theo dõi các khung hình đầu vào, chia mục tiêu thành những bước nhỏ hơn, kiểm tra hành động có thành công hay không và điều chỉnh kế hoạch khi cảnh thay đổi hoặc người dùng can thiệp.

Nói đơn giản, một phần của hệ thống tạo góc nhìn tiếp theo, trong khi phần khác theo dõi tiến độ hướng tới mục tiêu. Cách bố trí này nhằm giúp các sự kiện diễn ra theo trình tự hợp lý, nhất là khi một nhiệm vụ cần nhiều hành động thay vì chỉ một phản hồi tức thì.

Tejas Kulkarni, giám đốc nghiên cứu tại Google, nói về định hướng dài hạn của công ty trong một buổi họp báo:

Trong tương lai, chúng ta sẽ ngày càng thấy nhiều mô hình thế giới lai, kết hợp Gemini viết mã và văn bản với Genie tiếp nhận những nội dung đó theo thời gian thực và mô phỏng thực tế ở các mức độ trừu tượng khác nhau,

Sự kết hợp được đề xuất sẽ cho phép ngôn ngữ, mã và mô phỏng hình ảnh phối hợp với nhau. Genie 4 hiện đã áp dụng cách phân chia nhiệm vụ này ở mức độ hạn chế, trong đó Gemini giúp điều hướng thế giới được tạo ra khi người dùng khám phá.

Vì sao Google muốn robot luyện tập trong môi trường này

Google DeepMind đang thử nghiệm cách Genie 4 có thể cung cấp môi trường huấn luyện cho robot và tác nhân AI. Tác nhân là phần mềm theo đuổi một mục tiêu bằng cách chọn hành động, kiểm tra kết quả và quyết định bước tiếp theo.

Trong một thử nghiệm liên quan đến Gemini Robotics, Gemini 4 Argon chia nhiệm vụ thành các bước để Genie 4 mô phỏng theo thời gian thực. Mục tiêu là tìm hiểu cách robot có thể thực hiện một công việc phức tạp trước khi thử trong thế giới vật lý.

Google cho biết môi trường ảo có thể tái tạo những tình huống khó gặp hoặc khó sắp đặt trong thực tế. Nhà phát triển có thể thay đổi điều kiện và xem xét phản ứng của tác nhân mà không cần dựng lại không gian thử nghiệm vật lý cho từng biến thể.

Những cải tiến được công bố về va chạm và khí động học đặc biệt quan trọng với ứng dụng này. Việc huấn luyện cần mối liên hệ hữu ích giữa hành động và kết quả: chẳng hạn vật thể chuyển động thế nào sau khi va chạm, hoặc môi trường phản ứng ra sao trước chuyển động. Google thừa nhận các tương tác vật lý phức tạp vẫn là thách thức đối với mô hình.

Lên kế hoạch làm phim là ứng dụng trước mắt

Những người thử nghiệm đáng tin cậy đã xác định việc dựng thử phim và phác thảo phân cảnh nhanh là các ứng dụng tiềm năng. Bảng phân cảnh thể hiện trình tự các cảnh quay trước khi ghi hình. Genie 4 có thể giúp nhóm sáng tạo khám phá vị trí camera, hành động của nhân vật và thay đổi bầu không khí khi ý tưởng vẫn đang hình thành.

Diego Rivas, kỹ sư tại Google DeepMind, giải thích trong một buổi họp báo vì sao phản hồi tức thì có thể hữu ích ở giai đoạn này:

Khả năng xử lý theo thời gian thực trở nên hữu ích nhất trong những lĩnh vực mà việc duy trì trạng thái thăng hoa trong quá trình sáng tạo có giá trị đặc biệt lớn,

Rivas nêu việc phát triển ý tưởng và phác thảo phân cảnh làm ví dụ. Lợi ích thực tế nằm ở tốc độ: người sáng tạo có thể thay đổi một cảnh và khám phá kết quả mà không phải dừng lại để chuẩn bị một chuỗi riêng cho từng biến thể.

Google cũng cung cấp Veo, công cụ tạo các đoạn video có âm thanh đồng bộ từ câu lệnh. Rivas nói về khả năng trong tương lai Gemini Omni có thể giúp biến các bản mẫu thành sản phẩm sáng tạo, đồng thời cho biết những khả năng đó vẫn còn ở phía trước.

Trò chơi và giáo dục tương tác là các ứng dụng tiềm năng khác. Điểm chung là cảnh có thể phản hồi người tham gia, thay vì một sản phẩm truyền thông hoàn chỉnh luôn phát theo cùng một cách.

Duy trì tính nhất quán trong hai phút vẫn là giới hạn đáng kể

Khoảng thời gian hai phút mà Genie 4 được cho là có thể duy trì tính nhất quán gấp đôi giới hạn khoảng một phút của Genie 3. Điều này giúp người dùng có thêm thời gian khám phá một ý tưởng, nhưng vẫn hạn chế độ dài của một hoạt động liên tục.

Google cho biết vật thể và chi tiết hình ảnh có thể thay đổi dần khi mô phỏng chạy. Vật thể có thể đổi hình dạng hoặc vị trí, và hệ thống có thể mất dấu cách cảnh bắt đầu. Vì vậy, các phiên kéo dài vẫn là điều khó thực hiện ngay cả khi Gemini hỗ trợ duy trì tính liên tục.

Chữ được tạo bên trong thế giới cũng có thể không đọc được. Đây là vấn đề cụ thể với các cảnh có biển hiệu, hướng dẫn hoặc văn bản khác mà người dùng cần đọc.

Google mô tả Genie 4 là mô hình thử nghiệm ở giai đoạn đầu và đang hợp tác với những người thử nghiệm thuộc nhiều lĩnh vực. Rivas cho biết trải nghiệm hoàn chỉnh của sản phẩm cuối cùng vẫn đang được định hình. Hiện tại, trải nghiệm hữu ích tập trung vào các thử nghiệm ngắn, trong khi tính liên tục của hình ảnh, hành vi vật lý và âm thanh đều cần được cải thiện thêm.

Ai được truy cập và chi phí ra sao?

Bản xem trước nghiên cứu của Genie 4 đã bắt đầu với những người thử nghiệm đáng tin cậy. Google dự kiến mở rộng quyền truy cập cho người dùng cá nhân thông qua Project Genie dành cho thuê bao Google AI Ultra, đồng thời cung cấp cho nhà phát triển qua các chương trình hợp tác truy cập sớm sử dụng Gemini API và Google AI Studio.

Google cho biết đợt mở rộng sẽ sớm diễn ra, dự kiến trong những tuần tới, nhưng chưa công bố ngày cụ thể. Project Genie đang nhận đăng ký vào danh sách chờ. Quyền truy cập API sẽ cho phép nhà phát triển kết nối mô hình với phần mềm của riêng họ, còn AI Studio là nơi thử nghiệm các mô hình của Google.

Gói Google AI Ultra được cho là có giá khởi điểm 100 USD mỗi tháng. Google chưa công bố mức giá riêng cho nhà phát triển sử dụng Genie 4. Khả năng mở rộng quyền truy cập qua AI Pro và AI Plus được đề cập như một phương án trong tương lai, chứ chưa phải kế hoạch ra mắt đã được xác nhận.

Google cho biết video và âm thanh được tạo ra sẽ mang SynthID, dấu chìm kỹ thuật số của hãng dùng để nhận diện nội dung do AI tạo. Công cụ đánh dấu này nhằm giúp nhận biết nội dung do hệ thống tạo ra khi trải nghiệm mô phỏng được cung cấp cho nhiều người dùng hơn.

Từ Genie 3 đến cuộc cạnh tranh rộng hơn về mô phỏng

Genie 4 tiếp nối một loạt bước đi nhằm đưa các mô hình thế giới của Google đến với nhiều người hơn, vượt ra ngoài các buổi trình diễn nghiên cứu:

• Tháng 8 năm 2025: Google DeepMind công bố Genie 3.
• Tháng 1 năm 2026: Google bắt đầu thử nghiệm Project Genie sử dụng mô hình này.
• Tháng 5 năm 2026: Google công bố tích hợp với Street View.
• Ngày 27 tháng 10 theo giờ Mỹ: Google công bố Genie 4 và bản xem trước nghiên cứu ban đầu.

Cạnh tranh cũng đang mở rộng vượt ra ngoài các cảnh tương tác không có âm thanh. GWM Worlds 2 của Runway, ra mắt vài tháng trước Genie 4, phản hồi hành động của người dùng và có khả năng tạo âm thanh.

Hoạt động của các doanh nghiệp khác cho thấy sự quan tâm đến mô phỏng trong cả phát triển AI lẫn các hệ thống vật lý. Rivian đã mua lại Third Dimension để đưa năng lực mô phỏng vào hoạt động thử nghiệm xe. Thông tin AMD mua lại World Labs và Amazon đàm phán mua Decart cũng đưa công nghệ mô hình thế giới vào làn sóng giao dịch rộng hơn, dù các cuộc trao đổi của Amazon vẫn đang ở giai đoạn đàm phán.

Sản phẩm mới nhất của Google kết hợp tạo cảnh, hội thoại và lập kế hoạch bằng Gemini trong một hệ thống thử nghiệm. Bước cụ thể tiếp theo là mở rộng quyền truy cập, qua đó giúp nhiều nhà sáng tạo và nhà phát triển xác định những nhiệm vụ ngắn nào mà mô hình có thể xử lý đáng tin cậy.

Điểm chính

• Google DeepMind công bố Genie 4 ngày 27 tháng 10 theo giờ Mỹ, trước mắt dành cho những người thử nghiệm đáng tin cậy.
• Mô hình tạo ra các thế giới tương tác với âm thanh môi trường, âm nhạc và hội thoại phản hồi theo diễn biến.
• Google cho biết cảnh có thể duy trì tính nhất quán tối đa hai phút, gấp đôi giới hạn khoảng một phút của Genie 3.
• Các mô hình Gemini hỗ trợ lập kế hoạch hành động, theo dõi cảnh được tạo và điều chỉnh mô phỏng.
• Các ứng dụng dự kiến gồm phác thảo phân cảnh phim, trò chơi, giáo dục và huấn luyện robot.
• Vật thể có thể thay đổi dần, chữ có thể không đọc được, còn vật lý phức tạp và độ chính xác âm thanh vẫn là những thách thức trong quá trình phát triển.
• Google dự kiến cung cấp quyền truy cập qua Project Genie, Gemini API và Google AI Studio, nhưng chưa công bố ngày mở rộng cụ thể hay giá dành cho nhà phát triển.