NVIDIA开源NitroGen:基于像素预测的通用游戏A代理
2025-12-22 11:50
106
NVIDIA研究团队于2025年12月21日宣布正式开源推出基础模型NitroGen。该模型以“玩游戏”作为核心训练目标，覆盖超过一千款不同类型的游戏作品，涵盖巫师3赛博朋克2077等，涉及RPG、赛车、生存竞技以及2D和3D等多种游戏形态。
与传统单一用途的AI不同，NitroGen是一款基于OpenVision的动作模型，旨在成为能够穿梭于各种虚拟世界的“通用代理”。
为了让NitroGen掌握复杂的操控逻辑，研究团队挖掘了一个此前被学术界忽视的“宝库”:YouTube和Twitch上带有控制器叠加层的游戏视频。通过分析1000多款游戏、总计超过4万小时的玩家录像，NitroGen学会了如何根据视觉反馈直接生成操作指令。AIbase了解到，研究人员利用模板匹配和微调后的SegFormer模型，精准地从海量视频中提取出了玩家的实时按键输入数据。
在技术架构上，NitroGen深度集成了英伟达此前发布的GR00TN1.5机器人模型，这使得它具备了跨平台的适应能力。测试数据显示，NitroGen能够胜任动作角色扮演、平台跳跃、Roguelike等多种完全不同风格的游戏类型。即使被置于完全陌生、未曾见过的游戏环境中，它的表现也比从头训练的模型成功率高出52%，充分证明了机器人基础模型在虚拟环境中的通用性。
目前，这支由英伟达、斯坦福及加州理工学院等顶尖学术机构组成的联合研究团队，已正式将该项目的论文、代码及相关数据集开源，旨在推动全球AI社区在具身智能和通用代理领域的进一步探索。
划重点:
海量数据驱动:模型基于YouTube和Twitch上超过4万小时的游戏视频训练，通过识别画面中的虚拟手柄按键来学习人类玩家的动作逻辑。
卓越的通用性:NitroGen证明了机器人基础模型可作为通用智能体运行，在面对完全陌生的游戏任务时，其成功率较传统模型提升了52%。
全面开源共享:英伟达联合多家名校已公开了NitroGen的模型权重、代码和数据集，为通用AI智能体的发展提供了重要基石。
0
好文章，需要你的鼓励