Genie Sim 3.0：智元机器人开源的 LLM 驱动仿真平台
2026-01-08 10:26
115
智元发布首个大语言模型驱动的开源仿真平台：Genie Sim 3.0智元机器人在CES上发布全球首个大语言模型驱动的开源仿真平台Genie Sim 3.0。
平台基于NVIDIA Isaac Sim构建，融合三维重建与视觉生成技术，可实现数字孪生级高保真仿真环境。首创的自然语言驱动场景生成技术，可将万级场景的生成时间缩短至分钟级。
Genie Sim 3.0是什么？
Genie Sim 3.0是一个面向机器人与具身智能研究的高保真仿真平台，核心特点是：
•使用自然语言直接生成大规模仿真场景
•支持数字孪生级别的真实环境复刻
•提供万小时级开源仿真数据集
•内置多维度自动评测体系
平台代码、数据集和评测工具均已开源，开发者可直接部署使用。
核心能力与功能概览
高保真仿真环境构建
Genie Sim 3.0基于NVIDIA Isaac Sim，在物理精度与视觉真实感之间取得平衡：
•融合三维重建+视觉生成技术
•支持零售、工业、餐饮、家居、办公等多类真实操作场景
•仿真环境可直接来源于真实世界空间
在真实环境采集阶段，平台结合：
•高分辨率RGB图像
•360°LiDAR点云
•厘米级RTK定位
实现对真实场景的高精度数字化映射。
LLM驱动的场景生成机制
Genie Sim 3.0的核心创新之一，是大语言模型直接参与仿真场景构建。
开发者只需输入自然语言描述，例如：
“生成一个包含货架、纸箱和拣选任务的仓储场景”
系统即可：
•自动解析语义
•生成结构化仿真场景
•支持多轮对话持续优化布局与细节
几分钟内即可生成成千上万可泛化的仿真场景，显著降低传统场景搭建的人力成本。
3D资产与视觉生成能力
在资产生成层面，Genie Sim 3.0支持：
•通过约60秒的物体环拍视频
•自动生成带精确网格结构的3D仿真模型
•自动补全纹理与多视角细节
结合视觉生成模型，可在不同视角下保持外观一致性，提升仿真资产的真实感。
大规模开源仿真数据集
Genie Sim 3.0同步开源了高价值仿真数据资源：
•10,000+小时合成仿真数据
•覆盖200+机器人任务
•包含多传感器模态（视觉、深度、位姿等）
•支持多维度泛化设置
这些数据既可用于模型训练，也可用于统一评测与对比分析。
多维度智能评估体系
平台内置Genie Sim Benchmark，构建了一个规模化的评估框架：
•覆盖10万+仿真评测场景
•从操作技能、空间推理、语义理解等多个维度评估模型能力
•使用LLM自动生成评测流程
•借助VLM（视觉语言模型）进行结果分析与判定
相比单一成功率指标，该体系能更清晰地刻画模型能力边界。
数据采集与自动化工具链
Genie Sim 3.0提供完整的数据采集与生成工具，包括：
•低延迟遥操作
•自动化任务脚本
•自动标注流程
•任务失败后的错误恢复机制
这一机制显著提高了数据采集效率，降低了人工干预成本。
开源信息汇总
0
好文章，需要你的鼓励