yabo亚博-借助NVIDIA Isaac Sim与World Labs Marble加速机器人仿真环境构建

您当前的位置：

首页

2026-01-09

亚博科技

借助NVIDIA Isaac Sim与World Labs Marble加快呆板人仿真情况构建一直以来，为呆板人仿真构建传神的 3D 情况是一项很是泯灭人力的事情，往往需要数周的手动建模与配置。如今，借助天生式世界模子，开发者只需输入文本提醒，就能于极短期内天生一个传神、可直接用在仿真的虚拟世界。将开源呆板人参考框架 NVIDIAIsaac Sim与天生式模子，好比World Labs 推出的 Marble等相联合，便可经由过程文本或者图象提醒，为呆板人开发创立完备的 3D 场景。

World Labs 近期发布了题为“借助 Marble 实现呆板人仿真范围化”的案例研究，展示了研究职员怎样使用 Marble 的天生式虚拟世界，加快呆板人的练习、测试和仿真到实际的迁徙。

本教程将带你完成一套端到端事情流：

场景导出：从 Marble 资源库中导出 Gaussian splats（PLY 格局）与碰撞网格（GLB 格局）

场景格局转换：经由过程 NVIDIA Omniverse NuRec 将 Marble 导出文件转换为 USD 格局

场景导入与构建：将转换后的文件导入 NVIDIA Isaac Sim

于Isaac Sim中开展仿真：添加呆板人并运行仿真

完玉成部步调后，你将得到一个撑持呆板人物理交互的传神的虚拟情况，且整个天生历程耗时远低在传统要领。接下来，让咱们正式最先。

步调1：从World Labs Marble获取3D厨房场景

World Labs Marble 可天生包罗富厚视觉细节与几何数据（如深度信息、外貌法向量）的场景，同时输出可用在物理仿真的碰撞网格文件。

本教程不会从零天生新的厨房场景，而是直接利用 Marble 示例资源库中现成的厨房场景模板。这一做法既能节省时间，又能确保咱们得到一个开箱即用的传神的仿真情况。所选场景为细节富厚的厨房与客堂室内空间，内置全套家具和常见厨房用品。

Marble厨房场景导出步调

登录Marble平台：于网页端登录你的 Marble 账户，登录后导航至预制厨房场景模板。

打开场景：点击方针场景，于 Marble 3D 查看器中加载。你可以像玩游戏同样，经由过程 WASD 按键与鼠标操控视角阅读场景，确认场景效果是否切合预期。

下载场景文件：于 Marble 界面底部东西栏找到“下载”按钮。

选择“Splats（PLY）”下载场景的 Gaussian splat 暗示文件。Marble 提供的 Gaussian splat 文件为 .ply 格局，内含数百万个半透明粒子，可高精度还有原场景细节。

选择“Collider Mesh（GLB）”下载场景的三角网格文件。该文件为尺度 glTF 模子格局，包罗厨房场景的完备几何布局。

留意：于 World Labs Marble 中导出 PLY 与 GLB 文件需定阅付费套餐。若暂未定阅，可以使用 Marble 资源库提供的示例 PLY 与 GLB 文件。本教程将以厨房场景的示例PLY与GLB文件举行演示，建议将文件别离定名为 MarbleKitchenwithLight.ply 及 MarbleKitchenwithLight_collider.glb 生存。

至此，咱们已经获取两种格局的厨房情况文件——Gaussian splats（PLY）与三角网格格局（GLB），两者功效各有偏重：PLY 文件卖力出现场景的完备视觉细节，GLB 文件则提供仿真所需的物理碰撞几何布局。

步调2：将下载的PLY文件转换为USDZ格局

NVIDIA Isaac Sim 采用通用处景描写（USD）作为尺度场景格局。若要于 Isaac Sim 中利用 Marble 天生的场景，需先将导出的 PLY 文件转换为 USD 格局，导入后，再借助 NVIDIA Omniverse NuRec 的功效，高效衬着基在点云的场景。

NuRec 的焦点是基在高斯模子的重修与衬着算法 3DGUT。NVIDIA3DGRUT 代码库中提供了将 .ply splat 文件转换为 USDZ 文件的剧本，USDZ 是一种基在 ZIP 压缩的 USD 专用归档格局。详细转换步调以下：

1. 配置 3DGRUT 情况：克隆 3DGRUT 代码库并完成情况部署。本教程将于名为“3dgrut”的自力 Conda 情况中举行配置。

该情况需运行在 Linux 体系，且需配备 NVIDIA GPU、CUDA 11.8 和以上版本、GCC 11 和如下版本。若你已经拥有包罗 PyTorch 等须要依靠库的 Python 情况，也可直接于该情况中运行格局转换剧本。

git clone --recursive https://github.com/nv-tlabs/3dgrut.gitcd 3dgrutchmod +x install_env.sh./install_env.sh 3dgrutconda activate 3dgrut

2.PLY 转 USDZ 格局：完成 3DGRUT 情况配置后，运行如下剧本，将 Marble 点云文件转换为 USDZ 格局：

美金 python -m threedgrut.export.scripts.ply_to_usd \ /path/to/MarbleKitchenwithLight.ply \ --output_file /path/to/MarbleKitchenwithLight.usdz

该指令将读取 .ply 文件并天生 .usdz 文件。USDZ 采用自界说 USD 架构（基在 UsdVolVolume 的扩大）存储 Gaussian splats 数据，确保 Omniverse 可对于其举行高效衬着。素质上，该格局将点云嵌入为体素基元，完备保留 Marble 场景的视觉传神度。关在 NuRec 神经体衬着技能和其于 Omniverse 中的实现细节，可参考NuRec 衬着技能文档。

此时，咱们已经得到两个要害文件：

MarbleKitchenwithLight.usdz——用在出现视觉效果的 splat 场景文件

MarbleKitchenwithLight_collider.glb——用在物理仿真的碰撞网格文件

步调3：将USDZ/GLB文件导入Isaac Sim并构建仿真场景

天生 USDZ 文件后，下一步需将厨房场景导入 Isaac Sim，完成网格与 Gaussian splats 的对于齐，并添加物理属性与光照体系，使其具有呆板人交互前提。

因为需要编纂场景内容，咱们需先解压 USDZ 归档文件，打开天生的 default.usda 文件，再按如下步调操作：

高斯体素模子几何对于齐:

为确保导入场景的原点与缩放比例适配 Isaac Sim，需履行如下对于齐操作：

于场景中创立一个地面平面，作为导入高斯体素模子的地面参考基准，同时充任光滑的碰撞面。

导入的高斯体素模子包罗于“xform”基元中，可经由过程该基元调解模子位置。选中 xform 基元，修改其“平移”参数，使厨房场景的地面与创立的地面平面彻底贴合。以地面平面为视觉参考，挪动高斯体素模子，直至点云模子的地面与参考平面重合。

天生的场景可能与真实世界比例存于误差，可借助一个边长为 1 米的默许立方体作为参考，调解场景于 X、Y、Z 三个轴向上的缩放比例。于本教程的厨房场景示例中，将缩放因子设为 2 时，橱柜、炉灶等物体的尺寸基本切合真实比例。

调解 xform 基元的扭转参数，确保高斯点云模子与地面平面精准对于齐。一个简洁的验证要领是：以厨房墙面瓷砖为参考，扭转高斯模子，使瓷砖与地面平面连结彻底平行。对于齐完成后，将地面平面下移至与厨房地面彻底贴合的位置。

为场景添加物理属性与光照：

完成高斯模子对于齐后，需为场景添加物理属性与光照体系，确保暗影效果与物体交互切合物理纪律。

咱们可再次利用以前创立的立方体，调解场景缩放比例，同时测试暗影与物理效果：

于地面平面的碰撞网格设置中，启用“无光物体”属性，确保其能正常吸收暗影。

于场景中添加穹顶光源。

于场景窗口中选中“gauss”体素基元，于属性窗口中向下滚动至“原始 USD 属性（Raw USD Properties）”，点击睁开更多设置；找到“代办署理（proxy）”字段，点击“添加方针（Add Target）”；末了选择地面平面的碰撞网格（GroundPlane CollisionMesh）作为联系关系方针。

挪动立方体，确认暗影效果是否切合预期。

将立方体设置为带碰撞体的刚体，点击仿真运行按钮，此时立方体应能与地面平面孕育发生切合预期的交互。但需留意，此时立方领会“直接穿过”高斯模子，是以咱们还有需为高斯模子配置物理属性。

高斯体素模子的碰撞信息存储于 GLB 文件中，需导入该网格文件并与高斯体素模子对于齐，同时启用其碰撞体功效：

将 MarbleKitchenwithlight_collider.glb 文件拖拽至高斯体素模子的层级下，确保层级布局准确，此时碰撞网格将显示于场景中。

适量缩小场景视图，将碰撞网格的 X 轴扭转角度设为 -90°，使其坐标体系与高斯体素模子连结一致，完成衬着模子与碰撞网格的精准对于齐。

为导入的碰撞网格启用物理碰撞体预设。

封闭碰撞网格的可见性（因其与高斯体素模子堆叠）。此操作仅影响场景视觉效果，物理仿真仍会利用已经配置的碰撞体。

至此，场景的几何布局、物理属性与光照体系均已经配置终了：高斯体素模子卖力出现传神的视觉效果，GLB 碰撞网格与地面平面则处置惩罚物理碰撞与暗影计较。此刻，场景已经具有添加呆板人的前提。

步调4：添加呆板人并运行仿真

完成厨房场景的对于齐与物理属性配置后，末了一步是添加呆板人，经由过程操控呆板人验证场景搭建效果：

将 NVIDIA Nova Carter 呆板人拖拽至场景中。

为呆板人添加差分节制器，并启用键盘节制功效。体系将主动天生所需的动作图谱，撑持经由过程键盘操控呆板人挪动。

切换至呆板人搭载的视角，点击播放按钮。利用 WASD 键操控呆板人挪动，同时验证其是否遵照厨房场景的几何约束：呆板人应能不变逗留于地面上，与操作台和家具发生碰撞，且不会穿透场景模子。

此时，Marble 厨房场景已经作为撑持物理仿真的情况，彻底集成至 Isaac Sim 中，你可经由过程交互方式操控呆板人于场景内挪动。

总结

本教程演示了怎样下载一个包罗完备几何布局的 AI 天生 3D 情况，并将其导入 Isaac Sim 构建可直接用在仿真的场景，终极于 AI 天生的虚拟世界中完成呆板人部署。这套端到端流程仅需数小时便可完成。这类快速天生多样化传神虚拟世界的能力，为呆板人仿真开发的范围化落地提供了可能。借助 Marble 与 Isaac Sim，只要你能描写出方针场景，当天便可开展呆板人测试事情。

想要摸索更多功效，可测验考试如下操作：

利用 World LabsMarble创立自界说情况：撑持经由过程文本描写、单张图片、多角度照片甚至大略的 3D 结构作为输入，天生专属仿真场景。

基在输入图象创立自界说情况并用在 Isaac Sim：可借助 NVIDIA 研究项目Lyra实现——该项目基在视频扩散模子，提供天生式 3D 场景重修能力。

更多仿真技能立异，敬请存眷SIGGRAPH Asia的有关信息，与 NVIDIA 技能专家深切交流。SIGGRAPH Asia 在 12 月 15 至 18 日于中国香港集会展览中央举办。

关在作者

Wonsik Han 是 NVIDIA 主动驾驶汽车集团的高级产物司理。他于全世界汽车制造商及主动驾驶草创公司担当战略、营业开发及产物治理职务方面拥有十多年的经验。Wonsik 拥有杜克年夜学工商治理硕士学位。

Rishabh Chadha 是 NVIDIA 的嵌入式工程实习生—— AI ，他专注在为 NVIDIA Jetson 平台集成深度进修及呆板人技能框架。他将在 2021 年卒业在伍斯特理工学院，得到呆板人学硕士学位。他的兴致重要包括深度进修、医学成像及呆板人感知。Daniel Lee 是 NVIDIA 的产物司理，专注在专业可视化解决方案的软件。

Isaac Deutsch 是 NVIDIA 的一位高级研究科学家，将计较机视觉、成像及及时计较机图形技能相联合。他为 Instant-NGP、NuRec 及 3DGRUT 做出了孝敬。他今朝的事情重点是经由过程计较摄影实现高保真 3D 捕获。Isaac 拥有苏黎世联邦理工学院的呆板人硕士学位，并在 2018 年插手 NVIDIA。

Raffaello Bonghi 是 AI & Robotics 的开发者瓜葛司理。自 2015 年以来，他一直是 NVIDIA Jetson 冠军，设计用在户外导航及教诲运用的多 ROS / ROS 呆板人。此外，他还有介入为零售及呆板人范畴的浩繁国际客户开发人工智能解决方案。拉斐洛拥有博士学位。于节制理论及工业主动化范畴，专注在呆板人技能。

原文标题：借助 NVIDIA Isaac Sim 与 World Labs Marble 加快呆板人仿真情况构建

文章来由：【微旌旗灯号：NVIDIA-Enterprise，微信公家号：NVIDIA英伟达企业解决方案】接待添加存眷！文章转载请注明来由。

用NVIDIA Omniverse ISAAC Sim加快呆板人仿真新的 Omniverse ISAAC Sim 体验的最新版本展示了现代呆板人仿真东西包怎样使研究职员及开发职员受益。于 NVIDIA O 的头像

发表在 04-27 16:06 •3991次浏览 NVIDIA Isaac Sim 2022.1版本的亮点和功效 NVIDIA 公布推出2022.1 版 NVIDIA Isaac Sim。作为一种呆板人仿真及合的头像

发表在 07-01 11:19 •3418次浏览 NVIDIA AI呆板人开发— NVIDIA Isaac Sim入门 NVIDIA 最新公然课来了，本次将缭绕用在开发及练习智能呆板人的模仿平台—— NVIDIA Isaac Sim 。的头像

发表在 10-19 15:58 •2781次浏览开发者利用NVIDIA Omniverse及Isaac Sim构建呆板人运用呆板人学博士生 Antonio Serrano-Muñoz 创立了一个 Omniverse 扩大步伐，以于 NVIDIA Isaac Sim 中利用发表在 10-21 09:41 •949次浏览 NVIDIA 公然课 | AI 呆板人开发第二讲 — Isaac Sim 高阶开发 NVIDIA 公然课——AI 呆板人开发第二讲将在嫡上线！本次出色继承，佳宾将深切解说 NVIDIA Isaac Sim 的高阶开发。的头像

发表在 11-10 11:00 •1782次浏览 CES | NVIDIA 发布智能呆板人高级模仿引擎 Isaac Sim 的庞大更新 Sim 的庞大更新。该呆板人模仿东西可以于各类差别的传神情况中构建及测试虚拟呆板人。Isaac 的头像

发表在 01-06 02:55 •1223次浏览 CES | 用 NVIDIA Isaac Sim 2022.2 模仿将来智能呆板人 NVIDIA 公布推出 NVIDIA Isaac Sim 的 2022.2 版本。作为呆板人仿真的头像

发表在 01-06 22:30 •1846次浏览利用 NVIDIA Isaac Sim、ROS 及 Nimbus 开发多呆板人情况跟着实际场景中部署的自立呆板人愈来愈多，对于高保真多呆板人仿真情况的需求也于迅速增加。本文将回首笔者已往于 Cogniteam 利用的仿真多的头像

发表在 06-07 08:45 •1979次浏览利用 NVIDIA Isaac 仿真并定位 Husky 呆板人怎样利用 ROS 2 Husky 官方软件包将该呆板人导入 NVIDIA Isaac Sim 并创立仿真。本 Demo 中的 Husky 的头像

发表在 12-26 18:05 •3194次浏览智元呆板人基在NVIDIA Isaac GR00T打造高效仿真数据收罗方案及多维度泛化的年夜型呆板人仿真框架 Genie Sim，并推出 AgiBot Digital World（agibot-digitalworld.cn）的头像

发表在 03-07 19:16 •1844次浏览 NVIDIA Isaac 是英伟达推出的综合性呆板人开发平台 NVIDIA Isaac 是英伟达推出的综合性呆板人开发平台，旨于经由过程 GPU 加快、物理仿真及天生式 AI 技能，的头像

发表在 04-02 18:03 •2106次浏览 NVIDIA Isaac Sim与NVIDIA Isaac Lab的更新于 COMPUTEX 2025 上，NVIDIA 公布了呆板人仿真参考运用 NVIDIA Isaac S 的头像

发表在 05-28 10:06 •1832次浏览 NVIDIA Isaac Sim及Isaac Lab现已经推出初期开发者预览版 NVIDIA 发布了呆板人仿真参考运用 Isaac Sim 及呆板人进修框架的头像

发表在 07-04 14:23 •1565次浏览 NVIDIA助力构建人形呆板人全身遥操作仿真平台清华年夜学与星河通用呆板人结合研发，推出了专为人形呆板人全身仿真遥操作设计的平台 OpenWBT_Isaac。该平台依托 NVIDIA 的头像

发表在 07-28 15:01 •1447次浏览-yabo