FIFA世界杯官方合作指定网站 突破视觉仿真算力瓶颈!新一代具身智能仿真框架开源:高隐约并行高保真渲染助力鸿沟化磨砺

清华AIR DISCOVER Lab 投稿
量子位 | 公众号 QbitAI
具身东说念主工智能领域,正向着以视觉为中心的感知范式,发生全面而真切的转型。
行为机器东说念主感知寰球时信息密度最高、与当然东说念主机交互最契合的模态,视觉是解锁通用机器东说念主智能、终了仿真到真实无缝搬动的中枢密钥。
但当征询者们试图沿着这条旅途上前探索时,却恒久需要在“看得真”和“训得快”之间作念辛劳弃取:
高保真视觉渲染带来了高大推测与内存支拨;东说念主工建模老是耗时耗力低效轮回;现存平台的兼容性残障持续放胆着翻新范畴,严重禁止了具身智能征询的念念象力。
为了攻克这些制约具身智能领域发展的中枢困难,清华大学智能产业征询院(AIR)DISCOVER Lab搭伙谋先飞本事、原力灵机、求之科技和地瓜机器东说念主,提倡了GS-Playground通用多模态仿真框架。
掀开新闻客户端 提高3倍流通度行为一套专为视觉中心的机器东说念主学习打造的新一代仿真基础设施,GS-Playground初次终明晰高隐约量并行物理仿真与高保真视觉渲染的深度交融,在保证物理仿真所需的高精度与强踏实性的同期,提供了大鸿沟视觉驱动政策磨砺与仿真到施行搬动所需的渲染着力与环境复古。
该效果已被机器东说念主领域外洋顶级学术会议RSS 2026(Robotics: Science and Systems)请托。

△Figure 1. GS-Playground Overview
通用全场景原生兼容:打造长入的具身智能仿真磨砺底座
GS-Playground假想之初,便定位于通用型全场景具身智能仿真平台,平台中枢搭载了团队自研的跨平台并行物理引擎,原生扶持CPU/GPU双后端与Windows/Linux/macOS全系统运转,可无缝适配全品类机器东说念主形态,包括市面上常见的四足机器东说念主、 全尺寸东说念主形机器东说念主、多解放度工业机械臂,一说念终了开箱即用的原生适配,无需格外的二次配置责任。
在此基础上,平台全面隐蔽机器东说念主贯通限度、自主导航、高搏斗精度操作三大中枢任务场景。
在接口假想上,平台API全面兼容行业通用的MuJoCo MJCF神志,可终了现存仿真样子的零摩擦快速搬动,最猛进度镌汰征询者的适配资本。
自研高性能并行物理引擎:为搏斗密集型机器东说念主学习提供踏实底层能源学
关于视觉中心的机器东说念主学习而言,“看得真”仅仅第一步,确切决定政策能否搬动到真实寰球的,是仿真系统能否在复杂搏斗、摩擦、碰撞与多刚体耦合中,持续给出踏实、确切的物理响应。
针对这一中枢瓶颈,GS-Playground从底层自研了一套高性能并行物理引擎,采纳广义坐标下的速率-冲量能源学公式,将搏斗与摩擦长入建模为搀杂互补问题(MCP),并通过投影高斯-赛德尔(PGS)求解器终了踏实求解。
比较依赖软搏斗正则化的传统口头,这一假想更强调静摩擦保持、高刚度管制与大时候步踏实性,尤其稳妥足式贯通、机械臂捏取和密集多体搏斗等高动态任务。
为了复古大鸿沟并行磨砺,团队进一步引入管制岛并行化与搏斗流形热启动机制:
前者将互相孤独的刚体交互系统拆分为多个管制岛并行求解,后者运用上一帧已敛迹的搏斗冲量行为刻下帧初值,将踏实堆叠场景中的PGS迭代次数从50次以上镌汰到10次以内,大幅提高复杂搏斗场景下的敛迹着力。
实验收尾充分考据了这一自研物理引擎的踏实性与隐约上风。
在Franka Panda动态捏取摇晃测试中,GS-Playground CPU后端在0.002s与0.01s两种时候步下,均终了90/90的完整保持得手率,权贵优于MuJoCo、IsaacSim与Genesis等主流决策;
在27解放度东说念主形机器东说念主复杂多体交互基准中,当单环境膨大到50个机器东说念主时,GS-Playground CPU后端仍能保持1015 FPS的踏实隐约,比较MuJoCo终了32倍加快,比较MjWarp终了约600倍提高。
掀开新闻客户端 提高3倍流通度自研内存高效Batch 3DGS渲染本事:防碍保真与着力的行业弗成能三角
数千个高保真3DGS场景同期渲染带来的内存与算力挑战,一直是制约视觉驱动机器东说念主大鸿沟磨砺的中枢卡点。
针对刚体仿真环境,团队领先假想了专属优化的高效剪枝政策。
该政策可将高斯点数目减少90%以上,同期峰值信噪比(PSNR)着落幅度不及0.05,视觉互异简直无法被视觉贯通政策感知。
这一本事在大幅镌汰显存占用的同期,简直无损地保留了场景的视觉质料,为大鸿沟高保真并行仿真奠定了中枢基础。
在此基础上,团队研发了面向批处理深度优化的批量3DGS渲染器,终明晰多场景大鸿沟高斯渲染的并行处理。
在单张NVIDIA RTX 4090 GPU上,2026世界杯官网入口渲染器在640×480区别率下可终了最高10000 FPS的突破性隐约量,最多可同期渲染2048个场景,不仅权贵提高了单元算力的渲染着力,更能无缺适配无数次强化学习的磨砺责任流,让大鸿沟并行磨砺不再受限于渲染性能。

△Figure 2. Rendering throughput comparison between GS-Playground and Isaac Sim’s ray-tracing renderer across varying resolutions
此外,团队还提倡了刚性连杆高斯贯通学(RLGK)机制,将3D高斯簇与物理引擎中的对应刚体进行精确绑定,确保视觉表征与物理对象的位姿能偶及时同步更新,终明晰零格外支拨的景象同步。
即即是在机器东说念主快速贯通、时常搏斗交互的动态场景中,渲染器已经简略终了无伪影的动态画面输出,从根源上惩处了动态场景中的渲染时候一致性与视觉伪影问题,保险了磨砺数据的踏实性与可靠性。
掀开新闻客户端 提高3倍流通度自动化“Sim-Ready”Real2Sim责任流:镌汰 Real2Sim门槛
传统仿真场景的构建,恒久是机器东说念主研发历程中着力最低、资本最高的设施之一。
不管东说念主工建模何等缜密,却恒久无法皆备复刻真实环境的视觉细节与物理特质,感知与物理的双重鸿沟成为了制约sim-to-real跨域搬动的中枢卡点。
针对这一改行痛点,GS-Playground假想了一套全自动化的“图像到物理”Real2Sim责任流,仅需输入单张RGB图像,即可在数分钟内完成仿真就绪(Sim-Ready)数字钞票的全历程创建,终明晰真实场景到数字孪生的快速和谐,同期保证视觉真实感与物理一致性。

△Figure 3. GS-Playground System Architecture
左:自动化图像到物理仿真管线,通过诡计分割、布景补绘、三维高斯溅射 / 网格重建,从RGB输入构建可径直用于仿确凿资源。
中:物理与渲染仿真中枢,包含CPU/GPU物理后端、集成传感器与激光雷达仿真,以及经过剪枝优化与刚性连杆贯通学适配的批量三维高斯溅射渲染。
右:下流应用,包括操作任务、导航任务以及大鸿沟并行强化学习。
基于这套熟谙的自动化责任流,团队还构建了Bridge-GS数据集,在Bridge-v2数据集的基础上,补充了场景与物体级的3DGS表征、物体级网格模子、6D位姿数据与校准后的相机参数,为行业提供了圭臬化的高质料仿真数据集。
同期团队在InteriorGS数据集上完成了完整的泛化性考据,充分评释了该管线对不同室内场景的强适配智商与泛化性能。
掀开新闻客户端 提高3倍流通度全链路端到端考据:终了零微调的无缝仿真到真实搬动
基于三大中枢本事的深度协同,GS-Playground完整构建了从真实场景重建、大鸿沟并行磨砺,到真机部署的全链路端到端闭环,确切终明晰“重建即磨砺、磨砺即部署”的研发历程改进。
在政策磨砺与真机搬动的中枢智商上,平台可踏实扶持数千个并行环境同期运转,为四足机器东说念主、东说念主形机器东说念主、工业机械臂等全品类机器东说念主,提供大鸿沟视觉强化学习磨砺复古。
仅在GS-Playground仿真环境中完成磨砺的视觉驱动政策,无需任何格外的微调与适配,就能径直部署到真实机器东说念主上踏实运转:
四足和东说念主形机器东说念主的贯通政策均可zero-shot部署到真机;
视觉导航任求终明晰零样本的真机径直部署;
机械臂捏取任务在零微调的前提下,真实场景得手率达到90%。

△Figure 4.Real-world deployment of policies trained in GS-Playground
这一系列实验收尾,充分评释了平台终明晰确切无壁垒的仿真到真实搬动,也考据了其在买通具身智能感知与物理跨域鸿沟上的中枢价值。
开源赋能:与寰球社区共同鼓舞具身智能翻新
GS-Playground行为行业内首个终了高隐约量并行物理仿真与高保真批量3DGS渲染深度交融的全栈仿真框架,从根源上突破了历久制约视觉驱动机器东说念主学习的算力、显存与钞票生成三大中枢瓶颈。
其自动化Real2Sim责任流,大幅镌汰了高保真仿真环境的构建资本;
全维度的实验考据也充分评释,平台在足式贯通、自主导航、机器东说念主操作等机器东说念主主流任务中,简略同期弥合物理与感知层面的仿真到施行鸿沟,终了确切的零微调真机部署。
未来,GS-Playground还将持续迭代优化,持续拓展智商范畴。
清华大学智能产业征询院DISCOVER Lab恒久发愤于鼓舞具身智能领域的前沿征询与本事翻新,咱们将稳健开源GS-Playground的全栈框架,提供一套高性能、易使用、高泛化性的中枢基础设施,助力大鸿沟端到熟察觉驱动机器东说念主政策学习的进一步发展与产业落地。
样子主页:
https://gsplayground.github.io
论文趋承:
https://arxiv.org/abs/2604.25459
仓库趋承:
https://github.com/discoverse-dev/gs_playground
一键三连「点赞」「转发」「留神心」
接待在计划区留住你的念念法!
— 完 —
咱们正在招聘又名眼疾手快、照看AI的学术剪辑实习生 🎓
感兴味的小伙伴接待照看 👉 了解确定

🌟 点亮星标 🌟
科技前沿阐明逐日见FIFA世界杯官方合作指定网站
澳门威斯人app官网下载入口