Isaac Sim仿真平台学习（2）系统架构

news2024/11/25 10:27:02

0.前言

1.isaac sim的系统架构

1.Design（设计）

2.Tune（调试）和Train（训练）

1.PhysX

2.RTX

3.Sensors

1.感知型扩展传感器

2.物理传型感器

4.Replicator

5.Digital Twins

6.Omnigraph

7.Isaac Lab

3.Deploy（部署）

2.结尾

0.前言

难得更新阿，今天黑猴发布了没有去玩，跑来更新博客，本来想着按宇树的go2开发指南去试试RL的，但可惜没成功（可能我哪个步骤错了吧，挠了半天头），宇树使用的老版的isaac gam，现在已经迁移到了isaac lab了，刚好网上也有人作了相关的isaac sim的教程，我也跟着来更新吧，很感谢这些开发者的贡献，同时也看到了关于Isaac Lab的中文文档有大佬们在做了

这里将教材贴出来：isaac sim具身智能仿真系列：【1】管他37 21，装好了仿真就算是具身大佬了（佛系胡乱更新中）_哔哩哔哩_bilibili

Isaac Lab中文文档：概述 — Isaac Lab documentation

Isaac Lab英文文档：Overview — Isaac Lab documentation

关于isaac lab目前只需要简单知道他是一个统一的、模块化的机器人仿真学习框架，目的是提供更具物理特性的机器人仿真软件就好了。

而他的开发者团队是苏黎世联邦理工：Robotic Systems Lab - Legged Robotics at ETH Zürich · GitHub

这里是他们的github，你有可能会在上面看到一些有意思的、符合你想法的一些项目，尝试着去坐下来慢慢的复刻他，或许你会成功，祝你好运。

1.isaac sim的系统架构

1.Design（设计）

在isaac sim的工作流当中可导入和调整常见的机械系统设计格式CAD、统一的机器人描述格式URDF（这里是我以前对URDF格式的解析）、MuJoCo XML格式XJCF（MuJoCo是一个免费的开源物理引擎）、通用场景描述格式USD（构建虚拟现实的一种场景构建技术三是isaac sim的主要使用格式）

2.Tune（调试）和Train（训练）

我来对官方文档中被使用到的部分工具进行一些解释和补充

1.PhysX

我们在上面提到了Isaac Lab可以实现更具物理特性的机器人仿真就是使用到了PhysX。PhysX是一种物理引擎，最初由Ageia Technologies开发，后来被NVIDIA收购。它被设计用来模拟和渲染现实世界中的物理效果，如重力、碰撞、摩擦、流体动力学等。PhysX被广泛用于视频游戏开发、虚拟现实、仿真以及其他需要实时物理模拟的领域。是的物理引擎最早期的营业点之一并不是什么机器人仿真，而是game，各类的游戏物理引擎的作用就是用来开发游戏。

2.RTX

RTX是NVIDIA推出的一种图形处理技术，它基于光线追踪技术实现实时光线追踪渲染。RTX技术是建立在NVIDIA的RTX系列显卡上的，这些显卡配备了专门的硬件加速器，称为RT核心（RT Cores），用于加速光线追踪计算。而光线追踪就让仿真具有模拟现实光线的复杂效果了。最常听到RTX的地方就是现在的nvdia的新品类显卡在2018年的时候nvdia推出了rtx系列的显卡，当是的rtx光线追踪技术是作用在游戏上的，甚至在现在我们打黑猴的时候也要考虑一下是否打开rtx，rtx出来的时候机器人仿真可还没火热呢。

3.Sensors

传感器在这分为了主要的两大类：

1.感知型扩展传感器

其中包含RTX传感器和PhysX传感器两种

2.物理传型感器

包含了接触式传感器、IMU传感器、力传感器、光束传感器等多种传感器类型

4.Replicator

在机器人仿真中，Replicator通常指的是一种能够在仿真环境中自我复制的机器人或自我复制算法。这种概念受到自然界中自我复制生物体（如细菌）的启发。在机器人仿真中，Replicator通常指的是一种具有自我复制能力的机器人或算法，能够生成出新的实体，从而扩大其数量或覆盖范围。这种能力可以使得机器人系统更加灵活和适应性更强，因为它们可以自我复制来应对不同环境或任务的需求。

5.Digital Twins

"数字孪生"（Digital Twins）是指现实世界中的实体、系统或过程的数字化表示，它们通过实时同步和互动反映了物理实体的状态、行为和性能。数字孪生技术结合了物理世界和数字世界，可以用于模拟、监控、分析和优化各种系统和过程。"数字孪生"（Digital Twins）的概念最早由NASA提出。NASA在20世纪初开始使用数字孪生技术来模拟和监测宇航器和航天器的运行情况，以便实时了解它们在太空中的状态和性能。使用数字孪生我们就可以让实体和仿真同时进行，并且可以使用仿真对实体进行修正。

最有意思就是去看：https://www.youtube.com/watch?v=ZPVMYiw5ucc
这是我找到比较有意思且能表达数字孪生的的视频。

6.Omnigraph

这个没有具体含义但可将他理解为节点式工作流，有小伙伴们玩过达芬奇剪辑软件或其他的一些设计类型的软件吗，Omnigraph和众多设计类软件一样是节点式工作流，节点工作流的最大优势就是具有非破坏性的逻辑。节点式工作流是一种工作流程管理方法，其中工作流程被分解为一系列独立的任务或步骤，每个任务或步骤被称为一个节点。这些节点之间存在特定的关系和顺序，以便完成整个工作流程。