Isaac Sim
Zivid 提供了一个官方扩展，用于将我们的相机导入 NVIDIA Isaac Sim。
警告
此扩展为实验性功能，其 API 和图形用户界面（GUI）可能会发生变化。
该扩展可在以下 GitHub 仓库中找到： zivid-isaac-sim
如需安装该扩展， 请参阅官方 Isaac Sim 文档 关于如何添加和更新扩展的说明：
小技巧
Make sure the path inputted to the extension window points to the source directory of the zivid-isaac-sim repository.
Zivid 相机入门指南
扩展安装完成后，下一步是创建 Zivid 相机。
在场景中创建一个 Zivid 相机
要创建 Zivid 相机，请点击 Create ，然后选择 Zivid Camera 。从下拉菜单中选择您要加载的相机型号（以及可选的安装支架，这在相机安装与手臂上时更为重要）。点击 Add 将相机添加到场景中。
在机械臂上创建一个 Zivid 相机
要将 Zivid 相机添加到机械臂上，首先必须在 Isaac Sim 中加载该机械臂。Isaac Sim 窗口底部的 Assets（资源） 选项卡中已提供大量现成的机械臂模型。加载机械臂后，右键点击机器人的法兰（flange），然后依次选择 Create 以及 Zivid Camera 。接着，选择正确的相机型号和对应的手臂安装支架，最后点击 Add 即可将相机添加到机械臂上。
小技巧
您可以在我们的 webshop 中找到不同安装支架的更多信息。
与 Zivid 相机互动
创建好相机后，有多种方式可以与之互动。
Zivid Cameras 菜单栏选项
一旦将相机添加到场景中，Isaac Sim 的菜单栏中（位于 File、Create 等选项旁边）就会出现一个新的 Zivid Cameras 菜单项。点击该选项并选择相应的 Prim 路径后，您将看到针对该相机的各种设置选项，例如更改相机型号、采样模式，或执行虚拟采集等。
使用 Zivid 相机捕获
要使用 Zivid 相机捕获虚拟图像，您需要在 Isaac Sim 中点击最左侧列的 Play 按钮来运行模拟。然后，在 Zivid 相机窗口内点击 Capture 按钮以捕获 2D 图像。
小技巧
您还可以更改相机的 Sampling Mode ，从而影响图像和点云的分辨率。
点云可视化
要可视化点云，请在 Zivid Camera 窗口中切换 Visualize Field of View 按钮。与 Capture 功能一样，请务必先按下 Play 按钮。点云将以红色点的形式显示在场景中。
探索视野
要查看相机和/或相机投影仪的 FOV ，请在 Stage 面板中找到 Zivid 对象，单击 + 图标将其展开。然后，单击 camera_sensor 或 projector 选项将显示它们的 FOV。
如果你想从相机的视角查看场景，请点击渲染窗口顶部的 Perspective 按钮，并将其切换为 Cameras，然后选择 camera_sensor 或 projector 。
运行演示
在 zivid-isaac-sim 仓库中，有一个名为 demos 的目录。该目录包含几个 Python 脚本，展示了与相机交互的不同方式。
小技巧
通过 Python API 与 Isaac Sim 进行交互可以实现更多控制，Zivid 开发人员也鼓励这样做！
要运行演示，请确保使用 Isaac Sim 内置的 Python 环境。在 Ubuntu 系统中，可以通过运行 python.sh 文件启动该环境；在 Windows 系统中，可以通过运行 python.bat 文件启动该环境。该脚本位于 Isaac Sim 目录下，并接受 Python 脚本作为输入参数。
要运行演示，请执行以下操作：
cd /path/to/isaac-sim/ && ./python.sh /path/to/zivid-isaac-sim/demos/demo.py
cd path\to\isaac-sim
python.bat "path\to\zivid-isaac-sim\demos\demo.py"
有关 Isaac Sim Python 环境的更多信息，请参阅 官方文档 。
渲染 Zivid 点云
您还可以直接在 Isaac Sim 环境中渲染 Zivid 相机捕获的点云。
扩展 omni.kit.pointclouds 用于在 Isaac Sim 中渲染以 E57 格式存储的点云。虽然该扩展本身并不强制要求，但您仍需安装 omni.flowusd 。我们建议您安装 omni.flowusd.bundle 扩展，它会自动安装并激活渲染点云所需的必要流程扩展程序。
安装并启用上述扩展程序后，最后一步是找到要导入到 Isaac Sim 中的点云文件。该点云文件必须为 E57 格式，您可以先将 Zivid 点云导出为 PLY 格式，然后使用 CloudCompare 等工具将其转换为 E57 格式。
获取到 E57 格式的点云文件后，在 Isaac Sim 的 Content 选项卡中找到它，即可浏览您的计算机文件。然后，右键单击该文件，选择"转换为美元"选项。
我们将使用默认转换选项，只需点击 Convert 按钮。这会在与 E57 文件相同的目录下创建一个 usd 文件，并自动将其导入到 Isaac Sim 环境中。我们可以在 Stage 选项卡中找到已加载的文件。
现在 Stage 选项卡中已出现了一个新的 USD points prim 对象，请在继续操作前点击选中该 scan USDpoints 对象。
小技巧
如果看不到 USDpoints 对象的原点，请尝试缩小视图。
现在，依次点击 Window 、 Flow 和 Presets ，在 Isaac Sim 窗口底部将加载一个名为 Flow 的新标签页。
在此选项卡中，右键单击 PointCloud 选项，然后选择 Add to Stage ，再选择 Global Copy 。
您的 Zivid 点云现在将渲染到场景中，但请注意，您可能需要调整其位置，才能正确地查看它。
