任意机械臂 + RobotDK + Python：生成数据集并执行手眼标定

备注

本教程仅在UR5e和Yaskawa H10上进行了测试，并且仅适用于RoboDK支持的机器人型号。

介绍 

准确的手眼标定需要一个良好的数据集，但生成这样的数据集可能是一项艰巨的任务。简化此任务的一种方法是预先保存机器人位姿，然后自动执行采集过程。在本教程中，我们使用RoboDK来自动获取手眼数据集。这为我们提供了从Zivid手眼标定中获取手眼变换矩阵所需的3D图像和机器人位姿。此示例适用于eye-in-hand和eye-to-hand。

如果您不熟悉手眼标定，我们建议您从阅读手眼标定文章开始。

要求 

安装 Zivid software ，如果是在Linux上进行安装，需要同时安装Zivid Tools。
安装 Zivid-Python 。
安装 RoboDK software 。
在 Robodk robot library 中有一台数字孪生的机器人。
Zivid calibration board 。

设置RoboDK环境 

RoboDK .rdk文件存储了有关机器人、目标位姿和环境的信息。 .rdk文件中生成手眼标定数据集所需且有用的组件是：

机器人模型文件 (.robot)
目标位姿列表（比如Target 0、Target 1、Target 2等）
机器人环境虚拟模型（可选）
正在使用的相机的CAD模型，例如， Zivid 2 CAD file （可选）

通过在RoboDK中打开这个.rdk文件示例来查看。 示例文件

将机器人添加到RoboDK环境 

首先打开RoboDK程序并添加将要使用的机器人。如需添加机器人，请在GUI中打开 File -> Open online library 。通过此界面找到与您的模型相匹配的机器人，将鼠标悬停在其上并选择 Open 。如果机器人没有出现在工作站中，请选择 Download 并将其拖放到 .rdk 环境中。 Select a robot RoboDK tutorial 中也对此进行了描述。

通过RoboDK连接机器人 

警告

根据所使用的机器人品牌，可能需要设置驱动程序才能连接到RoboDK。如需有关此设置的帮助，请查看RoboDK文档中的机器人提示部分。例如，这里是针对 ABB robots 的建议。

在运行Hand-Eye脚本之前，首先需要使用RoboDK接口连接到机器人。在RoboDK GUI中导航到 Connect -> Connect Robot 。这将打开一个侧方面板，您可以在其中插入机器人IP和端口号。

备注

大多数机器人的控制器或平板电脑控制器上都有远程模式。请确保您的机器人处于远程模式以便能够建立连接。

要连接到机器人，您必须知道它的IP地址，它应该可以在机器人控制面板中找到/列出。按照 connecting to the robot for RoboDK 中的步骤操作。另一个需要验证的连接是端口号。除非之前进行了更改，否则驱动程序附带的默认编号应该可以使用。

请点击 Connect ，如果 Connection status 框为绿色，则可以使用RoboDK界面控制机器人了。如果它是红色的，请确保您拥有正确的端口号和IP地址。如果它仍然是红色的，请查看本教程末尾的RoboDK故障排除章节。

为手眼标定创建位姿 

阅读 how to create a target in RoboDK 了解如何保存位姿。

可以通过两种方式使用RoboDK创建位姿：

使用控制器将机器人移动到所需的位姿，然后通过RoboDK连接并记录位姿
通过RoboDK远程移动机器人来创建和保存位姿

小技巧

如果您通过RoboDK移动机器人，但是机器人的移动速度太快或太慢，请查看链接 set the robot speed in RoboDK 进行调整。设置好速度后，记得右键单击您创建的程序并标记 Run on the robot ，然后再次右键单击并选择 Run 。

添加到序列中的每个位姿都应使相机面向标定板，并将整个标定板保持在视野中。标定板应该在图像位置中居中。创建位姿时，可以使用Zivid Studio的实时模式进行捕获并观察机器人是否移动到合适的位姿。这有助于选择能够提供最佳覆盖范围的方向。建议使用15-20个位姿以获得准确的手眼变换。您可以从下图中看到RoboDK中的显示画面。

小技巧

要控制所使用的机器人配置，请确保保存的target是joint target，而不是cartesian target。在RoboDK中右键单击target并选择joint target会将位姿转换为joint target。这也会将target的符号颜色从红色更改为绿色。

运行Python脚本 

在运行脚本之前，需要打开.rdk文件并连接到机器人。 The script can be found in the Zivid python samples ;它需要三个强制性命令行参数，如下所示。

Python

type_group.add_argument("--eih", "--eye-in-hand", action="store_true", help="eye-in-hand calibration")
type_group.add_argument("--eth", "--eye-to-hand", action="store_true", help="eye-to-hand calibration")
parser.add_argument("--ip", required=True, help="IP address of the robot controller")
parser.add_argument(
    "--target-keyword",
    required=True,
    help='This is the keyword shared for naming all poses used for hand-eye dataset, i.e. if we have: "Target 1", "Target 2", ... , "Target N". Then we should use "Target"',
)

脚本初始化后，它将提供选择用于存储数据集和结果的替代路径的选项。如果未指定路径，则数据集和结果将存储在 hand-eye/datasets/<date acquired> 中。该脚本运行给定的位姿并执行手眼标定，如下所示。

机器人配置的最后一步是定义机器人的速度和加速度。为了定义这些参数，我们创建了一个名为 robot_speed_accel_limits 的包含了4个整型数据的列表：分别为linear speed（线性速度）、joint speed（关节速度）、linear acceleration（线性加速度）和joint acceleration（关节加速度）。然后，使用 robodk_tools.py 中的 set_robot_speed_and_acceleration() 函数，以及 robot 对象和 robot_speed_accel_limits 作为参数，机器人配置就完成了。

Python

set_robot_speed_and_acceleration(robot, *robot_speed_accel_limits)

生成手眼数据集

现在我们将通过将机器人移动到目标列表中的每个位姿来生成手眼数据集。对于每个位姿，我们需要在捕获过程中捕获并保存ZDF文件和对应的机器人位姿。在此步骤中，要求用户提供目录的路径，来创建名为 datasets/hand-eye 的文件夹并将数据集保存到该文件夹中。如果未提供路径，将使用默认路径（此脚本的位置）。为了生成这个数据集，我们需要使用 generate_hand_eye_dataset() 函数。它会将一个zivid application、 app 对象作为参数来获取对相机的访问权限，以及一个 robot 对象来获取机器人移动到的目标列表。

Python

dataset_dir = generate_hand_eye_dataset(app, robot, targets)

执行手眼标定

为了执行手眼标定，我们遍历了上一步保存的所有机器人姿势和ZDF文件。使用 perform_hand_eye_calibration() 函数，以标定类型（手眼或手眼）和数据集目录的路径作为参数，我们获得手眼变换矩阵和残差。

Python

if user_options.eih:
    transform, residuals = perform_hand_eye_calibration("eye-in-hand", dataset_dir)
else:
    transform, residuals = perform_hand_eye_calibration("eye-to-hand", dataset_dir)

保存手眼结果

最后，我们将保存变换矩阵和残差。这是通过使用函数 save_hand_eye_results() 来实现的，其中保存的路径（在本例中即为数据集路径）为该函数所需的参数。

Python

save_hand_eye_results(dataset_dir, transform, residuals)

验证并使用手眼变换 

完成手眼标定后，您可能需要验证生成的变换矩阵是否正确并在精度要求内。

我们有一个示例可以 verify the hand-eye calibration with visualization ，所有点云都将通过手眼标定得到的转化矩阵来转换到机器人基坐标系，并重叠显示。通过目视检查棋盘格点云的重叠程度，我们可以了解机器人位姿和手眼变换的准确性。换句话说，我们将手眼标定精度和机器人定位精度进行了可视化。

我们推荐的另一种验证方法是将 Zivid calibration board 放置在您的场景中并运行我们的触碰测试示例。该示例将捕获并检测标定板，计算其位姿并移动机器人（配备了尖头手眼验证工具）以触摸棋盘的角。然后，您可以通过检查工具的尖端与棋盘格角点的距离来目视检查机器人移动到目标位姿的情况。要了解如何运行触碰测试，请阅读任意机械臂 + RobotDK + Python：通过触碰测试验证手眼标定的结果一文。

我们还有一个示例，您可以通过它来了解如何 utilize the hand-eye transform ，该示例展示了如何转换单个点或整个点云。