任意机械臂 + RobotDK + Python：通过触碰测试验证手眼标定的结果

备注

本教程仅在UR5e和Yaskawa H10上进行了测试，并且仅适用于RoboDK支持的机器人。

介绍 

有时很难衡量手眼标定的准确性。因此，我们创建了一个触碰测试可以让用户轻松地验证其准确性。在这个测试中，我们使用 RoboDK 来移动机器人。此示例适用于两种手眼标定类型的结果，即眼在手上（Eye-in-Hand）和眼在手外（Eye-to-Hand）。触碰测试的过程包括将 Zivid 标定对象放置在相机的 FOV 中，捕获它，并控制机器人在特定点触碰它。完成触碰后，您可以移动 Zivid 标定对象并指示机器人再次触碰它。您可以根据需要多次重复此过程。唯一的两个限制是机器人的工作范围和相机的 FOV 。

在下图中，您可以看到触碰测试的预期结果。

Zivid 棋盘格

ArUco标记

备注

触碰的准确性取决于机器人标定误差、手眼标定误差、TCP 标定误差和标定物体位姿的估计误差。

要求 

已安装 Zivid software ，如果在Linux 上运行，则包括Zivid Tools。
已安装 Zivid-Python 。
已安装 RoboDK software 。
在 Robodk robot library 中有一台数字孪生的机器人。
Zivid 标定对象。
一个 .yaml 文件，包含了手眼标定产生的手眼变换矩阵。
包含定义了尖头手眼验证工具（Pointed Hand-Eye Verification Tool）的变换矩阵的.yaml文件。

尖头手眼验证工具（Pointed Hand-Eye Verification Tool）

本教程使用了一个尖头手眼验证工具作为触碰工具。该工具适用于UR5e(ISO 9409-1-50-4-M6) 和Yaskawa HC10 (ISO 9409-1-63-4-M6) 。

pointed-hand-eye-verification-tool.STL - STL格式的CAD模型，可用于3D打印。
pointed-hand-eye-verification-tool.STEP - STEP格式的CAD模型，可以加载到RoboDK中。
pointed-hand-eye-verification-tool.pdf - 技术图纸。
pointed-hand-eye-verification-tool.yaml - 用于保存转换矩阵的YAML文件，需要作为与本教程相关的代码示例的输入参数之一。

下图展示的即为尖头手眼验证工具（Pointed Hand-Eye Verification Tool）。

手臂安装

在本教程中，我们在机器人末端执行器和尖头手眼验证工具之间使用了 Zivid On-Arm Mount Extender 和 Zivid On-Arm Mount 。这些支架增加了机器人末端执行器和尖头手眼验证工具之间的距离。您可以在下图中找到为每个安装座添加的测量值。

on-arm-mounts.yaml 文件包含了安装在机器人末端执行器和尖头手眼验证工具之间的两个支架的转换矩阵。有关安装支架的更多详细信息，请查看 on-arm camera mount datasheet 和 on-arm mount extender datasheet 。

如果您已经设置了RoboDK环境并且已连接到您的机器人，则可以跳转到为触碰测试创建捕获位姿的步骤

设置RoboDK环境 

RoboDK .rdk 文件存储了有关机器人、目标位姿和环境的信息。执行触碰测试所需的 .rdk 文件中的组件包括：

机器人模型文件（.robot）
一个目标位姿（在本教程演示的示例中，它被命名为”touch_test_pose”）
机器人环境的虚拟模型（可选）
所用相机的 CAD 模型，例如 Zivid 2 CAD file （可选）
尖头手眼验证工具的CAD模型（可选）

将机器人添加到RoboDK环境 

首先打开RoboDK程序并添加将要使用的机器人。添加机器人需要在GUI中从 File -> Open online library 打开库。通过该界面找到与您的模型匹配的机器人，将鼠标悬停在其上并选择 Open 。如果机器人没有出现在工作站中，请选择 Download 并将其拖放到.rdk环境中。 Select a robot RoboDK tutorial 中也对此进行了描述。

通过RoboDK连接到机器人 

警告

根据所用机器人的品牌，可能需要驱动程序设置才能连接到 RoboDK。有关此设置的帮助，请查看 RoboDK 文档中的机器人提示部分。例如，这是针对 ABB robots 的建议。

在运行Touch Test脚本之前，首先需要使用RoboDK的接口连接到机器人。在RoboDK GUI中导航到 Connect -> Connect Robot 。这将打开一个侧面板，您可以在其中输入机器人IP和端口号。

../../../_images/robodk-connect-to-robot.png

备注

大多数机器人的控制器或平板电脑控制器上都有远程模式。请确保您的机器人处于远程模式以便能够建立连接。

要连接到机器人，您必须知道它的IP地址，它应该可以在机器人控制面板中找到/列出。按照 connecting to the robot for RoboDK 中的步骤操作。另一个需要验证的连接是端口号。除非之前进行了更改，否则驱动程序附带的默认编号应该可以使用。

请点击 Connect ，如果 Connection status 框为绿色，则可以使用RoboDK界面控制机器人了。如果它是红色的，请确保您拥有正确的端口号和IP地址。如果它仍然是红色的，请查看本教程末尾的RoboDK故障排除章节。

为触碰测试创建捕获位姿 

了解 how to create a target in RoboDK 来保存触碰测试的捕获位姿。

可以通过两种方式使用RoboDK创建位姿：

使用示教器将机器人物理移动到所需的位姿，然后通过RoboDK连接并记录这些位姿
通过RoboDK远程移动机器人来创建和保存这些位姿

小技巧

如果您通过RoboDK移动机器人，但是机器人的移动速度太快或太慢，请查看链接 set the robot speed in RoboDK 进行调整。设置好速度后，记得右键单击您创建的程序并标记 Run on the robot ，然后再次右键单击并选择 Run。

在创建Touch Test Capture Pose之前，您必须考虑计划放置 Zivid 标定对象的位置。如果是Eye-in-Hand，请确保它位于相机的 FOV 中。如果是Eye-to-Hand，请确保机器人不会在拍照时挡住Zivid标定对象。触碰测试只需要一个位姿。您可以从下图中看到RoboDK中的显示画面。

小技巧

要控制所使用的机器人配置，请确保保存的target是joint target，而不是cartesian target。在RoboDK中右键单击target并选择joint target会将位姿转换为joint target。这也会将target的符号颜色从红色更改为绿色。

运行触碰测试 

在运行脚本之前，需要打开.rdk文件并连接到机器人。 The script can be found in the Zivid Python Samples ；它使用了如下所示的命令行参数。

Python

type_group.add_argument("--eih", "--eye-in-hand", action="store_true", help="eye-in-hand configuration")
type_group.add_argument("--eth", "--eye-to-hand", action="store_true", help="eye-to-hand configuration")
parser.add_argument("--ip", required=True, help="IP address of the robot controller")
parser.add_argument(
    "--target-keyword",
    required=True,
    help="RoboDK target name representing a robot pose at which the calibration object is in the field of view of the camera",
)
parser.add_argument(
    "--tool-yaml",
    required=True,
    help="Path to YAML file that represents the Pointed Hand-Eye Verification Tool transformation matrix",
)
parser.add_argument(
    "--mounts-yaml",
    required=False,
    help="Path to YAML file that represents the on-arm mounts transformation matrix",
)
parser.add_argument(
    "--hand-eye-yaml",
    required=True,
    help="Path to the YAML file that contains the Hand-Eye transformation matrix",
)
subparsers = parser.add_subparsers(dest="calibration_object", required=True, help="Calibration object type")
subparsers.add_parser("checkerboard", help="Verify using Zivid calibration board")
marker_parser = subparsers.add_parser("marker", help="Verify using ArUco marker")
marker_parser.add_argument(
    "--dictionary",
    required=True,
    choices=list(zivid.calibration.MarkerDictionary.valid_values()),
    help="Dictionary of the targeted ArUco marker",
)
marker_parser.add_argument(
    "--id", nargs=1, required=True, type=int, help="ID of ArUco marker to be used for verification"
)