拼接

重要

Download the example stitching Sample Data（示例数据） dataset and reference files to follow along or run the samples.

介绍 

本文是关于如何拼接 Zivid 的无序点云的深入教程。

为了理解真正的问题，我们先来简单了解一下这个应用。与任何相机或人眼一样，Zivid 相机无法透视或绕过物体，它一次只能观察一侧。因此，要获得物体的完整 3D 模型，必须通过旋转物体或重新定位相机来从多个视角捕获它。

问题 

Zivid SDK 返回的点云以相机坐标系表示，其中原点位于相机内部。从多个视角捕获时，每个点云都相对于捕获时相机的坐标系进行定义。如果只是简单地组合这些点云而不进行坐标系变换，它们将无法在空间上对齐，在 3D 空间中会显得脱节且不连贯。换句话说，这些点云并不共享与被扫描对象关联的通用坐标系。

解决方案 

要将多个点云合并为对象的单个、空间对齐的 3D 表征，您需要：

将所有点云转换为附加在被扫描物体上的通用坐标系。
优化对齐以补偿位姿估计中的任何噪音或小错误。

从每个相机坐标系到通用坐标系的变换可能来自多种来源：机器人运动学、运动跟踪系统或手动测量。然而，这些变换很少是完美的，通常会引入微小的对齐误差。要纠正这些误差，您可以使用 Experimental::Toolbox::localPointCloudRegistration()。此 API 工具通过计算一个能最佳地将一个点云配准到另一个点云的变换矩阵，来优化两个重叠点云之间的对齐。

在开始拼接点云之前，务必确保捕获的点云具有足够多的重叠特征点。此外，我们还必须丢弃可能导致拼接错误的数据，例如距离相机太远的点，或不属于我们正在拼接的物体/场景的点。我们建议在拼接前使用 Zivid 的 Region of Interest（感兴趣区域）。对于相机静止的捕获，可以定义一次感兴趣区域，并将其用于所有捕获。而使用机械臂围绕物体移动相机时，则可能需要为每个点云配置不同的感兴趣区域。或者，您也可以在机器人基坐标系中定义一个单一的工作空间 ROI 框，并在将每个点云变换到基坐标系后将其作为后处理应用。这样，无论视角如何，同一个 ROI 体积都会对每次捕获进行过滤。

备注

Zivid 样本数据中所有需要拼接的点云均已经过 ROI 过滤。

使用预对齐拼接点云 

当您能够提前估算捕获之间的相对位姿时，可以将该预对齐与局部点云配准结合使用以优化结果。预对齐的变换可以来自不同的来源，具体选择取决于您的设置：

使用机械臂（手眼标定）：相机与物体之间的相对运动由机器人提供。可能是相机安装在机器人上并围绕静止物体移动（Eye-in-Hand），也可能是相机静止不动、机器人在相机前移动物体（Eye-to-Hand）。
使用多相机标定（多台静止相机）：多台静止相机从不同角度观察同一场景。
使用从其他来源获知的变换（例如转台位姿、Zivid 标定板或 ArUco 标记）：有关如何在拼接前应用此类变换，请参阅按变换拼接。

使用机械臂（手眼标定）

本节概述了如何使用手眼标定数据和局部点云配准，拼接从相机与物体之间不同相对位姿获取的点云。这种方法同样适用于两种手眼配置：

Eye-in-Hand：相机安装在机器人上，并围绕静止物体移动。
Eye-to-Hand：相机静止不动，机器人握持并移动物体，使其位于相机前方。

本节其余部分以 Eye-in-Hand 配置为示例进行说明。该工作流程和数学原理对 Eye-to-Hand 同样适用，只是此时机器人位姿描述的是物体的位姿，而非相机的位姿。

概述和要求 

这种拼接方法可通过机械臂搭载相机围绕物体移动，从而生成该物体完整的三维点云。它特别适用于以下场景：

物体比相机的视野范围更大。
需要从多个角度对物体进行捕获，以用于检测、建模或操作。

要使用此方法，您需要一个有效的手眼标定结果。该结果通常以 hand_eye_transform.yaml 文件形式提供，该文件定义了机器人末端执行器坐标系与相机坐标系之间的转换关系。利用这一变换，可以将不同相机位姿下捕获的点云转换到同一公共坐标系中，从而实现多视角点云的精确对齐。

您需要：

一组已捕获的 Zivid 点云（ capture_*.zdf ）
一组对应的机器人位姿文件（ robot_pose_*.yaml ）——每次捕获对应一个位姿文件
从成功的手眼标定过程中获得的 hand_eye_transform.yaml

这些元素结合起来，可以让您将各个捕获的数据在统一的坐标系中进行预对齐。

拼接工作流程 

拼接过程主要包括以下几个步骤：

加载从不同机器人位姿捕获的多个点云。
加载每个位姿（ robot_pose_*.yaml ）和手眼标定结果（ hand_eye_transform.yaml ）。
使用手眼变换将每个机器人位姿转换到相机位姿。
将点云从相机坐标系转换到机器人基坐标系，对点云进行预对齐。
在基坐标系中应用工作空间 ROI 框，以从每个视角中剔除背景。
对每个点云（体素网格）进行下采样，以加快处理速度并减少噪声。
使用局部点云配准（Local Point Cloud Registration）来优化不断增加数据的已拼接点云与每个新加入点云之间的对齐精度。
（可选）重新加载原始的全分辨率点云，并应用估计的转换关系，以全分辨率进行拼接。
将最终结果导出为拼接后的 .ply 点云文件。

[Robot Arm (Pose A)] -> capture_1.zdf
[Robot Arm (Pose B)] -> capture_2.zdf
...
[Robot Arm (Pose N)] -> capture_N.zdf

Each capture is paired with:
    - robot_pose_*.yaml
    - hand_eye_transform.yaml

Apply:
    - Pre-alignment using robot pose and hand-eye calibration
    - Workspace ROI box filtering in robot base frame
    - Local point cloud registration for refinement

Output:
    - Combined and visualized point cloud
    - Optionally reload original captures for full-resolution stitching

Export:
    - Final stitched point cloud as a PLY file

工作空间 ROI 框在机器人基坐标系中定义，并在每个点云变换到基坐标系后作为后处理应用。这样可以从每个视角中过滤掉背景，而无需为每次捕获单独配置 ROI：

C++

const auto smallWorkspaceRoiBox = Zivid::Settings::RegionOfInterest::Box{
    Zivid::Settings::RegionOfInterest::Box::Enabled::yes,
    Zivid::Settings::RegionOfInterest::Box::PointO{ -150, 300, 50 },
    Zivid::Settings::RegionOfInterest::Box::PointA{ -150, 600, 50 },
    Zivid::Settings::RegionOfInterest::Box::PointB{ 150, 300, 50 },
    Zivid::Settings::RegionOfInterest::Box::Extents{ -75, 40 },
};
    auto pointCloud = frame.pointCloud();
    pointCloud.transform(baseToCameraTransform);
    pointCloud.maskByRegionOfInterest(workspaceRoiBox);

C#

var smallWorkspaceRoiBox = new Zivid.NET.Settings.RegionOfInterestGroup.BoxGroup
{
    Enabled = true,
    PointO = new Zivid.NET.PointXYZ { x = -150, y = 300, z = 50 },
    PointA = new Zivid.NET.PointXYZ { x = -150, y = 600, z = 50 },
    PointB = new Zivid.NET.PointXYZ { x = 150, y = 300, z = 50 },
};
smallWorkspaceRoiBox.Extents = new Zivid.NET.Range<double>(-75, 40);
    var pointCloud = frame.PointCloud;
    pointCloud.Transform(baseToCameraTransform);
    pointCloud.MaskByRegionOfInterest(workspaceRoiBox);

Python

small_workspace_roi_box = zivid.Settings.RegionOfInterest.Box(
    enabled=True,
    point_o=[-150, 300, 50],
    point_a=[-150, 600, 50],
    point_b=[150, 300, 50],
    extents=(-75, 40),
)
    point_cloud = frame.point_cloud()
    point_cloud.transform(base_to_camera_transform)
    point_cloud.mask_by_region_of_interest(workspace_roi_box)

局部配准（Local Registration）的工作原理 

在利用机器人位姿和手眼标定结果完成初始预对齐后，仍需进一步优化，以补偿微小的位姿误差。局部点云配准通过将每个下采样后的点云与不断增长的拼接点云（即先前已拼接的点云）进行对齐，从而提高整体精度。

在进行配准之前，所有点云都会进行体素下采样。这一步骤对于拼接过程至关重要，因为它：

降低传感器噪声，从而实现更可靠的对齐
有助于移除离群点，避免其对配准过程造成干扰
通过在不损失结构细节的前提下减少点的数量，来提升处理速度

用户在流程开始前选择拼接策略，但实际的拼接操作仅在所有转换关系估计完成之后才执行：

低分辨率拼接：使用在对齐过程中准备好的下采样点云。
高分辨率拼接：重新加载原始的全分辨率点云，并应用已估计的变换，以生成细节更丰富的最终点云。

备注

不使用体素下采样（ --full-resolution ）的拼接可生成更好细节的点云，但需要更多的内存和计算时间。

备注

在进行局部配准时，点云必须已在预对齐步骤中达到相对较好的初始对齐状态。如果初始错位过大，算法可能无法收敛，或产生不准确的结果。

参数 max_correspondence_distance 定义了在源点云和目标点云之间搜索对应点的匹配半径。该参数应满足以下要求：

大于典型的点间距（以确保能够找到正确的匹配点）
但也不能过大，以免包含错误的对应点，从而降低对齐质量

C++

auto registrationParameters = Zivid::Experimental::LocalPointCloudRegistrationParameters{
    Zivid::Experimental::LocalPointCloudRegistrationParameters::MaxCorrespondenceDistance{ 2 }
};

C#

var registrationParameters = new Zivid.NET.Experimental.LocalPointCloudRegistrationParameters();
registrationParameters.MaxCorrespondenceDistance = 2.0f;

Python

registration_params = LocalPointCloudRegistrationParameters(max_correspondence_distance=2)

下图展示了某个因尺寸超出相机视场而需要多次捕获的物体的拼接点云结果。

拼接后的低分辨率点云

拼接后的全分辨率点云

Zivid SDK 示例 

探索使用机器人搭载相机进行点云拼接的完整示例代码：

机械臂搭载相机拼接点云的准确度 

机械臂搭载相机拼接点云的准确度取决于每次单独静态捕获中的误差，以及机器人和拼接流程引入的任何误差。主要影响因素包括：

相机尺寸正确度误差 — 单次静态捕获的系统性缩放误差，针对每种相机型号进行了规定。有关定义以及如何解读数据表数值，请参阅 Zivid 规格术语。
手眼标定误差 — 相机在机器人法兰上的位姿相对于机器人末端执行器的已知准确程度，换言之，即相机坐标系到机器人法兰坐标系的变换的已知准确程度。该误差由手眼标定确定，并对安装刚性较为敏感（请参阅手臂安装方案的机械注意事项）。
机器人零位校准误差 — 机器人自身对其关节零位和连杆几何结构的了解准确程度。这是机器人本身的一项属性，因制造商、型号和个体设备而异。
机器人重复精度和绝对准确度 — 指令位姿与实际机器人位姿之间的差异。重复精度通常由机器人制造商公布；绝对准确度通常比重复精度更差，且很少公布。
拼接算法误差 — 在通过机器人位姿完成预对齐并通过局部点云配准进行优化后，仍残留的错位误差。该误差取决于重叠程度、场景纹理以及配准参数。

备注

由于非相机因素在很大程度上取决于制造商、安装方式和使用场景，Zivid 并未针对机械臂搭载相机拼接点云发布统一的准确度规格。

要最小化非相机因素的影响：

使用刚性强、低振动的安装方式，以确保相机到法兰的变换在负载和运动过程中保持恒定。刚性材料以及短而紧凑的支架都能减少形变，有助于保持该变换的恒定性。请参阅手臂安装方案的机械注意事项。
仔细执行预热、Infield Correction 和手眼标定，并在任何机械变动后重新验证这些结果。
静态捕获（曝光期间机器人保持静止），而非在运动过程中捕获。
确保相邻捕获之间有足够的重叠，以便局部点云配准能够纠正残余的错位。

使用多相机标定（多台静止相机）

当多台 Zivid 相机固定安装在场景周围的不同位置时，您可以先对它们进行一次相互标定，然后使用得到的变换矩阵拼接此后的每一次捕获。以下情况适合使用此方法：

相机相对于场景保持静止。
您希望同时（或快速连续）捕获所有视角，而不是移动单个相机。

该工作流程包含两个部分：

对相机进行相互标定；请参阅多相机标定。
使用得到的变换矩阵拼接点云；请参阅转换拼接教程。
（可选）使用局部点云配准来优化对齐；请参阅拼接工作流程。

版本历史记录 

SDK	变更
2.17.0	为 C# 添加了对本地点云配准的支持。

拼接