应用要求

单品拣选涉及从箱子中精确拣选和放置单个物品。数以百万计的不同商品（通常称为 SKU）的形状、尺寸和材料各不相同。视觉系统必须能够为所有这些 SKU 提供高质量的点云数据。同时，机器人系统必须确保低循环时间和高吞吐率。找到数据质量令人满意且解决方案高效的线路对于成功的应用至关重要。

为了成功拾取物体，需要为机器人计算出一个准确的拾取位姿。 2D 和 3D 数据都可用于查找拾取位姿。在 2D 中，通常使用诸如模板匹配或机器学习网络来完成对象分割或识别。对于 2D 数据的应用，最大限度地减少散焦、光晕和饱和度尤为重要。在 3D 中，通常使用例如 CAD 模型匹配、机器学习网络或几何匹配来完成对象分割，检测或位姿估计。对于 3D 数据的应用，重要的是尽量减少错误点和缺失点的出现。为了更全面的理解，我们将应用需求分为以下几个部分：

循环时间

在单品拣选中，机器人周期一般在 3 至 4 秒之间，即每个机器人每小时拣选超过 1000 件物品。当机器人放置物品时，视觉系统应在机器人返回之前捕获、处理和计算下一个拾取位姿。这使得时间预算变得严格。相机时间预算通常在 350 毫秒到 700 毫秒之间。

物体形状和表面

如今，单品拣选已应用于物流行业中的各种用例。因此，需要处理的产品种类繁多。现在，我们将重点关注其中的一些对象和场景。这里展示的场景类别是经过精心挑选的，因为它们各自构成了不同类型的挑战。因此，我们列出了各种场景中尤为重要的应予保留的对象特征。单品拣选中的典型挑战性场景有：

包含纹理的场景

特征：

  • 间隙

  • 深度差异

  • 过渡

  • 形状

对于这些场景，最重要的是保留2D和3D图像的边缘。锐利的边缘使人们能够清楚地看到，例如，紧密堆叠的物体之间的间隙，以及重叠摆放的薄物体的深度差异。这意味着很容易看出一个对象在哪里结束，另一个对象从哪里开始。这对于2D和3D中的检测和分割算法都很重要。保持物体的3D形状也很重要，因为它能够使用3D数据进行检测和位姿估计算法的平面拟合。对于2D检测，还应保留其纹理，即最小化饱和度和光晕。

Closely stacked objects with small gaps Closely stacked objects with small gaps
Thin, overlapping objects with small depth differences Thin, overlapping objects with small depth differences
Wrinkled, deformable and dark objects Wrinkled, deformable and dark objects
Tiny objects with complex shapes Tiny objects with complex shapes

Piece picking scenes displaying gaps, depth differences, transitions and shapes

反光场景

特征：

  • 形状

  • 表面覆盖率

对于这些场景，保持物体的3D形状是非常重要的，表面覆盖也应尽可能连续，这对于3D检测算法尤为重要。对于2D检测和对象分割算法，边缘应该清晰可见。此外，为确保能够在2D中进行对象检测，还应保留其纹理，即最小化饱和度和光晕。

Polybags needing surface coverage Polybags needing surface coverage
Reflective objects needing surface coverage and shape preservation Reflective objects needing surface coverage and shape preservation
Transparent packaging needing surface coverage Transparent packaging needing surface coverage
Bubble wrap needing surface coverage Bubble wrap needing surface coverage

Piece picking scenes requiring surface coverage and shape preservation

透明场景：

特征：

  • 表面覆盖率

  • 形状

透明和半透明物体是在单件拣选应用中需要识别的最具挑战性的物体之一。这些对象通常缺乏明确的边缘和表面特征，并且数据可能充满噪点且不完整。这使得很难表征它们的真实形状，并且对于许多对象检测和位姿估计算法来说，很难正确地识别它们。良好的表面覆盖对于成功检测和拾取这些物体至关重要。照明条件、背景和拍摄角度是确保成功拣选的其他因素。

夹具柔性

点云的质量通常是所采用的夹具类型的决定因素。例如，如果点云数据高度准确，则可以使用具有窄公差的机械夹具。否则，可能需要具有更高柔性的吸盘。由于单件拣选应用中的物体、形状、尺寸和材料多种多样，因此通常使用吸盘。这是因为夹具的柔性最大限度地减少了无法触及或撞到物体并损坏物体或夹具的可能性。尺寸准确度、点精确度和平面度是决定夹具所需柔性水平的一些因素。

运动规划和碰撞规避功能

单品拣选中需要考虑的另一个因素是运动规划和碰撞规避功能。运动规划用于优化机器人拾取时的轨迹，从而节省周期时间。它通常与碰撞规避功能相结合，以避免撞到障碍物，例如箱壁、当前未拾取的物体以及其它环境限制。然后机器人会避开视觉系统看到的障碍物。在理想的世界中，视觉系统将具有对环境的精确重叠表示。然而，可能会出现伪影。这些伪影包含与现实世界不符的虚假数据或缺失数据。例如，呈现为现实中不存在的幽灵平面或浮动噪点类型的错误数据，而缺失数据则是被观测到的点云中的空洞。后者是表面覆盖不完整的结果，包含本应存在于点云中的数据。由于人为因素，碰撞规避功能可能会阻碍机器人到达目的地。因此，运动规划需要定义哪些障碍物可以安全地忽略，哪些则不能。随着来自相机的 3D 数据质量的提高，可以降低夹具的柔性要求和碰撞规避的运动规划的复杂性。

本章节讨论了单品拣选应用的要求。现在，下一步是根据场景立体空间的要求 选择合适的Zivid相机 。