应用要求
料箱拣选常见于制造业的各种工厂自动化流程。料箱拣选中的工件具有不同的尺寸、材料和表面特征。对象类型和拾取后的操作决定了所需的点云质量。准确的拾取和优化的无碰撞运动规划对于搬运这些物体至关重要。此外，拾取和放置动作必须在分配的循环时间内完成。为了更深入地研究，我们将应用要求分为以下几部分：
点云质量
在半结构化料箱拣选的应用中，物体可能是堆叠摆放、单个分开摆放或者分层分隔摆放的。下一个级别的复杂性发生在散乱的物体上，称为随机料箱拾取（无需抓取），这通常需要更高质量的点云。料箱拣选应用经常涉及严格的拣选精度要求。如果目标仅涉及将物体放置到传送带、托盘或箱子里，则精度要求不高。然而，如果要将工件装载到例如数控机床中，则高拾取精度就变得至关重要。因此，开发成功的料箱拣选解决方案需要准确放置物体，以实现后续流程，例如测量、冲压操作或其他操作。
循环时间
在料箱拣选中，机器人周期通常为 10 至 15 秒，有时每个周期至少达到 5 秒。料箱拣选的时间预算通常并不严格，因为机器人单元通常不是生产线的瓶颈。因此，相机时间预算通常在 700 毫秒到 1500 毫秒之间。
检测和位姿估计算法
成功拾取物体的主要目标是准确估计机器人的拾取位姿。通常使用的算法主要依赖于 3D 数据。在某些情况下，也会使用到 2D 数据；然而，其主要目的是为人类操作员提供可视化和健全性的检查。当使用 2D 数据时，它通常用于对象分割或识别技术，通常用于圆柱体等基本几何形状。为了有效利用 2D 数据，最大限度地减少散焦、光晕和饱和伪影非常重要。要了解有关此主题的更多信息，请查看 优化彩色图像 和 2D+3D捕获策略 。相比之下，3D 数据通常用于对象分割、检测和位姿估计等任务，通常采用 CAD 模型匹配或几何匹配等技术。使用 3D 数据时，确保减少错误点和缺失点变得很重要。此外，点云中具有明显的 3D 边缘有助于算法的成功率，例如 3D 模板匹配。
物体形状和表面
让我们重点关注料箱拣选中常见的特定对象类型和场景。我们精心选择了场景类别，因为每个场景都带来了独特的挑战。因此，我们编制了一个对于每个场景在点云中保存至关重要的对象特征列表。下面概述了料箱拣选中经常遇到的这些典型的挑战性场景。
具有特征形状和几何形状的物体和场景
薄的且重叠的物体
特征：
形状
边缘
深度差异
空间分辨率
保留 2D 和 3D 边缘对于薄且重叠的物体（例如金属板材）至关重要。锐利的边缘可实现清晰的深度区分，从而轻松识别对象边界。足够的空间分辨率对于在点云中获得良好表示的 3D 边缘起着关键作用。此外，保持 3D 形状的完整性对于几何图元（例如平面）拟合等任务至关重要，这需要使用 3D 数据识别最佳拾取表面。料箱拣选中常用的算法（例如 3D 模板匹配）依赖于独特的形状和边缘特征来进行准确的识别和定位，特别是在部分遮挡的场景中。
圆柱形物体
特征：
形状
表面覆盖率
良好的表面覆盖和准确的圆柱度表示对于圆柱体的成功检测和位姿估计至关重要。以正确半径为特征的最佳圆柱度可确保准确确定拾取位姿。增加远离主轴方向的表面覆盖可以增强点云与圆柱体形状而不是平坦表面的相似度，从而提高位姿估计性能。因此，保留表面覆盖是必要的，特别是对于薄圆柱体。
微小物体和具有精细细节/小特征的物体
特征：
形状
边缘
深度差异
空间分辨率
许多物体检测和位姿估计算法依赖于独特的形状和边缘特征。空间分辨率和深度差异对于正确表示点云中的精细细节至关重要。因此，锋利的边缘和保存完好的形状至关重要，特别是在处理小物体和具有复杂特征的物体时。杆状物体和轴类物体等具有非对称属性的物体通常需要准确识别这些微小细节，才能准确确定其方向。
表面彼此相对的物体和场景
特征：
形状
表面覆盖率
由于容易受到反射伪影的影响，表面彼此相对的物体和场景具有独特的挑战。这种情况在各种场景下都可能会出现，例如，具有相对表面的 L 型物体，或者当箱中的两个扁平物体以其表面彼此相对的方式放置时。面向箱壁的平坦部件也会造成成像困难。因此，为了克服上述挑战并实现成功的定位和位姿估计，在确保足够的表面覆盖的同时保留物体的 3D 形状至关重要。
镜面和深色物体
特征：
形状
表面覆盖率
与漫反射物体相比，检测镜面物体的点云质量没有具体要求。然而，由于镜面反射，镜面场景可能具有挑战性，因为存在各种反射伪影。另一方面，深色的物体需要更多的光线才能被相机看到。最后，深色且反光的物体给成像带来了额外的挑战。因此，对于这些场景，保持物体的 3D 形状以及尽可能连续的表面覆盖尤为重要。
夹具的柔性
The quality of the point cloud is often a determining factor for the type of gripper employed. For example, if the point cloud data is highly accurate, a mechanical gripper with narrow tolerances can be utilized. Otherwise, a suction cup, which has more compliance, might be necessary. When the application allows for it, gripper compliance is introduced in bin picking to increase confidence in the success rate of a pick. This is because gripper compliance minimizes the chance of not reaching or crashing into objects and destroying them or the gripper. However, grippers in bin picking applications often don't have much compliance, especially when accurate picking and placing is required. Dimension trueness, point precision, and planarity are some factors determining the level of compliance one needs in the gripper. Therefore, cameras for bin picking are often required to be accurate.
运动规划和碰撞规避功能
料箱拣选中需要考虑的另一个因素是运动规划和碰撞规避功能。运动规划用于优化机器人拾取时的轨迹，从而节省周期时间。它通常与碰撞规避功能相结合，以避免撞到障碍物，例如箱壁、当前未拾取的物体以及其它环境限制。然后机器人会避开视觉系统看到的障碍物。在理想的世界中，视觉系统将具有对环境的精确重叠表示。然而，可能会出现伪影。这些伪影包含与现实世界不符的虚假数据或缺失数据。例如，呈现为现实中不存在的幽灵平面或浮动噪点类型的错误数据，而缺失数据则是被观测到的点云中的空洞。后者是表面覆盖不完整的结果，包含本应存在于点云中的数据。由于人为因素，碰撞规避功能可能会阻碍机器人到达目的地。因此，运动规划需要定义哪些障碍物可以安全地忽略，哪些则不能。随着来自相机的 3D 数据（即干净的点云）质量的提高，可以降低夹具的柔性要求和碰撞规避的运动规划的复杂性。
This section has reviewed the requirements for bin picking. Now, the next step is to select the correct Zivid camera based on your scene volume.