应用要求

每个机器人每小时拣选1000件或更多物品被认为是可行的,那么机器人循环时间在3到4秒之间。假设相机是固定安装的,当机器人放置物品时,视觉系统会同时捕获和处理数据以计算下一个拾取位姿。通常,相机的时间预算在350到700毫秒之间,具体取决于所处理的项目。要达到单品拣选的典型要求,您必须找到数据质量足够好的方案,这样的解决方案才能兼顾效率和成功率。

为了成功拾取物体,需要为机器人计算出一个准确的拾取位姿。 2D和3D数据都可用于查找拾取姿势。在2D中,通常使用诸如模板匹配或机器学习网络来完成对象分割或识别。对于2D数据的应用,最大限度地减少散焦、光晕和饱和度尤为重要。在3D中,通常使用例如CAD模型匹配、机器学习网络或几何匹配来完成对象分割,检测或位姿估计。对于3D数据的应用,重要的是尽量减少错误点和缺失点的出现。

如今,单品拣选已应用于物流行业中的各种用例。因此,需要处理的产品种类繁多。现在,我们将重点关注其中的一些对象和场景。这里展示的场景类别是经过精心挑选的,因为它们各自构成了不同类型的挑战。因此,我们列出了各种场景中尤为重要的应予保留的对象特征。单品拣选中的典型挑战性场景有:

包含纹理的场景

堆叠的

薄的

Scene: Closely stacked objects

Scene: Thin, overlapping objects

Features: Gaps

Features: Depth differences

有皱褶的

微小的

Scene: Wrinkled, deformable objects, and very dark objects

Scene: Tiny objects

Features: Transitions

Features: Shape

对于这些场景,最重要的是保留2D和3D图像的边缘。锐利的边缘使人们能够清楚地看到,例如,紧密堆叠的物体之间的间隙,以及重叠摆放的薄物体的深度差异。这意味着很容易看出一个对象在哪里结束,另一个对象从哪里开始。这对于2D和3D中的检测和分割算法都很重要。保持物体的3D形状也很重要,因为它能够使用3D数据进行检测和位姿估计算法的平面拟合。对于2D检测,还应保留其纹理,即最小化饱和度和光晕。

反光场景

塑料袋

反光的

Scene: Objects in poly bags

Scene: Highly reflective objects

Features: Surface coverage

Features: Shape and surface coverage

透明的

气泡膜包装

Scene: Objects in transparent packing

Scene: Objects in bubble wrap

Features: Surface coverage

Features: Surface coverage

对于这些场景,保持物体的3D形状是非常重要的,表面覆盖也应尽可能连续,这对于3D检测算法尤为重要。对于2D检测和对象分割算法,边缘应该清晰可见。此外,为确保能够在2D中进行对象检测,还应保留其纹理,即最小化饱和度和光晕。

夹具顺应性,运动规划和碰撞规避

在单品拣选应用中需要考虑的其它因素包括机器人夹具的顺应性和运动规划以及碰撞规避。此类应用中通常会使用顺应性的夹具以增加拾取的成功率,这是因为夹具的顺应性能够最大程度地减少了无法触及,或碰撞到物体并损坏它们或者夹具的可能性。尺寸准确度、点精度和平面度是决定夹具所需顺应性等级的因素。此外,可通过运动规划功能来优化机器人的拾取轨迹,从而节省循环时间。运动规划通常与碰撞规避结合使用,以避免撞到障碍物,比如料箱侧壁、非拾取目标的其它物体和其他环境限制。这样机器人就可以避开视觉系统看到的障碍物了。在一个理想的世界中,视觉系统可以对环境进行精确的重现。但是实际情况是一定会有伪影出现。这些伪影包括与真实世界不符的虚假的或”缺失”的数据。例如,观察到的虚假数据表现为的现实中不存在的幽灵面或悬浮的斑点,而缺失数据的则表现为点云中的孔洞。后者是表面覆盖不完整的结果,包含本应存在于点云中的数据。由于伪影的影响,碰撞规避功能可能会阻碍机器人到达其目标位置。因此,运动规划需要定义哪些障碍物可以安全地忽略,哪些不可以。随着来自相机的2D和3D数据质量的提高,可以降低夹具顺应性和运动规划以及碰撞规避的复杂度。

本章节讨论了单品拣选应用的要求。现在,下一步是根据场景立体空间的要求 选择合适的Zivid相机