Application Requirements

Piece picking은 빈과 토트에서 개별 항목을 정확하게 선택하고 배치하는 작업을 포함합니다. 종종 SKU라고 하는 수백만 개의 서로 다른 품목은 모양, 크기 및 재료가 다양합니다. 비전 시스템은 이러한 모든 SKU에 대해 고품질 포인트 클라우드 데이터를 제공할 수 있어야 합니다. 동시에 로봇 시스템은 짧은 주기 시간과 높은 처리 속도를 보장해야 합니다. 데이터 품질이 만족스럽고 솔루션이 시간 효율적인 라인을 찾는 것은 성공적인 애플리케이션을 위해 매우 중요합니다.

물체를 성공적으로 선택하기 위한 주요 목표는 로봇의 정확한 피킹 포즈를 계산하는 것입니다. 2D 데이터와 3D 데이터 모두 피킹 포즈를 찾는 데 도움이 됩니다. 2D에서 개체 분할 또는 인식은 일반적으로 예를 들어 템플릿 일치 또는 기계 학습 네트워크를 사용하여 수행됩니다. 2D 데이터를 활용하기 위해서는 디포커스, 블루밍, 채도를 최소화하는 것이 특히 중요합니다. 3D에서 개체 분할, 감지 또는 포즈 추정은 일반적으로 CAD 모델 일치, 기계 학습 네트워크 또는 형상 일치와 함께 수행됩니다. 3D 데이터를 활용하기 위해서는 오점 및 누락점을 최소화하는 것이 중요합니다. 보다 포괄적인 이해를 위해 애플리케이션 요구 사항을 다음 섹션으로 분류했습니다.

Cycle times

Piece picking에서 로봇 주기는 일반적으로 3~4초 범위이며 로봇당 1000개가 넘는 품목의 시간당 피킹 속도에 도달합니다. 로봇이 물건을 놓는 동안 비전 시스템은 로봇이 돌아오기 전에 다음 피킹 포즈를 캡처, 처리 및 계산해야 합니다. 이것은 시간 예산을 엄격하게 만듭니다. 카메라 시간 예산 범위는 일반적으로 350ms에서 700ms입니다.

Object shape and surface

오늘날 Piece picking은 물류 산업의 다양한 사용 사례에 적용되고 있습니다. 따라서 취급해야 하는 제품의 종류가 다양합니다. 이제 이러한 물체와 장면 중 일부에 초점을 맞추겠습니다. 제시된 장면 범주는 각각 개별 유형의 도전을 구성하기 때문에 직접 선택됩니다. 따라서 우리는 각 장면에 대해 보존하는 데 특히 중요한 개체 기능을 나열합니다. Piece picking에서 나타나는 전형적인 도전적인 장면은 다음과 같습니다.

Textured scenes

Features:

• Gaps

• Depth differences

• Transitions

• Shape

이러한 장면의 경우 2D 및 3D 가장자리를 유지하는 것이 가장 중요합니다. 날카로운 모서리는 촘촘하게 쌓인 물체 사이의 간격을 명확하게 볼 수 있게 하고 겹치는 얇은 물체에 대한 깊이 차이를 명확하게 합니다. 즉, 한 개체가 끝나는 위치와 다른 개체가 시작되는 위치를 쉽게 확인할 수 있습니다. 이는 2D 및 3D 모두에서 감지 및 세분화 알고리즘에 중요합니다. 예를 들어 3D 형상은 3D 데이터를 사용하여 탐지 알고리즘을 위한 평면 맞춤을 수행할 수 있도록 유지하는 것도 중요합니다. 2D 감지의 경우 텍스처도 보존해야 합니다. 즉, 채도, 블루밍 및 헐레이션을 최소화해야 합니다.

Scene: Closely stacked objects	Scene: Thin, overlapping objects
Features: Gaps	Features: Depth differences

Scene: Wrinkled, deformable objects, and very dark objects	Scene: Tiny objects
Features: Transitions	Features: Shape

Reflective scenes

Features:

• Shape

• Surface coverage

이러한 장면에서는 개체의 3D 모양을 유지하는 것이 중요합니다. 표면 피복도 가능한 한 연속적이어야 합니다. 이것은 특히 3D 감지 알고리즘에 중요합니다. 2D 감지 및 개체 분할의 경우 가장자리가 선명하고 눈에 띄어야 합니다. 또한 2D에서 개체 감지를 보장하려면 텍스처도 보존해야 합니다. 즉, 채도, 블루밍 및 헐레이션을 최소화해야 합니다.

Scene: Objects in poly bags	Scene: Highly reflective objects
Features: Surface coverage	Features: Shape and surface coverage

Scene: Objects in transparent packing	Scene: Objects in bubble wrap
Features: Surface coverage	Features: Surface coverage

Transparent scenes:

Features:

• Surface coverage

• Shape

투명 및 반투명 물체는 Piece Picking 어플리케이션에서 식별하기 가장 어려운 물체 중 하나입니다. 이러한 개체는 잘 정의된 가장자리와 표면 기능이 부족한 경우가 많으며 데이터에 노이즈가 많고 고르지 않을 수 있습니다. 이로 인해 실제 모양을 표현하기 어렵고 많은 물체 감지 및 포즈 추정 알고리즘에서 이를 올바르게 식별하기가 어렵습니다. 이러한 물체를 성공적으로 감지하고 선택하려면 좋은 표면 적용 범위를 갖는 것이 중요합니다. 조명 조건, 배경 및 캡처 각도는 성공적인 선택을 위해 고려해야 하는 다른 요소입니다.

Gripper compliance

포인트 클라우드의 품질은 종종 사용되는 그리퍼 유형을 결정하는 요소 중 하나입니다. 예를 들어 포인트 클라우드 데이터가 매우 정확하면 공차가 좁은 기계식 그리퍼를 사용할 수 있습니다. 그렇지 않으면 순응도가 더 높은 흡입 컵이 필요할 수 있습니다. Piece Picking 어플리케이션의 물체, 모양, 크기 및 재료가 매우 다양하기 때문에 흡입 컵이 일반적으로 사용됩니다. 이 추가 규정 준수는 물체에 도달하거나 물체에 충돌하지 않고 물체나 그리퍼를 파괴할 가능성을 최소화합니다. Dimension Trueness, Point Precision 및 Planarity은 그리퍼에서 필요한 규정 준수 수준을 결정하는 다른 요소입니다.

Motion planning and collision avoidance

Piece Picking에서 고려해야 할 추가 요소는 동작 계획 및 충돌 방지입니다. 동작 계획(motion planning)은 피킹하는 동안 로봇의 궤적을 최적화하여 주기 시간을 절약하는 데 사용됩니다. 빈 벽, 현재 선택되지 않은 물체 및 기타 환경 제한과 같은 장애물에 충돌하는 것을 방지하기 위해 종종 충돌 방지와 결합됩니다. 그러면 비전 시스템에 보이는 장애물이 로봇에 의해 회피됩니다. 이상적인 환경에서 비전 시스템은 있는 그대로의 환경을 정확히 중첩하여 표현합니다. 그러나 아티팩트 즉 왜곡이 발생할 수 있습니다. 이러한 아티팩트는 실제 상태와 일치하지 않는 거짓 데이터 또는 누락된 데이터로 구성됩니다. 예를 들어 잘못된 데이터는 현실에 존재하지 않는 유령 평면이나 떠다니는 포인트들로 보이는 반면, 누락된 데이터는 포인트 클라우드의 구멍으로 보입니다. 후자는 불완전한 표면 적용 범위의 결과이며 포인트 클라우드에 있어야 하는 데이터로 구성됩니다. 아티팩트로 인해 충돌 회피는 로봇이 목적지에 도달하는 것을 방해할 수 있습니다.따라서 동작 계획에서는 무시해도 되는 장애물과 그렇지 않은 장애물을 정의해야 합니다. 카메라의 3D 데이터 품질이 향상됨에 따라 그리퍼 컴플라이언스의 복잡성과 충돌 방지를 통한 모션 계획을 줄일 수 있습니다.

이 섹션에서는 Piece Picking 요구 사항을 검토했습니다. 다음 단계는 장면 볼륨을 기준으로 select the correct Zivid camera 을 확인하십시오.