Application Requirements

빈 피킹은 제조 산업의 다양한 공장 자동화 프로세스에 적용됩니다. 빈 피킹의 공작물은 크기, 재질 및 표면 특성이 다릅니다. 개체 유형 및 선택 후 작업에 따라 필요한 포인트 클라우드 품질이 결정됩니다. 충돌 없는 정확한 선택과 최적화된 동작 계획은 이러한 물체를 처리하는 데 중요합니다. 또한 픽 앤 플레이스 동작은 할당된 주기 시간 내에 완료되어야 합니다. 더 자세히 알아보기 위해 애플리케이션 요구 사항을 다음 섹션으로 분류했습니다.

Point cloud quality

반구조화된 빈 피킹에서 객체는 쌓이거나, 개별화되거나, 레이어별로 분리될 수 있습니다. 다음 수준의 복잡성은 일반적으로 더 높은 품질의 포인트 클라우드가 필요한 랜덤 빈 선택으로 알려진 벌크 객체에서 발생합니다. 빈 피킹 애플리케이션에는 종종 엄격한 피킹 정확도 요구 사항이 포함됩니다. 목표가 단순히 물체를 컨베이어 벨트, 트레이 또는 상자에 떨어뜨리거나 놓는 것과 관련된 경우 정확도 요구 사항이 덜 까다롭습니다. 그러나 예를 들어 공작물을 CNC 기계에 로드하려는 경우 높은 피킹 정확도가 필수적입니다. 따라서 성공적인 빈 피킹 솔루션을 개발하려면 측정, 스탬핑 작업 또는 기타 품목 조작과 같은 후속 프로세스를 가능하게 하기 위해 물체를 정확하게 배치해야 할 수 있습니다.

Cycle times

빈 피킹에서 로봇 사이클은 일반적으로 10초에서 15초 사이이며 때때로 사이클당 최소 5초에 도달합니다. 빈 피킹을 위한 시간 예산은 일반적으로 로봇 셀이 제조 라인의 병목 지점이 아니기 때문에 일반적으로 엄격하지 않습니다. 따라서 카메라 시간 예산은 일반적으로 700ms에서 1500ms 범위입니다.

Detection and pose estimation algorithms

성공적인 물체 피킹을 달성하기 위한 주요 목표는 로봇의 피킹 자세를 정확하게 추정하는 것입니다. 일반적으로 사용되는 알고리즘은 주로 3D 데이터에 의존합니다. 경우에 따라 2D 데이터도 사용됩니다. 그러나 주요 목적은 운영자를 위한 시각화 및 온전성 검사입니다. 2D 데이터를 사용하는 경우 일반적으로 객체 분할 또는 인식 기술, 일반적으로 실린더와 같은 기본 기하학적 모양에 사용됩니다. 2D 데이터를 효과적으로 활용하려면 디포커스, 블루밍, 채도 아티팩트를 최소화하는 것이 중요합니다. 이 주제에 대해 자세히 알아보려면 Optimizing Color Image 및 2D + 3D Capture Strategy 을 확인하십시오. 대조적으로, 3D 데이터는 개체 분할, 감지 및 포즈 추정과 같은 작업에 활용되며 종종 CAD 모델 일치 또는 형상 일치와 같은 기술을 사용합니다. 3D 데이터를 활용할 때 잘못된 점과 누락된 점을 보충하는 것이 중요해집니다. 또한 포인트 클라우드에 고유한 3D 에지가 있으면 3D 템플릿 일치와 같은 기술 적용에 용이합니다.

Object shape and surface

빈 피킹에서 일반적으로 발생하는 특정 객체 유형과 장면에 초점을 맞추겠습니다. 우리는 각각 고유한 도전을 제시하기 때문에 장면의 범주를 신중하게 선택했습니다. 따라서 각 장면의 포인트 클라우드에서 보존해야 하는 중요한 개체 기능 목록을 작성했습니다. 다음은 빈 피킹에서 자주 발생하는 이러한 일반적인 어려운 장면에 대한 개요입니다.

Objects and scenes with characteristic shapes and geometry

Thin and overlapping objects

Features:

• Shape

• Edges

• Depth differences

• Spatial resolution

2D 및 3D 모서리를 유지하는 것은 판금 및 판금과 같이 얇고 겹치는 객체에 매우 중요합니다. 날카로운 모서리는 명확한 깊이 구분을 가능하게 하여 객체 경계를 쉽게 식별할 수 있도록 합니다. 충분한 공간 해상도는 포인트 클라우드에서 잘 표현된 3D 에지를 갖는 데 중요한 역할을 합니다. 또한, 3D 형상의 무결성을 유지하는 것은 3D 데이터를 사용하여 최적의 피킹 표면을 식별하는 것을 수반하는 기하학적 프리미티브(예: 평면)의 피팅과 같은 작업에서 매우 중요합니다. 3D 템플릿 매칭과 같이 빈 피킹에 일반적으로 사용되는 알고리즘은 특히 부분적으로 가려진 시나리오에서 정확한 인식 및 위치 파악을 위해 독특한 모양과 가장자리 특성에 의존합니다.

Cylindrical objects

Features:

• Shape

• Surface coverage

좋은 표면 커버리지와 원통의 형태의 정확한 표현은 실린더의 성공적인 감지 및 포즈 추정에 필수적입니다. 정확한 반경을 특징으로 하는 원통의 포인트 클라우드는 피킹 포즈의 정확한 결정을 보장합니다. 주축에서 멀어지는 방향으로 표면 적용 범위를 늘리면 포인트 클라우드가 평평한 표면이 아닌 원통형 모양과 유사하여 포즈 추정 성능이 향상됩니다. 따라서 특히 얇은 원통의 경우 보존된 표면 커버리지가 필요합니다.

Tiny objects and objects with fine details / small features

Features:

• Shape

• Edges

• Depth differences

• Spatial resolution

많은 객체 감지 및 포즈 추정 알고리즘은 독특한 모양과 가장자리 특성에 의존합니다. 공간 해상도와 깊이 차이는 포인트 클라우드에서 미세한 세부 사항을 적절하게 표현하는 데 중요합니다. 따라서 날카로운 모서리와 잘 보존된 모양은 특히 작은 물체와 복잡한 특징을 가진 물체를 다룰 때 필수적입니다. 비대칭 속성을 나타내는 샤프트 및 차축과 같은 객체는 방향을 정확하게 결정하기 위해 이러한 미세한 세부 사항을 정확하게 식별해야 하는 경우가 많습니다.

Objects and scenes with surfaces facing each other

Features:

• Shape

• Surface coverage

표면이 서로 마주하는 물체와 장면은 반사 아티팩트에 대한 민감성으로 인해 고유한 문제를 나타냅니다. 이러한 상황은 다양한 경우에 발생합니다. 예를 들어 표면이 마주보는 L-프로파일을 사용하거나 상자에 있는 두 개의 평평한 물체가 표면이 서로 마주보도록 배치된 경우입니다. 빈 벽을 향하는 평평한 부품도 이미징에 어려움을 겪을 수 있습니다. 따라서 위에서 언급한 문제를 극복하고 성공적인 현지화 및 포즈 추정을 달성하려면 충분한 표면 커버리지를 보장하면서 물체의 3D 모양을 유지하는 것이 중요합니다.

Specular and dark objects

Features:

• Shape

• Surface coverage

확산이 심한 어두운 물체와 비교하여 반사 물체를 감지하기 위한 포인트 클라우드 품질 측면에서 특정 요구 사항이 없습니다. 그러나 거울과 같은 반사로 인해 정반사 장면은 어려울 수 있으며 다양한 반사 아티팩트가 발생할 수 있습니다. 반면에 어두운 물체는 카메라에서 더 많은 빛을 볼 수 있어야 합니다. 마지막으로 어둡고 반사되는 물체는 이미징에 추가적인 문제를 야기합니다. 따라서 이러한 장면의 경우 표면 적용 범위가 가능한 한 연속적인 개체의 3D 모양을 유지하는 것이 특히 중요합니다.

Gripper compliance

포인트 클라우드의 품질은 종종 사용되는 그리퍼 유형을 결정하는 요소입니다. 예를 들어 포인트 클라우드 데이터가 매우 정확하면 공차가 좁은 기계식 그리퍼를 사용할 수 있습니다. 그렇지 않으면 흡착력 더 높은 흡입 컵이 필요할 수 있습니다. 애플리케이션이 허용하는 경우 빈 피킹에 그리퍼 규정 준수가 도입되어 피킹 성공률에 대한 확신을 높입니다. 이는 그리퍼 준수가 물체에 도달하거나 물체에 충돌하지 않고 물체나 그리퍼를 파괴할 가능성을 최소화하기 때문입니다. 그러나 빈 피킹 응용 분야의 그리퍼는 특히 정확한 배치 및 배치가 필요한 경우 규정 준수가 많지 않은 경우가 많습니다. Dimension trueness, Point precisio 및 Planarity은 그리퍼에서 필요한 규정 준수 수준을 결정하는 몇 가지 요소입니다. 따라서 빈 피킹을 위한 카메라는 보다 정확한 포인트 클라우드를 제공해야 합니다.

Motion planning and collision avoidance

빈 피킹에서 고려해야 할 추가 요소는 동작 계획 및 충돌 방지입니다. 동작 계획은 피킹하는 동안 로봇의 궤적을 최적화하여 주기 시간을 절약하는 데 사용됩니다. 빈 벽, 현재 선택되지 않은 물체 및 기타 환경 제한과 같은 장애물에 충돌하는 것을 방지하기 위해 종종 충돌 방지와 쌍을 이룹니다. 그러면 비전 시스템에 보이는 장애물이 로봇에 의해 회피됩니다. 이상적인 세계에서 비전 시스템은 있는 그대로의 환경을 정확히 중첩하여 표현합니다. 그러나 포인트 클라우드에서 아티팩트가 발생할 수 있습니다. 이러한 아티팩트는 실제 세계와 일치하지 않는 거짓 데이터 또는 누락된 데이터로 구성됩니다. 예를 들어 잘못된 데이터는 현실에 존재하지 않는 평면(Ghost plane)이나 떠다니는 얼룩으로 보이는 반면, 누락된 데이터는 포인트 클라우드의 구멍으로 보입니다. 후자는 불완전한 표면 적용 범위의 결과이며 포인트 클라우드에 있어야 하는 데이터로 구성됩니다. 아티팩트로 인해 충돌 방지는 로봇이 목적지에 도달하는 것을 방해할 수 있습니다. 따라서 동작 계획에서는 무시해도 되는 장애물과 그렇지 않은 장애물을 정의해야 합니다. 카메라의 3D 데이터 품질이 향상되어(예: 깨끗한 포인트 클라우드) 그리퍼 컴플라이언스의 복잡성과 충돌 방지를 통한 모션 계획을 줄일 수 있습니다.

이번 튜토리얼에서는 Piece Picking에 대한 요구 사항을 검토했습니다. 이제 다음 단계는 장면 볼륨을 기준으로 select the correct Zivid camera 에 대한 내용입니다.