Hand-Eye GUI

Introduction

이 가이드에서는 Python 샘플과 RoboDK를 사용하여 설정부터 보정 및 검증까지 Zivid Hand-Eye GUI를 안내합니다.

Hand-Eye system configurations

Prerequisites and Setup

Hardware setup:

  • Zivid camera connected to the PC

  • Zivid Calibration Object

  • [선택 사항] RoboDK 로봇 라이브러리의 디지털 트윈을 갖춘 로봇

  • [선택 사항] PC에 연결된 로봇

Initialization

  1. 카메라 선택: 연결된 카메라 중 하나를 선택하세요. 펌웨어 업그레이드가 필요한 경우 다음 단계에서 안내가 표시됩니다.

Hand-Eye GUI camera choice window

2. Select a camera setting: Choose the settings that will be used for the hand-eye calibration. We recommend using the same settings as your final application.

Hand-Eye GUI preset choice window

미리 정의된 YAML 설정 파일을 로드하려면 “Do Not Use” 을 클릭하세요. 그러면 파일 브라우저가 열리고 YAML 파일을 직접 선택할 수 있습니다. 파일 로드를 거부하면 Vision EngineSampling (3D) 선택하라는 메시지가 표시됩니다.

Hand-Eye GUI preset choice window

일반적으로 사용하는 동안 GUI에서 나중에 설정 파일을 로드할 수도 있습니다.

3. Select the setup type: Choose the hand-eye calibration type based on your system configurations and the Zivid Calibration Object you will use.

Hand-Eye GUI - hand eye settings window
  1. 회전 표현 형식 선택: 로봇에 맞는 회전 형식과 단위를 선택하세요. 목록에서 로봇을 선택하거나 설정을 직접 구성할 수 있습니다. 아래 표에는 널리 사용되는 로봇이 포함되어 있지만 모든 형식이 지원됩니다.

    포즈 표현과 포즈 표현 간 변환 방법에 대한 자세한 내용은 다음을 참조하세요: Pose Conversions

Hand-Eye GUI robot choice window

참고

RoboDK가 구성되지 않았거나 로봇이 연결되지 않은 경우에도 GUI를 사용할 수 있습니다. 단, 이 경우 카메라 관련 기능만 사용할 수 있습니다. 로봇 연결이 필요한 기능은 로봇이 제대로 구성되고 연결될 때까지 비활성화됩니다.

초기화 과정 후 GUI에서 기능(예: WARMUP)을 선택할 때마다 오른쪽 상단에 단계별 체크리스트가 나타납니다. 이 체크리스트는 작업을 완료하기 위한 정확한 작업 순서를 설명하며, 순서대로 따라야 합니다.

Warmup

최적의 정확도를 위해 보정하기 전에 카메라가 예열되었는지 확인하세요.

Hand-Eye GUI warmup window

자세한 내용은 Camera warmup guide 를 참조하세요.

Infield Correction

최상의 결과를 얻으려면 핸드-아이이 교정을 하기 전에 Infield Correction을 적용하세요.

Hand-Eye GUI Infield Correction window

자세한 내용은 Infield Correction 을 참조하세요.

Calibration

Run the hand-eye calibration procedure using the GUI by following the instructions in the Tutorial section (top right).

Hand-Eye GUI - Hand Eye calibration window

자세한 내용은 Hand-Eye Calibration Process 을을 참조하세요.

Verification

After performing hand-eye calibration, it’s essential to validate the accuracy of the transformation between the camera and robot coordinate systems. The GUI has several complementary methods to ensure the calibration is precise and reliable:

Verification by Touch Test

This method involves specifying the end-effector tool’s physical dimensions, including the tool tip offset. A Zivid camera captures the scene, and an ArUco marker (with known type and dictionary) is detected. Its 3D pose is estimated in the camera frame and transformed into the robot base frame using the hand-eye calibration. The robot then physically touches the marker’s center with the end-effector.

도구 사양 및 자세한 테스트 지침은 다음을 참조하세요: Touch test procedure.

Hand-Eye GUI verification by touch test

아래 이미지에서는 터치 테스트를 통한 검증에서 예상되는 결과를 볼 수 있습니다.

Verification by Projection

카메라는 Zivid 캘리브레이션 보드의 알려진 체커보드 모서리에 녹색 원을 투사합니다.

  1. The test is initialized by instructing the system where the calibration object is located in the robot coordinate system. This is done through an initial capture, using the known pose of the robot and the hand-eye transformation matrix.

  2. 각 연속적인 로봇 포즈에 대해 카메라 좌표계에서 캘리브레이션 보드의 위치가 계산됩니다. 이는 다음을 사용하여 계산됩니다.

    • robot pose

    • 로봇 좌표계에서 교정 대상의 알려진 위치

    • hand-eye transformation matrix

  3. 계산된 캘리브레이션 대상의 위치는 프로젝터 이미지 평면에 투영되고, 이후 프로젝터를 사용하여 다시 물리적 장면으로 투영됩니다.

투영 과정에 대한 자세한 내용은 2D Image Projection 을을 참조하세요.

Hand-Eye GUI verification by projection

아래 이미지에서는 투영 검증에서 예상되는 결과를 볼 수 있습니다.

Verification by Stitching

For each robot pose, a 3D point cloud is captured with the Zivid camera and transformed into the robot base frame using the hand-eye transformation matrix. Repeating this across poses and merging the transformed clouds into a common frame creates a stitched scene. Accurate calibration yields a clean reconstruction with checkers accurately aligned, while poor calibration results in artifacts like offsets or misalignments between the checkers.

Hand-Eye GUI verification by stitching

If your verification was satisfactory, check out:

If you are unsatisfied with the hand-eye calibration results, check out one of the following articles: