Dealing with Highlights and Shiny Objects

Introduction 

이 기사에서는 매우 반짝이는 물체의 포인트 클라우드를 캡처할 때 발생할 수 있는 하이라이트를 처리하는 특정 문제와 이를 처리하는 방법에 대해 설명합니다. 상호반사(interreflection) 및 저조도 이미징에 대한 주제는 이 세션에서 다루지 않습니다.

반짝이는 물체가 있는 경우 해당 물체의 특정 영역이 Zivid 카메라의 프로젝터에서 이미징 센서로 직접 반사될 가능성이 있습니다. 이 물체가 극도로 반사적이면 반사광의 양이 이미지의 다른 광원보다 수천 배 더 강할 수 있습니다. 그러면 픽셀이 과포화될 수 있습니다. 이러한 영역의 예는 아래 두 이미지에서 볼 수 있습니다.

과포화 픽셀은 종종 주변 픽셀에 빛을 “bleed” 합니다.(영향을 미칩니다.) 이 렌즈 흐림 현상으로 인해 Contrast Distortion Artifact 이 발생할 수 있습니다. 이 효과는 검은색에서 흰색으로의 전환되는 영역과 반짝이는 실린더에서 확인할 수 있습니다. 아래 이미지를 참조하십시오.

Try switching to Stripe Engine 

One of the camera settings you can control is the Vision Engine. By default for Zivid 2, it is set to Phase Engine, but changing it to Stripe Engine can significantly improve the point cloud quality in scenes with shiny objects. The Stripe Engine has a higher dynamic range, making it more tolerant to highlights and interreflections.

Omni Engine으로 바꿔보십시오.

참고

Omni Engine은 Zivid 2+에서만 사용할 수 있습니다.

The Omni Engine 은 Stripe Engine보다 더 높은 동적 범위와 더 큰 패턴 세트를 가지고 있어 Stripe Engine에서 부족했던 포인트 클라우드 품질을 향상시킵니다. 상호 반사 아티팩트 또는 누락된 데이터를 제공하는 장면에서 개선되지만 가장자리와 더 미세한 세부 사항을 어느 정도 부드럽게 할 수도 있습니다.

Try switching reflection filter mode to Local 

제어할 수 있는 또 다른 설정은 Reflection Filter 입니다. 이 필터에는 Global 과 Local 의 두 가지 모드가 있습니다. Global 이 기본으로 설정되어 있고, Local 으로 전환하면 일반적으로 고스트 평면 및 하이라이트와 같은 반사 아티팩트를 제거하는 데 더 좋기 때문에 포인트 클라우드 품질이 향상될 수 있습니다.


Reflection Filter disabled (ghost plane)	Reflection Filter enabled - Global mode (smaller ghost plane)	Reflection Filter enabled - Local mode (no ghost plane)

Local 은 Global 에 비해 outliers 기능에 약화됨으로 다음이 필요할 수 있습니다. Outlier Filter 에서 설정값을 조정합니다.


Reflection Filter - Global mode (less outliers)	Reflection Filter - Local mode (more outliers)

힌트

반사 필터의 Local 모드는 floating 포인트들을 남길 수 있습니다. 이것은 Cluster Filter 를 사용해서 보상할 수 있습니다.

Check if the projector causes the highlight 

하이라이트가 위 이미지에 예시된 것처럼 Zivid 프로젝터로 인해 발생했는지 확인하기 위해 몇 가지 간단한 방법을 사용할 수 있습니다.

2D 이미지를 확인하고 하이라이트가 발생하는 표면의 다양한 각도를 고려하십시오. 이 방법은 약간의 연습이 필요합니다.
추가 이미지를 촬영하여 다양한 확인을 진행합니다. 프로젝터 밝기를 0으로 설정하여 프로젝터 조명을 없애거나, 예를 들어 손으로 프로젝터 렌즈를 가리고 두 번째 이미지를 캡처하십시오. 두 번째 이미지에서 하이라이트가 사라지면 하이라이트의 빛이 프로젝터에서 온 것이라는 결론을 내릴 수 있습니다.

Maximize the dynamic range of the 3D sensor to capture highlights 

반짝이는 물체의 좋은 포인트 클라우드를 얻으려면 하이라이트와 로우라이트를 모두 캡처할 수 있어야 합니다. Zivid 3D 카메라는 다이나믹 레인지가 넓어 어둡거나 밝은 물체를 모두 촬영할 수 있습니다.

매우 어려운 장면(아래와 같이)은 일반적으로 3개 이상의 HDR 획득이 필요합니다. 도전적인 장면에는 일반적으로 다음이 포함되어야 합니다.

가장 강한 하이라이트를 커버하기 위한 1-2개의 획득(매우 낮은 노출).
장면의 대부분을 포함하는 1-2개의 획득(중간 노출).
가장 어두운 영역을 커버하기 위한 1-2개의 획득(매우 높은 노출).

다음 두 가지 원칙을 적용해야 합니다.

노출을 매우 낮게 유지하십시오.
투영된 패턴 진폭을 이미징 센서의 동적 범위 내에서 유지하려면 프로젝터 밝기를 줄여야 할 수도 있습니다.

원칙적으로 프로젝터 밝기를 제한하여 달성하려는 것은 과포화 영역에서 건강한 영역으로 신호를 다시 가져오는 것입니다. 이것은 아래 그림에 설명되어 있습니다.

이제 하이라이트를 캡처하는 데 집중할 것입니다. 위에서 설명한 방법을 사용하여 장면에서 극단적인 하이라이트를 식별했다고 가정합니다. 절차 전반에 걸쳐 How to Get Good 3D Data on a Pixel of Interest 에 설명된 절차에 따라 하이라이트가 실제로 과다 노출되었는지 확인합니다. .

아래의 장면을 가정해 봅시다.

장면의 4개 실린더 중 2개에서 2개의 강력한 하이라이트를 명확하게 볼 수 있습니다.

Find the lowest imaging sensor exposure

먼저 프로젝터의 노출을 처리하기 전에 이미징 센서의 노출을 조정합니다. 노출은 아래 설명된 방법을 사용하여 찾을 수 있습니다.

Set brightness to default
최소화된 카메라 노출로 단일 획득 캡쳐(single acquisition) 사용:
1. 유틸리티 주파수에 따라 노출 시간을 8333 또는 10000으로 설정하십시오(참조 Exposure Time).
2. Gain을 1로 설정합니다.
3. f-number를 32로 설정합니다.
f-number를 1-2단계 증가시키고 각 단계에 대한 이미지를 캡처합니다. 각 캡처에 대해 포인트 클라우드와 2D 이미지를 관찰합니다. 포인트 클라우드가 몇 개의 포인트를 드러내고 이미지가 과다 노출된 픽셀을 포함하지 않고 완전히 어둡게 나타나기 시작하면 이것이 우리의 highlight acquisition 이 됩니다.

아래 비디오는 가장 낮은 이미징 센서 노출을 찾는 방법을 보여줍니다.

Compensate for projector highlights

하이라이트 프레임에서 하이라이트 지점이 여전히 너무 크고 강렬하다는 점을 고려하십시오. 이 영역의 데이터를 개선해야 하는 경우 다음 단계는 프로젝터 밝기로 인한 하이라이트 부분을 줄이는 것입니다.

참고

In most applications, it is not necessary with a projector-compensated highlight frame.

highlight acquisition 을 복제합니다. 이렇게 하면 highlight acquisition 과 동일한 설정으로 획득이 추가됩니다. 이제 두 개의 동일한 활성 획득을 갖게 됩니다.
두 획득 중 두 번째를 비활성화합니다. 우리는 첫 번째 작업을 할 것입니다.
프로젝터의 밝기를 2배로 줄이고 다른 이미지를 캡처합니다(예: 밝기를 1.0에서 0.5로 또는 0.5에서 0.25로 줄임). 하이라이트가 작은 반점으로 줄어들 때 두 번째 하이라이트 획득을 찾았습니다.

조심

아래에서 프로젝터 밝기를 사용하지 마십시오. 0.25!

아래 비디오는 두 번째 하이라이트 획득을 찾는 예를 보여줍니다.

Expose the rest of the scene

이제 하이라이트 대상으로 두 개의 획득이 있으므로 나머지 장면을 계속 노출할 수 있습니다.

이에 대해 진행하는 방법에 대한 다른 자습서를 따르는 것이 좋지만 아래 비디오에는 간단한 방법이 하나 나와 있습니다.

이 예에서는 장면의 대부분에 대한 데이터를 수집할 때까지 모든 추가 수집에 대해 노출을 +3스탑씩 늘리고 있습니다. 히스토그램에서 대부분의 픽셀이 최종적으로 32에서 255 사이에 노출되었음을 알 수 있습니다. 전체 캡처 시간은 약 1초입니다.

Deal with the contrast distortion 

Contrast Distortion을 처리하는 방법은 크게 두 가지가 있습니다. 카메라의 다이내믹 레인지를 최대화하여 효과를 줄이고 전략적인 영역에 카메라를 배치할 수 있습니다. 그리고나서 왜곡의 영향을 받은 포인트들을 Contrast Distortion Filter 를 사용하여 수정/제거할 수 있습니다.

Rotate and align objects in the scene

가장 먼저 기억해야 할 것은 이것이 3D 센서의 x축에서 발생하는 효과라는 것입니다. 응용 프로그램에서 카메라의 y축에서 문제가 있는 영역을 x축으로 회전할 수 있는 경우 대비 왜곡 효과를 크게 완화할 수 있습니다. 예를 들어 반짝이는 실린더를 90° 회전하면 실린더를 따라 과다 노출된 영역이 아래 그림과 같이 카메라의 Baseline 방향으로 정렬됩니다.

대비 왜곡 효과를 완화하기 위해 실린더의 "good" 각도를 보여주는 이미지입니다.

Match the background’s reflectivity to the specific object’s reflectivity

경험상 좋은 규칙은 장면(Scene)의 배경을 이미징하려는 개체와 유사한 밝기 또는 색상을 사용하는 것입니다.

밝은 물체의 경우 밝은 배경(예: 흰색 Lambertian)을 사용하십시오.
어두운 물체의 경우 어두운 배경(예: 대부분의 컨베이어 벨트에서 사용되는 검은색 고무)을 사용하십시오.
대부분의 색상이 있고 광택이 없는 개체의 경우 유사한 반사도의 배경을 사용합니다(예: 바나나의 경우 회색 또는 노란색 배경 사용).
반짝이는 금속 물체, 특히 원통형, 원추형 및 구형 물체의 경우 검은색 고무와 같은 어두운 흡수 배경을 사용하십시오. 이는 대상 조명이 일반적으로 보이는 가장자리 근처의 개체에서 반사되어 매우 어둡게 표시되기 때문입니다(아래 이미지 참조). 동시에 주변 영역의 빛이 실린더 가장자리에 반사될 수 있습니다.

검정색의 흡수 배경이 실린더 가장자리를 어둡게 만드는 방법을 보여주는 이미지.

Use Contrast Distortion filter

필터는 고 대조 영역의 초점 안 맞음 및 흐림으로 생긴 Contrast Distortion 으로 인해 발생하는 이러한 표면의 왜곡을 수정 또는 제거합니다. 그 결과 평면과 실린더에서 특히 관찰할 수 있는 객체의 보다 사실적인 형상이 생성됩니다. 이 필터에 대해 자세히 알아보고 매개 변수를 조정하려면 Contrast Distortion Filter 를 확인하십시오.

Example

이제 아래 장면에서 Contrast Distortion 필터를 사용하여 하이라이트를 처리하는 방법을 보여줍니다.

아래 세 이미지 중 맨 위는 Contrast Distortion 필터를 사용하지 않은 포인트 클라우드 메시를 나타냅니다. 가운데 이미지는 보정 모드에서만 필터를 사용하고 아래쪽 필터는 제거와 보정 모드 모두 함께 사용합니다. 수정만으로도 아티팩트의 크기가 줄어듭니다. 필터의 제거 기능은 아티팩트를 완전히 제거하지만 이미지에서 강한 강도 전환이 있는 장면의 일부 다른 지점도 제거합니다.

대조 왜곡 효과가 있는 음료캔의 메쉬 포인트 클라우드 3개, 필터가 적용되지 않은 첫번째, 필터 보정 기능이 있는 두번째, 제거 기능이 있는 3번째 이미지 입니다.

같은 3개의 포인트 클라우드이지만 측면에서 볼 때 왜곡을 확인할 수 있습니다.