Dealing with Highlights and Shiny Objects

Introduction 

This article will discuss the challenges that may occur when capturing point clouds of very shiny objects and how to deal with it.

In the presence of a highly specular reflective objects, there is a chance that certain regions of that object cause a direct reflection from the Zivid camera’s projector to the imaging sensor. If this object is extremely specular, then the amount of reflected light can be thousands of times stronger than other light sources in the image. This is then likely to cause the pixel to become oversaturated. An example of such regions can be seen in the two images below.

과포화 픽셀은 종종 주변 픽셀에 빛을 “bleed” 합니다.(영향을 미칩니다.) 이 렌즈 흐림 현상으로 인해 Contrast Distortion Artifact 이 발생할 수 있습니다. 이 효과는 검은색에서 흰색으로의 전환되는 영역과 반짝이는 실린더에서 확인할 수 있습니다. 아래 이미지를 참조하십시오.

Try the right Presets 

The best presets for dealing with highlights and highly specular reflective objects are Manufacturing Specular and Semi-Specular Presets.

Try switching to Stripe Engine 

Using the Stripe Engine can significantly improve the point cloud quality in scenes with shiny objects. The Stripe Engine has a high dynamic range, making it tolerant to highlights and interreflections.

Try switching to Sage Engine 

참고

The Sage Engine is only available for Zivid 2+ MR130, MR60, and LR110.

The Sage Engine is best at handling vertical reflections. Typical examples are reflections from the bin wall, neighboring objects, abd two flat surfaces that face each other at a 90-degree angle.

Highly specular workpieces in a reflective bin

Highly specular flat surfaces with 90 degree angle between them

Omni Engine으로 바꿔보십시오.

참고

Omni Engine은 Zivid 2+에서만 사용할 수 있습니다.

The Omni Engine 은 Stripe Engine보다 더 높은 동적 범위와 더 큰 패턴 세트를 가지고 있어 Stripe Engine에서 부족했던 포인트 클라우드 품질을 향상시킵니다. 상호 반사 아티팩트 또는 누락된 데이터를 제공하는 장면에서 개선되지만 가장자리와 더 미세한 세부 사항을 어느 정도 부드럽게 할 수도 있습니다.

Maximize Dynamic Range 

반짝이는 물체의 좋은 포인트 클라우드를 얻으려면 하이라이트와 로우라이트를 모두 캡처할 수 있어야 합니다. Zivid 3D 카메라는 다이나믹 레인지가 넓어 어둡거나 밝은 물체를 모두 촬영할 수 있습니다.

Very challenging scenes typically require 3 HDR acquisitions:

1 to cover the strongest highlights (very low exposure).
1 to cover most of the scene (medium exposure).
1 to cover the darkest regions (very high exposure).

Follow Getting the Right Exposure for Good Point Clouds to optimize acquisition settings.

Adjust Filters 

Filters are a powerful tool to improve the quality of point clouds. Learn how to adjust the filters in Zivid Studio by following the Adjusting Filters tutorial. Pay special attention to the following filters:

Cluster Filter
Noise Filter - Repair and Suppression
Reflection Filter - Global Mode

Deal with Contrast Distortion 

Contrast Distortion을 처리하는 방법은 크게 두 가지가 있습니다. 카메라의 다이내믹 레인지를 최대화하여 효과를 줄이고 전략적인 영역에 카메라를 배치할 수 있습니다. 그리고나서 왜곡의 영향을 받은 포인트들을 Contrast Distortion Filter 를 사용하여 수정/제거할 수 있습니다.

Position the camera correctly

First, ensure that the camera is placed at or close to its focus distance. The number in the model name of the camera indicates the focus distance in centimeters. For example, Zivid 2+ MR130 has a focus distance of 130 cm.

Rotate and align objects in the scene

Contrast Distortion is an effect that occurs in the 3D sensor’s x-axis, and can be greatly mitigated if your application allows for rotating troublesome regions in the camera’s y-axis to its x-axis. By rotating, for instance, a shiny cylinder 90°, the overexposed region along the cylinder follows the camera’s baseline, as illustrated in the figure below.

대비 왜곡 효과를 완화하기 위해 실린더의 "good" 각도를 보여주는 이미지입니다.

Match the background’s reflectivity to the specific object’s reflectivity

경험상 좋은 규칙은 장면(Scene)의 배경을 이미징하려는 개체와 유사한 밝기 또는 색상을 사용하는 것입니다.

밝은 물체의 경우 밝은 배경(예: 흰색 Lambertian)을 사용하십시오.
어두운 물체의 경우 어두운 배경(예: 대부분의 컨베이어 벨트에서 사용되는 검은색 고무)을 사용하십시오.
대부분의 색상이 있고 광택이 없는 개체의 경우 유사한 반사도의 배경을 사용합니다(예: 바나나의 경우 회색 또는 노란색 배경 사용).
반짝이는 금속 물체, 특히 원통형, 원추형 및 구형 물체의 경우 검은색 고무와 같은 어두운 흡수 배경을 사용하십시오. 이는 대상 조명이 일반적으로 보이는 가장자리 근처의 개체에서 반사되어 매우 어둡게 표시되기 때문입니다(아래 이미지 참조). 동시에 주변 영역의 빛이 실린더 가장자리에 반사될 수 있습니다.

검정색의 흡수 배경이 실린더 가장자리를 어둡게 만드는 방법을 보여주는 이미지.

Tune Aperture and Contrast Distortion filter

Bad aperture setting can cause or make Contrast Distortion effects worse due to defocusing.

The Contrast Distortion filter corrects and/or removes these surface elevation artifacts caused by Contrast Distortion - defocusing and blur in high contrast regions. This results in a more realistic geometry of objects, specifically observable on planes and cylinders.

Good aperture setting can remove or reduce the Contrast Distortion effect, and make it easier to tune Contrast Distortion filter. Learn how to tune Aperture and Contrast Distortion Filter

Example

이제 아래 장면에서 Contrast Distortion 필터를 사용하여 하이라이트를 처리하는 방법을 보여줍니다.

아래 세 이미지 중 맨 위는 Contrast Distortion 필터를 사용하지 않은 포인트 클라우드 메시를 나타냅니다. 가운데 이미지는 보정 모드에서만 필터를 사용하고 아래쪽 필터는 제거와 보정 모드 모두 함께 사용합니다. 수정만으로도 아티팩트의 크기가 줄어듭니다. 필터의 제거 기능은 아티팩트를 완전히 제거하지만 이미지에서 강한 강도 전환이 있는 장면의 일부 다른 지점도 제거합니다.

대조 왜곡 효과가 있는 음료캔의 메쉬 포인트 클라우드 3개, 필터가 적용되지 않은 첫번째, 필터 보정 기능이 있는 두번째, 제거 기능이 있는 3번째 이미지 입니다.

같은 3개의 포인트 클라우드이지만 측면에서 볼 때 왜곡을 확인할 수 있습니다.