Getting the Right Exposure for Good Point Clouds
Introduction
Zivid 카메라에는 노출에 영향을 미치는 4가지 수집 설정이 있습니다.
이 튜토리얼에서는 Zivid Studio의 SNR 맵을 사용하여 포인트 클라우드의 품질을 평가하고 획득 설정 값을 구해 보겠습니다. 설정을 조정하는 동안 노출 변수에 다양한 값을 사용할 때 고려해야 할 사항을 살펴보겠습니다.
Signal-to-Noise Ratio (SNR)
Zivid Studio의 SNR 맵은 이미지 내 각 픽셀의 신호 대 잡음비를 보여줍니다. SNR에 대한 자세한 내용은 SNR Value 에서 확인할 수 있지만, 핵심은 SNR이 높을수록 포인트 클라우드의 품질이 향상된다는 것입니다.
Zivid Studio의 SNR 맵. 선택한 픽셀의 SNR 값이 왼쪽 하단에 표시됩니다.
위 이미지에서 볼 수 있듯이, 짙은 녹색 영역은 SNR이 높고 짙은 주황색 영역은 SNR이 낮습니다. 따라서 녹색 또는 짙은 녹색 영역에 최대한 많은 픽셀이 배치되도록 획득 설정을 찾는 것이 목표입니다.
일반적으로 SNR에 영향을 미치는 주요 요소는 4가지입니다.
Working distance
Ambient light
촬영 설정, 작동 거리, 주변광은 부분적으로 제어할 수 있지만, 장면의 광학적 속성은 일반적으로 고정되어 있습니다. 아래 장면을 예로 들어 보겠습니다.
오른쪽 상자는 하얗고 흐릿한 표면을 가지고 있고, 왼쪽 카메라는 검고 광택이 나는 표면을 가지고 있으며, 가운데 상자는 그 중간쯤에 있습니다. 마지막으로, 아래쪽 원통은 반짝이고 반사되는 표면을 가지고 있습니다.
카메라는 프로젝터를 신호원으로 사용하여 포인트 클라우드를 생성하므로, 이 신호를 카메라로 쉽게 반사하는 광학적 특성을 가진 영역을 선호합니다. 따라서 위 이미지에서 흰색 상자는 높은 SNR을 얻기가 가장 쉬운 반면, 검은색 광택 카메라는 가장 어려울 것입니다.
이를 카메라에 도달하는 빛의 양을 제어하는 획득 설정과 연관 지어 보면, 밝은 물체는 일반적으로 빛을 덜 흡수하기 때문에 어두운 물체보다 노출을 낮춰야 합니다. 마찬가지로, 확산 물체는 반사 물체보다 노출을 낮춰야 할 수 있습니다. 반사 물체는 그 모양과 형태에 따라 카메라에서 더 많은 빛을 반사할 수 있기 때문입니다. 위 이미지의 원통형 측면이 이러한 예입니다.
참고
SNR이 낮은 점들이 반드시 나쁜 것은 아니며, 실제 표면과 일치할 수도 있습니다. SNR 맵과 함께 점군을 평가하여 해당 애플리케이션에 적합한 품질인지 확인하십시오.
많은 비전 시스템의 과제는 높은 다이내믹 레인지, 즉 밝은 표면과 어두운 표면이 모두 포함된 장면입니다. 이러한 장면은 일반적으로 한쪽 표면에서는 노출이 잘 되지만 다른 쪽 표면에서는 그렇지 않습니다. 위의 예에서 흰색 상자는 너무 많은 빛을 반사하여 카메라가 포화되는 것을 방지하기 위해 낮은 노출이 필요합니다. 반면, 검은색 광택 카메라는 충분한 빛을 카메라로 되돌리려면 높은 노출이 필요합니다.
Tuning Acquisition Settings
Zivid 카메라는 높은 다이내믹 레인지를 갖추고 있어 한 번의 촬영으로 밝은 장면과 어두운 장면을 모두 포착할 수 있습니다. 따라서 일반적으로 수동 조정이 크게 필요하지 않으며, Presets 만으로도 충분한 경우가 많습니다. 따라서 이 튜토리얼은 프리셋으로 원하는 결과를 얻지 못할 때만 참고하시기 바랍니다.
카메라는 한 번의 촬영으로 밝은 표면과 어두운 표면을 모두 포착할 수 있습니다.
프로젝터의 밝기와 이득에 대해서는 일반적으로 다음을 사용합니다.
Projector brightness: Max available
Gain: 최소 가능
Tuning acquisition settings is therefore mainly about finding the right exposure time and aperture (if the camera supports aperture adjustment).
0단계: 비전 엔진
선택한 Vision Engine 단일 획득의 동적 범위와 SNR에 큰 영향을 미칩니다. Stripe 및 Omni와 같은 엔진은 예를 들어 Phase 엔진보다 동적 범위가 더 넓기 때문에 Phase 엔진이 두 개의 획득을 필요로 하는 곳에서 단일 획득을 사용할 수 있습니다. 획득 설정을 조정하기 전에 필요에 가장 적합한 엔진을 선택하십시오.
1단계: 기본 설정
기본 획득 설정은 좋은 시작점이 될 수 있으며, 노출 변수에 대해 적절한 값을 설정합니다. 특정 카메라 모델에 대한 기본 설정은 Default Settings 에서 확인하거나 Zivid Studio를 시작할 때 수동 모드로 바로 이동하여 확인할 수 있습니다. 이렇게 하면 단일 획득에 대한 설정이 제공됩니다. 이전 단계에서 선택한 엔진과 동일한 엔진을 유지해야 합니다.
기본 설정으로 캡처를 수행합니다.
팁
SNR 맵을 사용하여 포인트 클라우드의 품질을 평가할 때 Noise Repair 필터를 끄세요. 이 필터는 SNR에 영향을 미칩니다.
기본 획득 설정의 SNR 맵입니다.
Zivid Studio에서 SNR 맵을 확인하여 장면의 노출이 얼마나 좋은지 확인하세요. 주황색과 진한 주황색 영역이 있는지 확인하세요. 이는 SNR이 낮고 데이터 손실이 있을 수 있음을 나타냅니다. 이는 과다 노출 영역이나 노출 부족 영역 때문일 수 있습니다.
위 예에서 원통을 가로지르는 주황색 선이 보입니다. 원통은 반사율이 높으므로 이 영역이 과다 노출되었다고 추정할 수 있습니다. 반면, 왼쪽 카메라에는 주황색 점들이 보입니다. 카메라가 어두우므로 이 영역이 노출 부족이라고 추정할 수 있습니다. 동일한 촬영 설정으로 2D 캡처를 SNR 맵과 함께 사용하면 어떤 영역이 과다 노출(높은 픽셀 강도) 또는 노출 부족(낮은 픽셀 강도)에 취약한지 확인할 수 있습니다.
참고
위 이미지의 가운데 상자 왼쪽처럼 가려진 영역은 프로젝터 빛이 카메라에 도달하지 못하기 때문에 자연스럽게 SNR이 낮아집니다. 이러한 영역에 대해서는 가능하다면 카메라 위치를 조정하는 것 외에는 별다른 조치가 없습니다.
2단계: 하이라이트 조정
We will start by adjusting the acquisition for the highlights in the scene, like the cylinder in the above example. Lower the exposure time until the orange areas subject to overexposure start appearing more green. If necessary, lower the aperture as well (higher f-number), assuming the camera supports aperture adjustment.
하이라이트 획득을 위한 SNR 맵.
다른 모든 영역의 SNR은 낮아졌지만, 이전에 과노출되었던 원통 영역에서는 신호가 수신된 것을 확인할 수 있습니다. 이 경우, 이전에는 수신되지 않았던 영역에서 데이터를 수신하게 됩니다. 이를 하이라이트 획득이라고 부르는데, 이는 장면의 밝은 영역에 최적화되어 있기 때문입니다.
하지만 나머지 장면, 특히 어두운 저조도 영역은 어떻게 될까요? 한 번의 촬영으로 하이라이트와 저조도 모두를 조정할 수는 없지만, 별도의 촬영을 통해 조정할 것입니다.
3단계: 낮은 조명에 맞춰 조정
Zivid Studio에서 기본 설정으로 새 획득을 추가하고 이전 획득은 비활성화합니다. 이 획득을 사용하여 어두운 카메라나 이 예시에서는 원통의 위/아래면처럼 장면의 어두운 영역을 조정합니다. 노출 부족으로 인해 주황색 영역이 더 녹색으로 보일 때까지 노출 시간을 늘립니다.
저조도 촬영을 위한 SNR 맵입니다.
하이라이트 영역을 제외하고 전체적으로 SNR이 높아진 것을 확인할 수 있습니다. 이 촬영을 통해 어두운 카메라와 실린더 측면은 노출이 잘 조절되었지만, 실린더 상단이나 흰색 상자는 빛을 너무 많이 반사하여 노출이 조절되지 않았습니다.
이제 하이라이트와 로우라이트를 모두 어떻게 얻을 수 있을까요?
4단계: HDR
Zivid Studio에서 두 가지 촬영을 모두 활성화하여 HDR(High Dynamic Range) 촬영을 할 수 있습니다. 이렇게 하면 두 촬영을 결합하여 두 가지 장점을 모두 얻고, 하이라이트와 로우라이트 모두에 노출이 잘 됩니다.
HDR 캡처를 위한 SNR 맵(위)과 깊이 맵(아래).
SNR이 0에 가까운 영역이 여전히 있다면, 기존 획득 데이터 중 하나를 수정하거나 해당 영역에 대한 다른 데이터를 추가하세요. 해당 영역의 광학 특성에 따라 하이라이트 또는 로우라이트 조정이 필요하다는 점을 기억하세요.
포인트 클라우드에서 SNR이 낮은 영역을 확인하여 노이즈 수준이 애플리케이션에 적합한지 확인하십시오. SNR이 0에 가까운 포인트라도 높은 정밀도를 얻을 수 있지만, 이는 포인트 클라우드에서 평가해야 합니다.
위의 예에서 우리는 Zivid 2+ M130에서 다음 설정을 사용하여 두 가지 인수를 얻었습니다.
Setting |
Acquisition 1 |
Acquisition 2 |
|---|---|---|
Exposure time |
1677 µs |
30 000 µs |
Aperture |
f/2.83 |
f/2.83 |
Brightness |
2.5 |
2.5 |
Gain |
1.0 |
1.0 |
Additional considerations
획득 설정은 장면을 얼마나 잘 노출시킬 수 있는지, 그리고 결과적으로 얼마나 좋은 SNR을 얻을 수 있는지에 영향을 미치는 주요 요소이지만, 이것이 유일한 요소는 아닙니다. 또한, 애플리케이션에서 고려해야 할 획득 설정 간의 상충 관계도 있습니다.
아래 드롭다운에서는 좋은 포인트 클라우드에 대한 올바른 노출을 얻을 때 추가로 고려해야 할 사항을 간략하게 설명합니다.
Additional considerations
Exposure time vs. aperture trade-off
참고
Zivid 3 does not have an adjustable aperture. The following information about aperture tuning applies only to Zivid 2 and Zivid 2+ cameras.
일반적으로 SNR을 제어하기 위해 노출 시간이나 조리개를 사용하지만, 이 두 가지 방법에는 장단점이 있습니다.
노출 시간을 변경해도 포인트 클라우드 품질에는 큰 영향을 미치지 않지만, 촬영 시간은 늘어납니다. 촬영 속도를 중시한다면 노출 시간 대신 조리개 값을 높이는 것을 고려해 보세요.
반면, 조리개 값을 변경해도 촬영 시간은 크게 줄어들지 않지만, 특정 영역의 포인트 클라우드 품질에는 영향을 미칠 수 있습니다. 조리개는 이미지의 초점이 얼마나 잘 맞춰졌는지 결정하는 요소이며, 흐릿한 이미지는 장면의 distortion in contrast-heavy areas 유발합니다. 또한, 조리개가 다른 여러 개의 이미지를 촬영하는 경우, 조리개가 기계적으로 움직이기 때문에 조리개를 전환할 때 시간적 제약이 발생할 수 있습니다. 이미지의 초점을 평가하고 모든 촬영에 동일한 조리개 값을 사용하는 것을 고려해 보세요.
Sampling mode
일부 Zivid 카메라 모델의 전체 노출은 선택한 Sampling Pixel 에 따라 달라집니다. 하위 샘플링 해상도에서 전체 해상도로 전환할 때는 동일한 SNR을 유지하기 위해 노출 시간이나 조리개를 늘려야 합니다. 이는 Zivid 2와 Zivid 2+ M130, M60, L110에는 적용되지 않습니다.
Working distance
카메라가 장면에 가까울수록 더 많은 프로젝터 빛을 반사합니다. SNR이 낮고 SNR에 영향을 미치는 다른 매개변수를 변경할 여유가 없다면 가능하면 장면에 더 가까이 접근하는 것을 고려하세요.
카메라가 장면에 가까울수록(왼쪽) SNR이 더 높고, 멀수록(오른쪽) SNR이 더 높습니다.
Ambient light
주변광은 카메라에 노이즈로 작용합니다. Zivid 카메라는 주변광에 강하지만, 낮은 값으로 갈수록 SNR에 영향을 줄 수 있습니다. 최상의 SNR을 얻으려면 가능하면 주변광을 줄이는 것이 좋습니다.
SNR은 주변광이 약한 경우(왼쪽)가 주변광이 강한 경우(오른쪽)보다 높습니다.
Surface orientation
SNR은 프로젝터 빛이 카메라에 반사되는 양에 따라 달라지므로, 카메라를 향하는 표면은 일반적으로 반대쪽 표면보다 SNR이 높습니다. 이는 특히 어둡고 반사되는 표면처럼 충분한 신호를 얻기 어려운 경우에 중요합니다. 최상의 SNR을 얻으려면 카메라를 표면에 수직으로 배치하고, 표면이 과다 노출되지 않도록 주의하십시오.
카메라를 향한 표면의 SNR은 반대쪽을 향한 표면보다 높습니다.
Cloned acquisitions
시간 예산이 넉넉하다면, 수집 데이터를 복제하여 SNR을 높일 수 있습니다. 이렇게 하면 시간을 절약하는 대신 포인트 클라우드의 노이즈를 효과적으로 평균화할 수 있습니다.
단일 수집(왼쪽)에서는 SNR이 낮고, 두 개의 복제 수집(가운데)에서는 SNR이 높고, 세 개의 복제 수집(오른쪽)에서는 SNR이 가장 높습니다.
Further reading
이제 고품질 포인트 클라우드를 얻기 위한 좋은 시작점을 얻었습니다. 포인트 클라우드 품질을 살펴보면 노이즈, 아티팩트 또는 누락된 데이터가 여전히 발견될 수 있습니다. 이제 Adjusting Filters 에 설명된 대로 필터를 조정할 차례입니다.
Version History
SDK |
Changes |
|---|---|
2.14.0 |
히스토그램을 사용하는 방법에서 SNR 맵을 사용하는 방법으로 변경되었습니다. |
2.12.0 |
Zivid One+는 서비스 종료로 더 이상 지원되지 않습니다. |