How to deal with Blooming

Problem 

Blooming - Bright Spots in the Point Cloud 에서 논의한 바와 같이, 블루밍은 한 지점이나 영역의 극도로 강한 빛이 이미징 센서에 닿아 과포화 상태가 될 때 발생하는 효과입니다. 이 기사에서는 장면에서 블루밍을 피하는 방법에 대해 설명합니다.

Potential Solutions 

Blooming를 처리하는 방법에는 여러 가지가 있습니다. 이 튜토리얼에서 다루는 방법은 배경 변경, 카메라 위치 및 방향 변경, HDR 활용, 색상 모드 활용 및 추가 2D 캡처입니다.

Change the background 

배경이 Blooming의 원인인 경우 배경 재료를 빛이 더 확산되고 더 잘 흡수되는 재료로 변경합니다(Optical Properties of Materials).


Scene with white background with blooming	Same scene with black background and effect from blooming removed from the point cloud

Angle the camera 

카메라 위치와 방향을 변경하는 것은 블루밍을 처리하는 간단하고 효율적인 방법입니다. 프로젝터 및 기타 광원이 카메라에 직접 반사되지 않도록 카메라를 오프셋하고 기울이는 것이 좋습니다. 이것은 아래 이미지의 오른쪽에 표시됩니다.

단순히 카메라를 기울이면 위 이미지의 오른쪽과 같이 과포화 영역에서 손실된 데이터를 복구할 수 있습니다. 아래 왼쪽 이미지는 카메라를 표면에 수직으로 장착했을 때 찍은 포인트 클라우드이고, 오른쪽 이미지는 약간 기울어진 상태에서 찍은 장면입니다.

간단한 경험 법칙은 아래 이미지와 같이 관심 영역이 카메라 앞에 오도록 카메라를 장착하는 것입니다.

HDR capture 

블루밍 하이라이트를 덮기 위해 하나 이상의 3D 획득을 추가하여 다중 획득 3D HDR을 사용합니다. 캡처 시간이 추가되는 비용이 발생한다는 점을 염두에 두십시오.


Scene with blooming (single acquisition)	Same scene with effect from blooming removed from the point cloud (multi-acquisition HDR)

위의 단계를 따르면 블루밍 효과로 인해 포인트 클라우드에서 누락된 포인트를 복구할 가능성이 가장 큽니다. 그러나 컬러 이미지에 과포화 영역이 남아 있을 가능성이 여전히 있습니다.

3D 포인트 클라우드 품질에만 관심이 있다면 컬러 이미지의 과도한 채도는 문제가 되지 않을 수 있습니다. 그러나 컬러 이미지를 머신 비전 알고리즘(예: 템플릿 일치)에서 사용하는 경우 과채도가 문제가 될 수 있습니다.

참고

기본 색상 모드는 자동으로, 획득 설정이 다른 다중 획득 HDR 캡처에 대한 ToneMapping과 동일합니다. HDR 캡처에 사용되는 색상 병합(톤 매핑) 알고리즘은 색상 이미지의 과도한 채도의 원인입니다. 이 알고리즘은 다양한 동적 범위의 컬러 이미지를 제한된 동적 범위의 하나의 컬러 이미지로 매핑하는 어려운 문제를 해결합니다. 그러나 톤 매핑 알고리즘에는 과포화 문제라는 한계가 있습니다.

HDR capture with UseFirstAcquisition Color Mode 

참고

이 솔루션은 SDK 2.7 이상에서만 사용할 수 있습니다. SDK 2.6 이하에 대한 솔루션을 보려면 왼쪽 상단에서 KB를 이전 버전으로 변경하십시오.

과포화를 극복하기 위한 시도는 장면에서 가장 밝은 물체에 최적화된 획득을 식별하거나 찾는 것입니다. 그런 다음 해당 수집을 수집 설정에서 첫 번째로 설정합니다. 마지막으로 색상 모드를 UseFirstAcquisition으로 설정하여 HDR을 캡처합니다.

힌트

… → Move to top 을 클릭하여 지비드 스튜디오 해당 획득을 시퀀스에서 맨 위로 이동하십시오.

어떤 경우에는 과포화를 제거하거나 최대한 많이 줄일 수 있습니다.

UseFirstAcquisition Color Mode로 HDR 캡처로 제거된 컬러 이미지의 과포화

이미징 대상의 재료가 정반사면 이 방법은 과포화를 제거하지 못할 수 있습니다. 이 경우 프로젝터를 끈 상태에서 추가 캡처를 고려해 볼 가치가 있습니다. 다음 잠재적 솔루션을 참조하십시오(프로젝터 제외).

Additional capture 

컬러 이미지의 과포화를 극복하기 위한 대안 솔루션은 별도의 캡처를 추가하고 특히 이 이미지 아티팩트를 피하기 위해 설정을 최적화하는 것입니다. 이 접근 방식은 기본 캡처의 포인트 클라우드 데이터와 추가 캡처의 컬러 이미지를 사용한다고 가정합니다. 추가 캡처는 프로젝터 사용에 따라 2D 또는 3D 캡처일 수 있습니다. 3D 캡처를 사용하는 경우 톤 매핑이 없어야 합니다(색상 모드 설정이 UseFirstAcquisition으로 설정됨).

참고

기본 캡처 전후에 추가 캡처를 수행합니다. 예를 들어 2D 이미지와 3D 포인트 클라우드를 활용하는 알고리즘에 서로 다른 스레드를 사용할 경우 알고리즘 실행 시간을 기준으로 결정합니다.

팁

별도의 2D 이미지를 캡처하면 컬러 이미지 품질에 대한 수집 설정을 최적화할 수 있습니다(대부분의 경우 우수한 포인트 클라우드 품질에 대한 설정을 최적화합니다).

How to deal with Blooming

Problem 

Potential Solutions 

Change the background 

Angle the camera 

HDR capture 

HDR capture with UseFirstAcquisition Color Mode 

Additional capture 

With the projector 

Without the projector 

Without the projector with color balance 