如何处理HDR中颜色不一致的问题

介绍

在本文中，我们将讨论如何克服HDR中的颜色不一致问题。

问题

如 果 Color Mode 设置为ToneMapping或Automatic（默认设置），则多次采集的HDR捕获的彩色图像是应用了色调映射之后的结果。虽然色调映射解决了为特定捕获优化颜色的挑战性问题，但它也有一个缺点。由于它是针对整个场景的函数，会导致场景变化时颜色也变得不一致。下面的例子解释了这种现象。

假设我们有一个相对较暗的场景（黑色表面上的梨）。我们找到了涵盖足够宽的动态范围的采集设置并执行了多次采集的HDR采集（左图）。然后我们在场景中添加了一个明亮的对象（香蕉），并使用相同的设置再次捕获（右图）。

HDR capture of a dark scene (Color Mode: Automatic or ToneMapping)	HDR capture with the same settings of the same scene but with an additional bright object added

让我们看看输出的彩色图像（右图），特别是场景中最初的深色对象（梨或黑色表面）。我们注意到这些对象的RGB值在将明亮对象（香蕉）添加到场景之前和之后是不同的。

RGB值的变化对于某些应用来说可能是一个问题，例如，使用基于颜色信息对对象进行分类的算法的应用。原因是这些算法会期望RGB值在重复捕获时保持相同（一致）。

解决方案

使用UseFirstAcquisition颜色模式进行HDR捕获

备注

此解决方案只能与SDK 2.7及更高版本一起使用。在左上角将KB更改为旧版本以查看SDK 2.6或更低版本的解决方案。

要克服HDR颜色不一致的问题，请确定HDR捕获的哪些采集能够提供最佳颜色。我们建议针对场景中最亮的物体优化采集以避免饱和。然后，将该采集设置为采集设置中的第一个。最后，使用UseFirstAcquisition颜色模式来捕获您的HDR图像。

我们将通过一个示例引导您完成整个过程。让我们假设我们有一个带有两次采集的HDR。第一次采集针对深色物体（梨）进行了优化。第二次采集针对明亮物体（香蕉）进行了优化。使用UseFirstAcquisition颜色模式进行HDR捕获会得到以下结果。

HDR capture of a dark scene (Color Mode: UseFirstAcquisition)	HDR capture with the same settings of the same scene but with an additional bright object added

两张图像中深色物体（梨）的颜色相同。颜色一致性得以保留。

然而，因为第一次采集是针对深色物体进行优化的，所以场景中最亮的物体（香蕉）是饱和的。饱和度可能会导致问题，例如，如果我们想根据颜色对对象进行分类。为了克服这个问题，我们可以重新排列采集设置。我们将为场景中最亮的物体（香蕉）优化的采集设置为第一次采集。第二个采集项则针对深色物体（梨）进行优化。现在，我们看到颜色的一致性通过一起和单独捕获的明亮的和深色的对象得以保留。而且最亮的物体（香蕉）没有饱和。

HDR capture of a dark scene (Color Mode: UseFirstAcquisition)	HDR capture with the same settings of the same scene but with an additional bright object added	HDR capture with the same settings of the same scene but only with the bright object

备注

有一个能够提供最佳颜色的单个采集项是最佳的状况。该采集项针对场景中最亮的物体进行了优化，因此在这些物体也具备非常好的SNR。该采集可能已经是您的HDR采集设置的一部分，那么久不需要额外的采集来处理HDR中的颜色不一致的问

如果彩色图像显得太暗，可以使 用 Gamma 进行设置。

小心

Capture Assistant返回的第一个采集可能无法提供最佳的彩色图像。因此，如果使用Capture Assistant和UseFirstAcquisition彩色模式，您可能需要重新调整采集的顺序。

提示

在Zivid Studio的采集设置中依次点击 … → Move to top 即可将选定的采集项移动到序列中的第一个位置。

额外捕获

备注

This solution should be used only if you have to use Automatic or ToneMapping Color Mode for your HDR capture.

克服HDR色彩不一致的替代解决方案是在主捕获之外进行单独捕获。这种方法假设用户使用主捕获来获取点云数据，并使用附加捕获来获取彩色图像。附加捕获可以是2D或3D捕获，启用或关闭投影仪。无论使用哪种捕获模式，都必须关闭色调映射（Color Mode设置为UseFirstAcquisition）。

Single acquisition capture of a dark scene with Color Mode set to UseFirstAcquisition or Automatic	Single acquisition capture with the same settings of the same scene but with an additional bright object added (Color Mode set to UseFirstAcquisition or Automatic)

备注

It is intuitive and conceptually correct to use a 2D capture as the additional capture. If using a Zivid 2 or 2+ camera, always go for the 2D capture. However, if using Zivid One+, consider the limitation below on switching between 2D and 3D capture calls.

局限性

下面我们将说明在2D和3D捕获调用之间切换时按顺序执行捕获的限制。

小心

If you perform captures in a sequence where you switch between 2D and 3D capture calls, the Zivid One+ (not Zivid 2 and 2+) cameras have a switching time penalty. This time-penalty only happens if the 2D capture settings use projector brightness > 0. As a result, there is a delay between the captures when switching the capture mode (2D and 3D). The delay is approximately 350 ms when switching from 3D to 2D and 650 ms when switching from 2D to 3D. Therefore, there can be roughly 1 s overhead in addition to the 2D capture time and 3D capture time. In SDK 2.6 and beyond, this limitation only happens when using 2D captures with brightness > 0.

	2D捕获设置
	投影仪亮度 = 0	投影机亮度 > 0
Zivid 2 / 2+	没有	没有
Zivid One+	没有	350-900ms的切换时间损失

小技巧

Zivid 2 and 2+ cameras do not have the time penalty that Zivid One+ cameras have; switching between 2D and 3D capture modes with Zivid 2/2+ happens instantly.

备注

2.6版本的SDK移除了Zivid One+相机在3D和2D捕获模式之间切换的时间。这适用于在投影仪关闭的情况下使用2D捕获（投影仪亮度设置为0）。

对于Zivid One+相机，如果您必须使用投影仪，为了获取彩色图像而额外拍摄一张3D图像可能比使用投影仪额外拍摄一张2D图像耗时更少。此方法假定您使用来自主3D捕获（单次曝光或多次采集HDR）的点云数据和来自附加3D捕获的彩色图像。如果您的主3D捕获使用的是单次采集，则可以对附加3D捕获使用相同的曝光时间以优化捕获时间。如果使用的是多次采集HDR，则最后一次HDR采集的曝光时间应与附加的3D采集的曝光时间相同。