调整合适的曝光以获取好的点云

介绍

Zivid 相机有四种影响曝光的采集设置:

在本教程中,我们将使用 Zivid Studio 中的 SNR 图来评估点云的质量,并确定采集设置的值。在调整设置的同时,我们将探讨使用不同曝光变量值时需要考虑的事项。

信噪比(SNR)

Zivid Studio 中的 SNR 图显示了图像中每个像素的信噪比。您可以在 SNR值 中阅读更多有关 SNR 的信息,但本质是 SNR 越高,点云的质量越好。

../../../_images/SNR_map.png

Zivid Studio 中的 SNR 图,左下角显示所选像素的 SNR 值。

如上图所示,深绿色区域信噪比高,深橙色区域信噪比低。因此,目标是找到合适的采集设置,使尽可能多的像素位于绿色或深绿色区域内。

一般来说,影响SNR的因素主要有四个:

我们可以控制采集设置、工作距离和环境光,但场景的光学属性通常是固定的。以下图场景为例。

../../../_images/optical-properties-scene.png

右边的盒子表面呈白色且漫反射,左边的相机表面呈黑色且有光泽,而中间的盒子则介于两者之间。最后,底部的圆柱体表面呈光泽且有反射。

由于相机使用投影仪作为点云生成的信号源,因此它更倾向于选择那些光学特性容易将信号反射回相机的区域。因此,在上图中,白色盒子最容易获得高信噪比,而黑色且有光泽的相机则最难获得高信噪比。

这与控制到达相机的光量的采集设置相关,较亮的物体需要的曝光量会比较暗的物体低,因为它通常吸收的光线较少。同样,漫反射物体可能需要的曝光量可能比镜面反射物体低,因为镜面反射物体可能会根据其形状和形态反射更多光线,使其远离相机。上图中圆柱体的侧面就是一个例子。

备注

信噪比低的点不一定不好,可能仍然符合实际表面。请结合信噪比图评估点云,以确定其质量是否适合您的应用。

许多视觉系统面临的挑战是高动态范围的场景,这意味着场景中同时包含明暗表面。它们通常在一个表面上曝光良好,而在另一个表面上曝光不佳。在上面的例子中,白色盒子需要较低的曝光度,以免反射过多的光线并使相机饱和。另一方面,黑色且有光泽的相机则需要较高的曝光度,才能将足够的光线反射回相机。

调整采集设置

Zivid 相机具有高动态范围,这意味着它们可以在一次采集中覆盖明暗场景。这意味着您通常不需要进行太多手动调整,并且 预设 通常就足够了。因此,以下教程仅适用于预设无法达到预期效果的情况。

../../../_images/single-acquisition-pointcloud.png

相机可以在一次捕获中同时捕获到明亮和黑暗的表面。

对于投影机的亮度和增益,我们通常总是使用以下内容:

  • 投影仪亮度:最大可用亮度值

  • 增益:最小的可用值

因此,调整采集设置主要是为了找到正确的曝光时间和光圈。

步骤 0:视觉引擎(Vision engine)

所选的 Vision Engine(视觉引擎) 会显著影响单次采集的动态范围,从而影响信噪比 (SNR)。Stripe 和 Omni 等引擎的动态范围比 Phase 等引擎更高,因此它们可以使用单次采集,而 Phase 可能需要两次采集。在调整采集设置之前,请选择最适合您需求的引擎。

步骤 1:默认设置

默认采集设置通常是一个很好的起点,并且可以为曝光变量设置合理的值。您可以在 默认设置 中找到特定相机型号的默认设置,或者在启动 Zivid Studio 时直接进入手动模式。这将提供单次采集的设置。请记住保留上一步中选择的引擎。

使用默认设置进行捕获。

小技巧

使用 SNR 图评估点云质量时,请关闭 噪声修复 过滤器,因为此过滤器会影响 SNR。

../../../_images/SNR_default_acquisition.png

来自默认采集设置的 SNR 图。

检查 Zivid Studio 中的 SNR 图,了解场景的曝光效果。注意橙色和深橙色区域,因为这表示 SNR 较低,可能存在数据缺失。这可能是由于曝光过度或曝光不足造成的。

在上面的例子中,我们看到一条橙色的线穿过圆柱体。由于圆柱体反射性强,我们可以假设该区域曝光过度。另一方面,我们也看到左侧相机上有橙色斑点。由于相机较暗,我们可以假设该区域曝光不足。您可以使用相同采集设置的 2D 图像,结合信噪比 (SNR) 图,来验证哪些区域容易出现曝光过度(像素强度高)或曝光不足(像素强度低)。

备注

被遮挡的区域,例如上图中间框的左侧,由于投影仪的光线无法到达相机,信噪比自然会较低。对于这些区域,我们能做的不多,除非尽可能调整相机的位置。

第 2 步:调整高光

我们将首先调整场景中高光部分的采集,例如上例中的圆柱体。降低曝光时间,直到过度曝光的橙色区域开始呈现出更绿的色调。如有必要,也可以降低光圈(提高 f 值)。

../../../_images/SNR_highlight_acquisition.png

高光采集的 SNR 图。

请注意,所有其他区域的信噪比都降低了,但我们在圆柱体先前过度曝光的区域获得了信号。在这种情况下,我们现在获取了先前未获取的区域的数据。我们称之为高光采集,因为它针对场景中的明亮区域进行了优化。

但是场景的其余部分怎么办,特别是较暗的低光区域呢?我们无法在一次采集中同时调整高光和低光,但可以通过另一次单独的采集来完成。

步骤 3:调整低光

在 Zivid Studio 中使用默认设置添加新的采集,并禁用之前的采集。我们将使用此采集来调整场景中的低光区域,例如本例中较暗的相机或圆柱体的上下两侧。增加曝光时间,直到曝光不足的橙色区域开始呈现出更绿的颜色。

../../../_images/SNR_lowlight_acquisition.png

低光采集的 SNR 图。

请注意,除高光区域外,信噪比整体上有所提高。本次拍摄中,相机较暗的区域和圆柱体侧面的曝光效果良好,但圆柱体顶部和白色盒子的曝光效果不佳,因为它们反射了太多光线。

我们现在怎样才能同时获得亮点和暗淡之处?

步骤4:HDR

在 Zivid Studio 中启用两次采集,即可进行高动态范围 (HDR) 捕获。这将结合两次采集,以获得最佳效果,并同时在高光和低光区域获得良好的曝光。

../../../_images/SNR_hdr.png
../../../_images/DepthMap_hdr.png

HDR 捕获的 SNR 图(顶部)和深度图(底部)。

如果仍有区域的信噪比 (SNR) 在零左右,请修改现有采集之一,或针对该特定区域添加另一个采集。请记住,该区域的光学特性决定了您是否需要针对高光或低光进行调整。

检查点云中信噪比 (SNR) 较低的区域,以确定噪声水平是否符合您的应用要求。即使信噪比 (SNR) 接近于零的点也能获得较高的精度,但这必须在点云中进行评估。

在上面的例子中,我们在 Zivid 2+ M130 上进行了两次采集,设置如下:

Setting

Acquisition 1

Acquisition 2

Exposure time

1677 us

30 000 us

Aperture

f/2.83

f/2.83

Brightness

2.5

2.5

Gain

1.0

1.0

其他注意事项

采集设置是影响场景曝光效果以及最终获得良好信噪比的主要因素,但并非唯一因素。此外,还应根据具体应用,权衡各种采集设置之间的利弊。

在下面的下拉菜单中,我们概述了获取良好点云正确曝光时需要考虑的一些其他事项。

其他注意事项

曝光时间与光圈的权衡

我们通常使用曝光时间或光圈来控制信噪比,但它们各有优缺点。

更改曝光时间对点云质量影响不大,但会增加捕获时间。如果您优先考虑速度,请考虑增加光圈而不是曝光时间。

另一方面,改变光圈对采集时间影响不大,但可能会影响某些区域的点云质量。光圈决定了图像的聚焦效果,模糊的图像会导致场景中 对比度较高的区域出现失真 。此外,如果您使用不同的光圈进行多次采集,由于光圈的机械移动,会造成额外的时间损失。请评估图像的焦点,并考虑在所有采集中使用相同的光圈值。

Sampling mode(采样模式)

某些型号的 Zivid 相机的整体曝光取决于所选的 采样像素 。 当从子采样分辨率切换到全分辨率时,您需要增加曝光时间或光圈以保持相同的信噪比。但这不适用于 Zivid 2 以及 Zivid 2+ M130、M60 和 L110。

工作距离

相机距离场景越近,它反射的投影仪光线就越多。如果信噪比较低且无法承受更改其他影响信噪比的参数,请考虑尽可能靠近场景。

../../../_images/SNR_working_distance.png

当相机距离场景较近(左)时,SNR 会高于距离场景较远(右)时。

环境光

环境光会给相机带来噪声。尽管 Zivid 相机对环境光具有较强的抗干扰能力,但它仍然会影响信噪比 (SNR),使其偏低。如果您希望获得最佳信噪比,请考虑尽可能降低场景中的环境光。

../../../_images/SNR_ambient_light.png

低环境光(左)下的 SNR 高于高环境光(右)下的 SNR。

表面的方向

由于信噪比 (SNR) 取决于投影仪反射回相机的光量,因此面向相机的表面通常比背向相机的表面具有更高的信噪比。这对于暗色和镜面表面尤其重要,因为这些表面难以获得足够的信号。为了获得最佳信噪比,请考虑将相机垂直放置于这些表面,并注意不要使表面过度曝光。

../../../_images/SNR_orientation.png

面向相机的表面的 SNR 比背向相机的表面的 SNR 更高。

克隆采集项

如果您有充足的时间预算,可以克隆采集项(acquisitions )来提高信噪比。这将有效地平均化点云中的噪声,但会浪费一些时间。

../../../_images/SNR_cloned_acquisitions.png

单次采集时 SNR 较低(左),两次克隆采集时 SNR 较高(中),三次克隆采集时 SNR 最高(右)。

进一步阅读

现在,我们已经为获取高质量点云奠定了良好的基础。查看点云质量时,您仍然可能会发现噪点、伪影或数据缺失。接下来,您可以按照 调整过滤器 中的说明调整滤波器。

版本历史

SDK

变更

2.14.0

将方法从使用直方图改为使用 SNR 图。

2.12.0

Zivid One+ 已达到其生命周期的终点并且不再受支持。