深度相机宽动态方法、系统、计算机设备和存储介质与流程

1.本申请涉及深度相机技术领域，特别是涉及一种深度相机宽动态方法、系 统、计算机设备和存储介质。


背景技术：

2.随着深度相机应用的普及，深度相机在使用过程中，遇到了越来越多的问 题，其中一个非常突出的问题是，在深度相机量程范围内，处于不同量程刻度 上的物体由于距离差异进而会产生不同距离刻度上的曝光差异，同时这种曝光 差异会影响ir(近红外)以及depth的图像成像质量以及后续的判断处理；例 如在相机的激光光源阵列较低工作脉冲下，靠近相机的距离刻度上的物体可能 处于正常或欠曝状态，较远距离刻度上的物体可能就完全处于没有曝光的状态 (深度传感器接受量为零)，反映在8bit的ir图像上为近处物体细节模糊或较 暗而较远处物体完全不可见，depth图像仅有近处的物体存在一部分深度信息 而远处物体深度信息全为零，在基于ir和depth图像的识别、环境模型构建任 务中由于图像细节或部分信息缺失将会影响算法的工作精度。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种深度相机宽动态方法、系统 、计算机设备和存储介质。
4.一种深度相机宽动态方法，包括以下步骤：
5.确定当前的曝光脉冲频率并记录当前的帧图像作为关键帧图像；
6.以关键帧图像频率为基准分别取若干不同比例的脉冲频率和关键帧图像频 率组成曝光脉冲序列，同时获取若干不同比例的脉冲频率的图像和关键帧图像 组成图像合成序列；
7.根据图像合成序列及对应的曝光脉冲频率序列估算相机响应函数；
8.根据相机响应函数计算宽动态范围图像，输出到显示设备。
9.作为一种实施方式，所述关键帧图像包括ir图像和depth图像，所述图像 合成序列包括ir图像合成序列和depth图像合成序列。
10.作为一种实施方式，还包括以下步骤：
11.根据ir图像合成序列获取depth图像合成序列中depth图像融合的权重矩阵 ；
12.根据权重矩阵对depth图像进行融合，完成depth的宽动态范围图像。
13.作为一种实施方式，所述根据ir图像合成序列获取depth图像合成序列中d epth图像融合的权重矩阵，根据权重矩阵对depth图像进行融合，完成depth的 宽动态范围图像，具体包括以下步骤：
14.对ir图像合成序列中的若干ir图像进行归一化处理；
15.计算各自ir图像的亮度，生成与ir图像对应的亮度图序列；
16.结合亮度图序列、高曝光图像阈值及低曝光图像阈值生成多张权重图；
17.根据多张权重图融合生成depth的宽动态范围图像。
18.作为一种实施方式，所述根据图像合成序列及对应的曝光脉冲频率序列估 算相机响应函数，具体包括以下步骤：
19.根据预先的采样点和图像像素、曝光量估算相机响应函数；
20.计算相机响应函数的反向函数完成ir的宽动态范围图像。
21.作为一种实施方式，所述曝光脉冲频率序列包括5个脉冲频率，分别为0.2 5f、0.5f、1f、1.5f、1.75f。
22.一种深度相机宽动态系统，包括：
23.序列曝光控制单元，用于确定当前的曝光脉冲频率并记录当前的帧图像作 为关键帧图像；
24.序列曝光图像记录单元，用于以关键帧图像频率为基准分别取若干不同比 例的脉冲频率和关键帧图像频率组成曝光脉冲序列，同时获取若干不同比例的 脉冲频率的图像和关键帧图像组成图像合成序列；
25.crf估算单元，用于根据图像合成序列及对应的曝光脉冲频率序列估算相 机响应函数；
26.宽动态输出单元，用于根据相机响应函数计算宽动态范围图像，输出到显 示设备。
27.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序， 其特征在于，所述处理器执行所述计算机程序时实现深度相机宽动态方法中任 一项所述方法的步骤。
28.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处 理器执行时实现权利深度相机宽动态方法中任一项所述的方法的步骤。
29.上述深度相机宽动态方法、系统、计算机设备和存储介质,以当前曝光脉 冲强度下的图像作为关键帧，分别在不同比例脉冲强度下得到一幅图像，最后 利用得到的多张图像合成当前输出图像合成序列，通过图像合成序列及对应的 曝光脉冲频率序列计算得到宽动态范围图像，提高后续算法的工作精度。
30.在不更改相机配置的情况下，提升相机的成像成像质量。
31.采用ir图像的光照信息取指导depth曝光序列图像的融合，相比于一般的 线性融合效果更好。
附图说明
32.图1为一个实施例中深度相机宽动态方法的应用环境图；
33.图2为一个实施例中深度相机宽动态方法的流程示意图；
34.图3为一个实施例中深度相机宽动态系统的结构框图；
35.图4为一个实施例中计算机设备的内部结构图。
具体实施方式
36.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用以解释本申请，
并不用于限定本申请。
37.本申请提供的深度相机宽动态方法，可以应用于如图1所示的应用环境中 。其中，终端102通过网络与服务器104通过网络进行通信。其中，终端102可 以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等，服务器 104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
38.在一个实施例中，如图2所示，提供了一种深度相机宽动态方法，包括以 下步骤：
39.s100：确定当前的曝光脉冲频率并记录当前的帧图像作为关键帧图像；
40.确定当前的曝光脉冲频率f，其定义为当前时间的单位时间内方波的高电 位个数f的倒数，高电位时值为1代表开启激光光源发射阵列，低电位时值为0 代表关闭激光光源发射阵列。
41.s200：以关键帧图像频率为基准分别取若干不同比例的脉冲频率和关键帧 图像频率组成曝光脉冲序列，同时获取若干不同比例的脉冲频率的图像和关键 帧图像组成图像合成序列；
42.在一实施例中，曝光脉冲频率序列包括5个脉冲频率，分别为0.25f、0.5f 、1f、1.5f、1.75f。曝光脉冲频率序列中的脉冲频率个数由曝光脉冲频率f决 定，曝光脉冲序列中的脉冲频率个数是不定的，可以根据实际实验结果与工程 要求修改，也就说不一定是5个，也可以是4个，脉冲频率也不是确定的，在本 实施例中列出的5个脉冲频率只是为了高频段与低频段各有覆盖。曝光脉冲频 率与曝光脉冲次数的关系为v＝1/f，v代表脉冲次数，f代表脉冲频率。因此， 只要确定不同的曝光脉冲频率就可以获得不同的曝光脉冲序列。关键帧图像包 括ir图像和depth图像，图像合成序列包括ir图像合成序列和depth图像合成序 列。根据曝光脉冲频率，每曝光一次，就能获得一张depth图像和ir图像，将 获得的depth图像和ir图像分别添加到各自的图像合成序列中，当曝光相应的 脉冲次数后，完成曝光脉冲序列及对应的ir图像合成序列、depth图像合成序 列。
43.s300：根据图像合成序列及对应的曝光脉冲频率序列估算相机响应函数；
44.步骤s300具体包括以下步骤：
45.根据预先的采样点和图像像素、曝光量估算相机响应函数；
46.计算相机响应函数的反向函数完成ir的宽动态范围图像。
47.由于一般相机的成像分辨率大于300x300，因此如果将全部像素纳入函数 估算中，将会造成额外的算力消耗与时间延迟，因此通过在图像上设置固定个 数的采样点参数crf估算，根据图像像素z与相机响应函数f以及曝光量tp 之间的关系：
48.z＝f(e
×
tp)
49.将上公式变换可得：
50.g(z)＝in e+in tp
51.其中，z为图像上对应位置的像素值，tp
52.为曝光量，这两者为已知量，未知量为函数g以及e辐照度,由于z 的值为有限个，即像素值域为一个确定范围，因此在g函数在z 的值域内构成一个超定方程组，利用最小二乘法即可求出相机响应函数f 的反向函数g 。由此，计算得到e记为图像真实色调范围(即ir的宽动态范围图像)，其关 系为：
53.in e＝g(z)
‑
in tp。
54.s400：根据相机响应函数计算宽动态范围图像，输出到显示设备。
55.上述宽动态范围图像包括ir的宽动态图像和depth的宽动态图像。其中， 将宽动态范围图像直接输出到显示设备或者其他计算单元是不合理和很消耗设 备的总线带宽的，因此在将宽动态图像输出时一般要进行图像色调映射步骤， 将宽动态范围图像重新映射回低带宽的低动态范围图像，如8bit的rgb图像。 关于ir的宽动态图像还包括ir色调映射步骤，其内容为将得到的辐照图像e映 射为低动态范围，计算公式为：
56.ld(x)＝el
w
(x)
57.其中，l
d
为最终输出ir图像，e为一个超参数，一般取l
w
的最大值的倒数，l
w
表示为计算得到的宽动态图像。
58.输出至显示设备时，将l
d
根据当前显示设备的分辨率进行显示。
59.depth的宽动态图像的合成过程为步骤s500，步骤s500的内容如下：
60.根据ir图像合成序列获取depth图像合成序列中depth图像融合的权重矩阵 ；
61.根据权重矩阵对depth图像进行融合，完成depth的宽动态范围图像。
62.其中，根据ir图像合成序列获取depth图像合成序列中depth图像融合的权 重矩阵步骤，具体包括以下内容：
63.对ir图像合成序列中的若干ir图像进行归一化处理；
64.计算各自ir图像的亮度，生成与ir图像对应的亮度图序列；
65.结合亮度图序列、高曝光图像阈值及低曝光图像阈值生成多张权重图；
66.根据多张权重图融合生成depth的宽动态范围图像。
67.depth 图像合成序列得到的图像的灰度表示范围为[0,4096]，一般最大值由相机参数 确定，为了便于后续计算首先需要将0到4096的灰度级别映射到0到1的灰度级 别。
[0068]
通过归一化的灰度映射得到五张灰度级别在0到1的图像，接下来的操作需 要计算进行depth图像合成序列融合的权重矩阵，使用常见的线性融合在曝光 均匀的图像中有很好的效果，但在基于tof的成像系统中，曝光永远存在距离 刻度上的差异，因此线性融合不太适用这种情况；考虑到depth与ir的像素都 是经过深度传感器的输出经过ad信号得到，因此彼此之间存在相似的响应特性 ，因此通过提取ir图像的过曝欠曝区域间接作为depth融合的权重。具体实施 如下：
[0069]
首先对ir序列图像进行归一化，利用式(1)分别计算各自的亮度图i得到 一个对应亮度图序列i的：
[0070]
i(x)＝0.299l
lr
(x)+0.587l
lg
(x)+0.114l
lb
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0071]
其中，l
lr
、l
lg
、l
lb
分别表示为ir图像的r、g、b三个通道，0.299、0.587 、0.114分别表示为r、g、b三个通道对应的系数。
[0072]
高水平曝光图像由于整体亮度高，可以将场景中比较暗的部分更清晰显现 出来，相应地，权重图的暗区域权值相对更高；利用式(2)计算高水平曝光 图像的权重图：
[0073][0074]
其中，阈值t
a
表示为暗的程度，这里取值0.2。
[0075]
低曝光图像整体亮度被抑制在较低水平，因此对于像素值较高的区域，保 留着更大的对比度。相应地，权重图着重标记过亮区域；利用式(3)计算其 对应权重图：
[0076][0077]
其中，阈值t
b
表示为亮的程度，这里取值0.9。
[0078]
关键帧ir图像对应的权重图由式(4)计算得到，对于两幅高曝光水平( 即曝光脉冲频率为1.5f、1.75f所对应的图像)的权重图采用相加求均值的方 法得到一张均值权重图m1；同理对低曝光度的两张权重图(即曝光脉冲频率为 0.25f、0.5f所对应的图像)相加求平均后得到另一张权重图m2；将关键帧得 到的权重图记为m3，m3为1减去m1和m2之和，此时完成depth融合的计算前提工 作。式(4)如下：
[0079]
m1＝(m
1.75f
+m
1.25f
)/2
[0080]
m2＝(m
0.5f
+m
0.25f
)/2
[0081]
m3＝1
‑
m1
‑
m2
[0082]
根据得到的三张权重图(m1、m2、m3)进行最终的图像融合得到depth的 宽动态范围图像：
[0083]
m＝0.1m1m1+0.1m2m1+0.6m3m3+0.1m4m2+0.1m5m2[0084]
其中，{m1,m2,m3,m4,m5}为根据曝光脉冲序列生成的对应的depth图像合 成序列；m1到m5分别与1.75f到0.25f对应。
[0085]
在一个实施例中，提供了一种深度相机宽动态系统，包括序列曝光控制单 元1、序列曝光图像记录单元2、crf估算单元3及宽动态输出单元4，序列曝光 控制单元1用于确定当前的曝光脉冲频率并记录当前的帧图像作为关键帧图像 ；序列曝光图像记录单元2用于以以关键帧图像频率为基准分别取若干不同比 例的脉冲频率和关键帧图像频率组成曝光脉冲序列，同时获取若干不同比例的 脉冲频率的图像和关键帧图像组成图像合成序列；crf估算单元3用于根据图像 合成序列及对应的曝光脉冲频率序列估算相机响应函数；宽动态输出单元4用 于根据相机响应函数计算宽动态范围图像，输出到显示设备。
[0086]
关于上述深度相机宽动态系统的具体限定可以参见上文中对于深度相机宽 动态方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软 件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设 备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于 处理器调用执行以上各个模块对应的操作。
[0087]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器， 其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、 存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控 制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失 性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存 储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用 于存储上述深度相机宽动态方法的数据。该计算机设备的网络接口用于与外部 的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于红外 图像的人脸活体检测方法。
[0088]
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关 的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定， 具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件， 或者具有不同的部件布
置。
[0089]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器 存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0090]
s100：确定当前的曝光脉冲频率并记录当前的帧图像作为关键帧图像；
[0091]
确定当前的曝光脉冲频率f，其定义为当前时间的单位时间内方波的高电 位个数f的倒数，高电位时值为1代表开启激光光源发射阵列，低电位时值为0 代表关闭激光光源发射阵列。
[0092]
s200：以关键帧图像频率为基准分别取若干不同比例的脉冲频率和关键帧 图像频率组成曝光脉冲序列，同时获取若干不同比例的脉冲频率的图像和关键 帧图像组成图像合成序列；
[0093]
在一实施例中，曝光脉冲频率序列包括5个脉冲频率，分别为0.25f、0.5f 、1f、1.5f、1.75f。曝光脉冲频率序列中的脉冲频率个数由曝光脉冲频率f决 定，曝光脉冲序列中的脉冲频率个数是不定的，可以根据实际实验结果与工程 要求修改，也就说不一定是5个，也可以是4个，脉冲频率也不是确定的，在本 实施例中列出的5个脉冲频率只是为了高频段与低频段各有覆盖。曝光脉冲频 率与曝光脉冲次数的关系为v＝1/f，v代表脉冲次数，f代表脉冲频率。因此， 只要确定不同的曝光脉冲频率就可以获得不同的曝光脉冲序列。关键帧图像包 括ir图像和depth图像，图像合成序列包括ir图像合成序列和depth图像合成序 列。根据曝光脉冲频率，每曝光一次，就能获得一张depth图像和ir图像，将 获得的depth图像和ir图像分别添加到各自的图像合成序列中，当曝光相应的 脉冲次数后，完成曝光脉冲序列及对应的ir图像合成序列、depth图像合成序 列。
[0094]
s300：根据图像合成序列及对应的曝光脉冲频率序列估算相机响应函数；
[0095]
步骤s300具体包括以下步骤：
[0096]
根据预先的采样点和图像像素、曝光量估算相机响应函数；
[0097]
计算相机响应函数的反向函数完成ir的宽动态范围图像。
[0098]
由于一般相机的成像分辨率大于300x300，因此如果将全部像素纳入函数 估算中，将会造成额外的算力消耗与时间延迟，因此通过在图像上设置固定个 数的采样点参数crf估算，根据图像像素z与相机响应函数f以及曝光量tp 之间的关系：
[0099]
z＝f(e
×
tp)
[0100]
将上公式变换可得：
[0101]
g(z)＝in e+in tp
[0102]
其中，z为图像上对应位置的像素值，tp 为曝光量，这两者为已知量，未知量为函数g以及e辐照度,由于z 的值为有限个，即像素值域为一个确定范围，因此在g函数在z 的值域内构成一个超定方程组，利用最小二乘法即可求出相机响应函数f 的反向函数g 。由此，计算得到e记为图像真实色调范围(即ir的宽动态范围图像)，其关 系为：
[0103]
in e＝g(z)
‑
in tp。
[0104]
s400：根据相机响应函数计算宽动态范围图像，输出到显示设备。
[0105]
上述宽动态范围图像包括ir的宽动态图像和depth的宽动态图像。其中， 将宽动态范围图像直接输出到显示设备或者其他计算单元是不合理和很消耗设 备的总线带宽的，因此在将宽动态图像输出时一般要进行图像色调映射步骤， 将宽动态范围图像重新映
射回低带宽的低动态范围图像，如8bit的rgb图像。 关于ir的宽动态图像还包括ir色调映射步骤，其内容为将得到的辐照图像e映 射为低动态范围，计算公式为：
[0106]
l
d
(x)＝el
w
(x)
[0107]
其中，l
d
为最终输出ir图像，e为一个超参数，一般取l
w
的最大值的倒数，l
w
表示为计算得到的宽动态图像。
[0108]
输出至显示设备时，将l
d
根据当前显示设备的分辨率进行显示。
[0109]
depth的宽动态图像的合成过程为步骤s500，步骤s500的内容如下：
[0110]
根据ir图像合成序列获取depth图像合成序列中depth图像融合的权重矩阵 ；
[0111]
根据权重矩阵对depth图像进行融合，完成depth的宽动态范围图像。
[0112]
其中，根据ir图像合成序列获取depth图像合成序列中depth图像融合的权 重矩阵步骤，具体包括以下内容：
[0113]
对ir图像合成序列中的若干ir图像进行归一化处理；
[0114]
计算各自ir图像的亮度，生成与ir图像对应的亮度图序列；
[0115]
结合亮度图序列、高曝光图像阈值及低曝光图像阈值生成多张权重图；
[0116]
根据多张权重图融合生成depth的宽动态范围图像。
[0117]
depth 图像合成序列得到的图像的灰度表示范围为[0,4096]，一般最大值由相机参数 确定，为了便于后续计算首先需要将0到4096的灰度级别映射到0到1的灰度级 别。
[0118]
通过归一化的灰度映射得到五张灰度级别在0到1的图像，接下来的操作需 要计算进行depth图像合成序列融合的权重矩阵，使用常见的线性融合在曝光 均匀的图像中有很好的效果，但在基于tof的成像系统中，曝光永远存在距离 刻度上的差异，因此线性融合不太适用这种情况；考虑到depth与ir的像素都 是经过深度传感器的输出经过ad信号得到，因此彼此之间存在相似的响应特性 ，因此通过提取ir图像的过曝欠曝区域间接作为depth融合的权重。具体实施 如下：
[0119]
首先对ir序列图像进行归一化，利用式(1)分别计算各自的亮度图i得到 一个对应亮度图序列i的：
[0120]
i(x)＝0.299l
lr
(x)+0.587l
lg
(x)+0.114l
lb
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0121]
其中，l
lr
、l
lg
、l
lb
分别表示为ir图像的r、g、b三个通道，0.299、0.587 、0.114分别表示为r、g、b三个通道对应的系数。
[0122]
高水平曝光图像由于整体亮度高，可以将场景中比较暗的部分更清晰显现 出来，相应地，权重图的暗区域权值相对更高；利用式(2)计算高水平曝光 图像的权重图：
[0123][0124]
其中，阈值t
a
表示为暗的程度，这里取值0.2。
[0125]
低曝光图像整体亮度被抑制在较低水平，因此对于像素值较高的区域，保 留着更大的对比度。相应地，权重图着重标记过亮区域；利用式(3)计算其 对应权重图：
[0126][0127]
其中，阈值t
b
表示为亮的程度，这里取值0.9。
[0128]
关键帧ir图像对应的权重图由式(4)计算得到，对于两幅高曝光水平( 即曝光脉
冲频率为1.5f、1.75f所对应的图像)的权重图采用相加求均值的方 法得到一张均值权重图m1；同理对低曝光度的两张权重图(即曝光脉冲频率为 0.25f、0.5f所对应的图像)相加求平均后得到另一张权重图m2；将关键帧得 到的权重图记为m3，m3为1减去m1和m2之和，此时完成depth融合的计算前提工 作。式(4)如下：
[0129]
m1＝(m
1.75f
+m
1.25f
)/2
[0130]
m2＝(m
0.5f
+m
0.25f
)/2
[0131]
m3＝1
‑
m1
‑
m2
[0132]
根据得到的三张权重图(m1、m2、m3)进行最终的图像融合得到depth的 宽动态范围图像：
[0133]
m＝0.1m1m1+0.1m2m1+0.6m3m3+0.1m4m2+0.1m5m2[0134]
其中，{m1,m2,m3,m4,m5}为根据曝光脉冲序列生成的对应的depth图像合 成序列；m1到m5分别与1.75f到0.25f对应。
[0135]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程 序，计算机程序被处理器执行时实现以下步骤：
[0136]
s100：确定当前的曝光脉冲频率并记录当前的帧图像作为关键帧图像；
[0137]
确定当前的曝光脉冲频率f，其定义为当前时间的单位时间内方波的高电 位个数f的倒数，高电位时值为1代表开启激光光源发射阵列，低电位时值为0 代表关闭激光光源发射阵列。
[0138]
s200：以关键帧图像频率为基准分别取若干不同比例的脉冲频率和关键帧 图像频率组成曝光脉冲序列，同时获取若干不同比例的脉冲频率的图像和关键 帧图像组成图像合成序列；
[0139]
在一实施例中，曝光脉冲频率序列包括5个脉冲频率，分别为0.25f、0.5f 、1f、1.5f、1.75f。曝光脉冲频率序列中的脉冲频率个数由曝光脉冲频率f决 定，曝光脉冲序列中的脉冲频率个数是不定的，可以根据实际实验结果与工程 要求修改，也就说不一定是5个，也可以是4个，脉冲频率也不是确定的，在本 实施例中列出的5个脉冲频率只是为了高频段与低频段各有覆盖。曝光脉冲频 率与曝光脉冲次数的关系为v＝1/f，v代表脉冲次数，f代表脉冲频率。因此， 只要确定不同的曝光脉冲频率就可以获得不同的曝光脉冲序列。关键帧图像包 括ir图像和depth图像，图像合成序列包括ir图像合成序列和depth图像合成序 列。根据曝光脉冲频率，每曝光一次，就能获得一张depth图像和ir图像，将 获得的depth图像和ir图像分别添加到各自的图像合成序列中，当曝光相应的 脉冲次数后，完成曝光脉冲序列及对应的ir图像合成序列、depth图像合成序 列。
[0140]
s300：根据图像合成序列及对应的曝光脉冲频率序列估算相机响应函数；
[0141]
步骤s300具体包括以下步骤：
[0142]
根据预先的采样点和图像像素、曝光量估算相机响应函数；
[0143]
计算相机响应函数的反向函数完成ir的宽动态范围图像。
[0144]
由于一般相机的成像分辨率大于300x300，因此如果将全部像素纳入函数 估算中，将会造成额外的算力消耗与时间延迟，因此通过在图像上设置固定个 数的采样点参数crf估算，根据图像像素z与相机响应函数f以及曝光量tp 之间的关系：
[0145]
z＝f(e
×
tp)
[0146]
将上公式变换可得：
[0147]
g(z)＝in e+in tp
[0148]
其中，z为图像上对应位置的像素值，tp 为曝光量，这两者为已知量，未知量为函数g以及e辐照度,由于z 的值为有限个，即像素值域为一个确定范围，因此在g函数在z 的值域内构成一个超定方程组，利用最小二乘法即可求出相机响应函数f 的反向函数g 。由此，计算得到e记为图像真实色调范围(即ir的宽动态范围图像)，其关 系为：
[0149]
in e＝g(z)
‑
in tp。
[0150]
s400：根据相机响应函数计算宽动态范围图像，输出到显示设备。
[0151]
上述宽动态范围图像包括ir的宽动态图像和depth的宽动态图像。其中， 将宽动态范围图像直接输出到显示设备或者其他计算单元是不合理和很消耗设 备的总线带宽的，因此在将宽动态图像输出时一般要进行图像色调映射步骤， 将宽动态范围图像重新映射回低带宽的低动态范围图像，如8bit的rgb图像。 关于ir的宽动态图像还包括ir色调映射步骤，其内容为将得到的辐照图像e映 射为低动态范围，计算公式为：
[0152]
l
d
(x)＝el
w
(x)
[0153]
其中，l
d
为最终输出ir图像，e为一个超参数，一般取l
w
的最大值的倒数，l
w
表示为计算得到的宽动态图像。
[0154]
输出至显示设备时，将l
d
根据当前显示设备的分辨率进行显示。
[0155]
depth的宽动态图像的合成过程为步骤s500，步骤s500的内容如下：
[0156]
根据ir图像合成序列获取depth图像合成序列中depth图像融合的权重矩阵 ；
[0157]
根据权重矩阵对depth图像进行融合，完成depth的宽动态范围图像。
[0158]
其中，根据ir图像合成序列获取depth图像合成序列中depth图像融合的权 重矩阵步骤，具体包括以下内容：
[0159]
对ir图像合成序列中的若干ir图像进行归一化处理；
[0160]
计算各自ir图像的亮度，生成与ir图像对应的亮度图序列；
[0161]
结合亮度图序列、高曝光图像阈值及低曝光图像阈值生成多张权重图；
[0162]
根据多张权重图融合生成depth的宽动态范围图像。
[0163]
depth 图像合成序列得到的图像的灰度表示范围为[0,4096]，一般最大值由相机参数 确定，为了便于后续计算首先需要将0到4096的灰度级别映射到0到1的灰度级 别。
[0164]
通过归一化的灰度映射得到五张灰度级别在0到1的图像，接下来的操作需 要计算进行depth图像合成序列融合的权重矩阵，使用常见的线性融合在曝光 均匀的图像中有很好的效果，但在基于tof的成像系统中，曝光永远存在距离 刻度上的差异，因此线性融合不太适用这种情况；考虑到depth与ir的像素都 是经过深度传感器的输出经过ad信号得到，因此彼此之间存在相似的响应特性 ，因此通过提取ir图像的过曝欠曝区域间接作为depth融合的权重。具体实施 如下：
[0165]
首先对ir序列图像进行归一化，利用式(1)分别计算各自的亮度图i得到 一个对应亮度图序列i的：
[0166]
i(x)＝0.299l
lr
(x)+0.587l
lg
(x)+0.114l
lb
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0167]
其中，l
lr
、l
lg
、l
lb
分别表示为ir图像的r、g、b三个通道，0.299、0.587 、0.114分别表示为r、g、b三个通道对应的系数。
[0168]
高水平曝光图像由于整体亮度高，可以将场景中比较暗的部分更清晰显现 出来，相应地，权重图的暗区域权值相对更高；利用式(2)计算高水平曝光 图像的权重图：
[0169][0170]
其中，阈值t
a
表示为暗的程度，这里取值0.2。
[0171]
低曝光图像整体亮度被抑制在较低水平，因此对于像素值较高的区域，保 留着更大的对比度。相应地，权重图着重标记过亮区域；利用式(3)计算其 对应权重图：
[0172][0173]
其中，阈值t
b
表示为亮的程度，这里取值0.9。
[0174]
关键帧ir图像对应的权重图由式(4)计算得到，对于两幅高曝光水平( 即曝光脉冲频率为1.5f、1.75f所对应的图像)的权重图采用相加求均值的方 法得到一张均值权重图m1；同理对低曝光度的两张权重图(即曝光脉冲频率为 0.25f、0.5f所对应的图像)相加求平均后得到另一张权重图m2；将关键帧得 到的权重图记为m3，m3为1减去m1和m2之和，此时完成depth融合的计算前提工 作。式(4)如下：
[0175]
m1＝(m
1.75f
+m
1.25f
)/2
[0176]
m2＝(m
0.5f
+m
0.25f
)/2
[0177]
m3＝1
‑
m1
‑
m2
[0178]
根据得到的三张权重图(m1、m2、m3)进行最终的图像融合得到depth的 宽动态范围图像：
[0179]
m＝0.1m1m1+0.1m2m1+0.6m3m3+0.1m4m2+0.1m5m2[0180]
其中，{m1,m2,m3,m4,m5}为根据曝光脉冲序列生成的对应的depth图像合 成序列；m1到m5分别与1.75f到0.25f对应。
[0181]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于 一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述 各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器 、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储 器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编 程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包 括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram 以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdra m)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(syn chlink) dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线 动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0182]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述 实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特 征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0183]
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细 ，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域 的普通技术人员来
说，在不脱离本申请构思的前提下，还可以做出若干变形和 改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附 权利要求为准。