一种消防机器人双目相机自动曝光调节方法与流程

1.本发明涉及一种双目相机自动曝光调节方法，尤其适用于救灾机器人上使用的一种消防机器人双目相机自动曝光调节方法。


背景技术：

2.消防机器人消防救援中的核心和关键是利用双目视觉系统对火灾场景环境进行拍摄获取双目图像，然后通过图像传输协议将双目图像传回计算设备对火灾场景进行立体匹配，计算得到火源的空间位置信息，实现消防机器人识别并计算火焰位置后，控制消防炮对火场中的火点进行精准打击。由此可见，消防机器人的双目视觉系统的双目成像质量的优劣直接影响了火点打击的精度。现阶段对于消防机器人的双目视觉系统的曝光调节方式主要依赖的传统的手动调节方式或者相机自带的自动曝光调节功能，而由于火灾场景光照条件的复杂性与极端性，在过曝与欠曝环境中存在双目图像亮度调节不合适，立体匹配效果差，相机曝光调节效率低，不能适应火灾复杂的环境等问题。


技术实现要素：

3.针对上述技术问题，本发明提出了一种消防机器人双目相机自动曝光调节方法，用以确定消防机器人双目相机的曝光参数以及亮度调节目标，调节效率高，动态范围广，适用于双目相机立体匹配，该方法包括：
4.为实现上述技术目的，本发明的用于消防机器人双目视觉的相机自动曝光调节方法，用于消防机器人双目视觉的相机自动曝光调节方法，双目相机自动曝光调节装置包括双目相机、图像传输装置、图像存储装置、计算装置，其中双目相机包括并排设置的右相机镜头和右相机镜头，左相机镜头和右相机镜头采集到的双目图像通过图像传输装置发送到图像存储装置中，并通过计算装置进行处理；
5.具体步骤如下：
6.a利用双目相机在消防机器人使用的极端环境下，以1/10步长的频率分别使用定曝光时间模式和定曝光增益模式使用双目相机各拍摄10组双目图像样本，从而获得10组不同曝光时间的双目图像样本以及10组不同曝光增益的双目图像样本；所述极端环境包括环境光照强烈的过曝环境与环境光照条件较差的欠曝环境；
7.b然后从20组双目图像样本中，计算出每一组双目相机图像样本的有效平均亮度，以样本自身标注的立体匹配视差图质量评估,以及双目图像互信息熵方法确定该消防机器人上安装双目相机的最佳曝光亮度/目标亮度；
8.c实际使用中，利用有效平均亮度作为双目相机自动曝光调节是否达到实际使用需求的衡量尺度，然后以双目相机的最佳曝光目标亮度作为基准，计算双目相机当前的帧图像亮度与基准目标亮度的差距，为了更快速的到达最佳曝光时间，使用自动曝光调节模型计算出下一步相机曝光的调节的步长，即下一次曝光时间与当前相机曝光时间的差，然后将曝光时间、曝光增益应用到双目相机后再次计算双目相机当前帧图像亮度与基准目标
亮度的差距，使当前帧图像亮度快速逼近目标亮度，从而实现双目相机曝光的自动曝光调节。
9.步骤a中所述以1/10步长的频率分别使用定曝光时间模式和定曝光增益模式使用双目相机各拍摄10组双目图像样本，具体为使用相机最长曝光时间与最短曝光时间差值的1/10，最大曝光增益与最小曝光增益差值的1/10，各拍摄10组即可获得最短曝光时间与最长曝光时间中不同曝光时间时双目相机所拍摄图像的状态，获得最小曝光增益到最大曝光增益之间各个阶段不同增益时双目相机拍摄到图像的状态。
10.拍摄双目图像样本具体为：在极端环境下先固定双目相机的曝光增益，确定初始曝光时间，选择曝光时间增加步长，逐步增加曝光时间，进行多次图像拍摄，抓取不同曝光时间下图像数据集；再次固定双目相机的曝光时间，逐步增加曝光增益，进行多次图像拍摄，抓取不同曝光增益下双目图像数据集。
11.抓取合适的多组图像样本数据，计算双目相机图像的有效平均亮度具体为：根据双目相机的使用需求，根据左相机镜头和右相机镜头视角重叠程度自适应调节双目相机图像平均亮度，通过调节双目相机曝光从而实现优化立体匹配视差图的质量，具体的通过计算不同曝光条件下双目图像立体匹配视差图的质量和双目图像来确定最优的曝光亮度目标范围。
12.通过双目图像有效信息量分析考虑到双目图像成像原理，仅对立体匹配计算相关的区域进行信息分析，左相机镜头和右相机镜头之间盲区区域内信息不做计算，那么获取的双目图像有效互信息熵h(q1,q2)的计算公式如下：
[0013][0014]
其中q1,q2分别为双目左右图像，ea1和ea2分别为左右图像的有效区域，d为测距深度范围，f为相机焦距，θ为相机镜头成像角，b为双目相机基线距离。
[0015]
所述的双目图像立体匹配视差图质量评估利用立体匹配视差图质量分析因子实现:
[0016]
|dispr[x
‑
d
±
1]
‑
displ[x
±
1]|<d
[0017]
其中dispr与displ为左右图像中同名点的视差值，d为视差，d为误差因子，用于判断同名点匹配是否正确.
[0018]
用于立体匹配视差图质量评估的质量分析量化计算模型如下所示：
[0019][0020]
其中m*n为质量评价区域大小r为质量分数，i(x,y)为待计算视差图像，w为质量计算因子。
[0021]
根据双目相机当前帧的亮度调节下一帧的曝光时间和曝光增益，调节过程具体提
包括：
[0022]
(a)计算当前帧的双目图像有效亮度，计算双目图像有效亮度与标定好的目标亮度差；
[0023]
(b)通过双目相机自动曝光调节过程中目标亮度差，通过当前帧图像的曝光时间t
n
和曝光时间调节步长t0计算下一帧曝光时间；目标亮度是固定的，由之前的10组相机样本决定，一旦标定好之后，最佳曝光亮度不再变化，调节双目相机使当前图像帧的有效亮度逼近目标亮度。
[0024]
(c)由于曝光时间调节步长t0的大小根据相机的曝光时间调节范围确定，利用公式：式：计算曝光时间调节步长t0，式中t
max
、t
min
分别为相机硬件能达到的最大曝光时间与最小曝光时间；通过判断公式中t
n+1
是否超过了相机的可调节极限，即判断下一次曝光时间的调节是否有效；
[0025]
(d)判断曝光增益是否需要调节；
[0026]
(e)应用曝光时间与曝光增益并抓取下一帧图像：对于所述的具体实施方案，可利用计算机程序对双目相机进行自动曝光控制，针对消防机器人中双目相机的自动曝光调节方法，利用双目图像互信息熵与视差图质量评价因子，确定双目相机自动曝光调节的目标亮度，利用变步长逼近的方式快速实现消防机器人双目相机对极端环境的快速适应；
[0027]
(f)将区间阈值设置为10，重复步骤a判断当前帧图像亮度是否到达最优目标亮度区间，若达到目标亮度区间即为双目相机曝光调节完成，并停止后续步骤计算，否则保持循环步骤a，判断是否需要再次进行双目相机曝光参数调节。
[0028]
利用模型：计算当前帧图像的亮度均值，即有效亮度，式中：代表有效平均亮度均值，l
um
表示(x,y)像素点处的亮度均值，ea为图像有效信息计算区域，n为像素点数量，δ为大于0的极小值防止亮度计算为负值，r、g、b为图像的颜色三通道；双目相机自动曝光调节过程中目标亮度差δl＝l
n
‑
l0，式中l
n
和l0分别表示当前帧图像有效亮度和亮度目标/最佳曝光亮度，利用公式：分别表示当前帧图像有效亮度和亮度目标/最佳曝光亮度，利用公式：计算下一帧曝光时间，式中：中t
n+1
为下一帧图像的曝光时间，t
n
为当前帧图像的曝光时间，t0为曝光时间调节步长，e
‑△
l
中δl为当前帧图像有效亮度和亮度目标/最佳曝光亮度的差值，假设当前帧图像亮度为150，亮度目标为130，那么δl＝150
‑
130＝20，那么e
‑
20
<1，t
n+1
<t
n
，即此时图像有效亮度高于亮度目标，此时的曝光时间t
n
较大，需要将其调整为数值较小的曝光时间t
n+1
，即下一帧双目相机的曝光时间。
[0029]
判断曝光增益是否需要调节具体为：当曝光时间已达到边界的时候，则需要调节曝光增益倍数k扩大曝光时间的调整范围，此时为了防止在高曝光增益k的条件下相机曝光程度发生剧烈抖动和变化，引入平滑曝光时间系数，自动曝光调节模型为：
[0030][0031]
有益效果：
[0032]
本方法通过多组对照样本的数据，提出了一种立体匹配视差图质量评价方法与双目相机图像互信息熵评价法，分析提取出满足消防机器人在极端光线环境中双目相机的亮度调节目标，并建立双目相机变步长曝光调节控制的模型，能够根据图像当前帧亮度实现变步长调节曝光参数，从而调节双目相机快速适应不同的环境，在不改变立体匹配算法的条件下，有效提高双目相机立体匹配的质量，有效提高消防机器人视觉定位的准确度。变步长参数调节方式有着运行稳定，调节迅速等优点。所述曝光参数包括曝光时间，曝光增益。相机曝光参数可通过运行于计算机设备上的计算机程序实现自动调节控制，调节效率高，调节速度快，调节目标准。
附图说明
[0033]
图1是本发明使用的双目相机成像视角原理图；
[0034]
图2是本发明用于消防机器人双目视觉的相机自动曝光调节方法流程图；
[0035]
图3是实施例拍摄的一组曝光调节图像序列；
[0036]
图4是实施例的一组双目相机信息熵分析数据；
[0037]
图5是实施例的一组相机自动曝光调节图像亮度变化过程；
[0038]
图6是本发明不同曝光亮度下视差图质量的变化变化示意图。
具体实施方式
[0039]
下面结合附图对本发明的实施例做进一步说明：
[0040]
如图1所述，本发明的用于消防机器人双目视觉的相机自动曝光调节方法，用于消防机器人双目视觉的相机自动曝光调节方法，双目相机自动曝光调节装置包括双目相机、图像传输装置、图像存储装置、计算装置，其中双目相机包括并排设置的右相机镜头和右相机镜头，左相机镜头和右相机镜头采集到的双目图像通过图像传输装置发送到图像存储装置中，并通过计算装置进行处理；
[0041]
如图2所示，具体步骤如下：
[0042]
a利用双目相机在消防机器人使用的极端环境下，以1/10步长的频率分别使用定曝光时间模式和定曝光增益模式使用双目相机各拍摄10组双目图像样本，从而获得10组不同曝光时间的双目图像样本以及10组不同曝光增益的双目图像样本；所述极端环境包括环境光照强烈的过曝环境与环境光照条件较差的欠曝环境；步骤a中所述以1/10步长的频率分别使用定曝光时间模式和定曝光增益模式使用双目相机各拍摄10组双目图像样本，具体为使用相机最长曝光时间与最短曝光时间差值的1/10，最大曝光增益与最小曝光增益差值的1/10，各拍摄10组即可获得最短曝光时间与最长曝光时间中不同曝光时间时双目相机所拍摄图像的状态，获得最小曝光增益到最大曝光增益之间各个阶段不同增益时双目相机拍摄到图像的状态。
[0043]
b然后从20组双目图像样本中，计算出每一组双目相机图像样本的有效平均亮度，以样本自身标注的立体匹配视差图质量评估,以及双目图像互信息熵方法确定该消防机器人上安装双目相机的最佳曝光亮度/目标亮度；抓取合适的多组图像样本数据，计算双目相机图像的有效平均亮度具体为：根据双目相机的使用需求，根据左相机镜头和右相机镜头视角重叠程度自适应调节双目相机图像平均亮度，通过调节双目相机曝光从而实现优化立
体匹配视差图的质量，具体的通过计算不同曝光条件下双目图像立体匹配视差图的质量和双目图像来确定最优的曝光亮度目标范围，。
[0044]
c实际使用中，利用有效平均亮度作为双目相机自动曝光调节是否达到实际使用需求的衡量尺度，然后以双目相机的最佳曝光目标亮度作为基准，计算双目相机当前的帧图像亮度与基准目标亮度的差距，为了更快速的到达最佳曝光时间，使用自动曝光调节模型计算出下一步相机曝光的调节的步长，即下一次曝光时间与当前相机曝光时间的差，然后将曝光时间、曝光增益应用到双目相机后再次计算双目相机当前帧图像亮度与基准目标亮度的差距，使当前帧图像亮度快速逼近目标亮度，从而实现双目相机曝光的自动曝光调节。
[0045]
如图4所示，通过双目图像有效信息量分析考虑到双目图像成像原理，仅对立体匹配计算相关的区域进行信息分析，左相机镜头和右相机镜头之间盲区区域内信息不做计算，那么获取的双目图像有效互信息熵h(q1,q2)的计算公式如下：
[0046][0047]
其中q1,q2分别为双目左右图像，ea1和ea2分别为左右图像的有效区域，d为测距深度范围，f为相机焦距，θ为相机镜头成像角，b为双目相机基线距离。
[0048]
所述的双目图像立体匹配视差图质量评估利用立体匹配视差图质量分析因子实现:
[0049]
|dispr[x
‑
d
±
1]
‑
displ[x
±
1]|<d
[0050]
其中dispr与displ为左右图像中同名点的视差值，d为视差，d为误差因子，用于判断同名点匹配是否正确.
[0051]
用于立体匹配视差图质量评估的质量分析量化计算模型如下所示：
[0052][0053]
其中m*n为质量评价区域大小r为质量分数，i(x,y)为待计算视差图像，w为质量计算因子。
[0054]
根据双目相机当前帧的亮度调节下一帧的曝光时间和曝光增益，调节过程具体提包括：
[0055]
(a)计算当前帧的双目图像有效亮度，计算双目图像有效亮度与标定好的目标亮度差；
[0056]
(b)通过双目相机自动曝光调节过程中目标亮度差，通过当前帧图像的曝光时间t
n
和曝光时间调节步长t0计算下一帧曝光时间；目标亮度是固定的，由之前的10组相机样本决定，一旦标定好之后，最佳曝光亮度不再变化，调节双目相机使当前图像帧的有效亮度逼近目标亮度。
[0057]
(c)由于曝光时间调节步长t0的大小根据相机的曝光时间调节范围确定，利用公式：式：计算曝光时间调节步长t0，式中t
max
、t
min
分别为相机硬件能达到的最大曝光时间与最小曝光时间；通过判断公式中t
n+1
是否超过了相机的可调节极限，即判断下一次曝光时间的调节是否有效；
[0058]
(d)判断曝光增益是否需要调节；
[0059]
(e)应用曝光时间与曝光增益并抓取下一帧图像：对于所述的具体实施方案，可利用计算机程序对双目相机进行自动曝光控制，针对消防机器人中双目相机的自动曝光调节方法，利用双目图像互信息熵与视差图质量评价因子，确定双目相机自动曝光调节的目标亮度，利用变步长逼近的方式快速实现消防机器人双目相机对极端环境的快速适应；
[0060]
(f)将区间阈值设置为10，重复步骤a判断当前帧图像亮度是否到达最优目标亮度区间，若达到目标亮度区间即为双目相机曝光调节完成，并停止后续步骤计算，否则保持循环步骤a，判断是否需要再次进行双目相机曝光参数调节。
[0061]
利用模型：计算当前帧图像的亮度均值，即有效亮度，式中：代表有效平均亮度均值，l
um
表示(x,y)像素点处的亮度均值，ea为图像有效信息计算区域，n为像素点数量，δ为大于0的极小值防止亮度计算为负值，r、g、b为图像的颜色三通道；双目相机自动曝光调节过程中目标亮度差δl＝l
n
‑
l0，式中l
n
和l0分别表示当前帧图像有效亮度和亮度目标/最佳曝光亮度，利用公式：分别表示当前帧图像有效亮度和亮度目标/最佳曝光亮度，利用公式：计算下一帧曝光时间，式中：中t
n+1
为下一帧图像的曝光时间，t
n
为当前帧图像的曝光时间，t0为曝光时间调节步长，e
‑△
l
中δl为当前帧图像有效亮度和亮度目标/最佳曝光亮度的差值，假设当前帧图像亮度为150，亮度目标为130，那么δl＝150
‑
130＝20，那么e
‑
20
<1，t
n+1
<t
n
，即此时图像有效亮度高于亮度目标，此时的曝光时间t
n
较大，需要将其调整为数值较小的曝光时间t
n+1
，即下一帧双目相机的曝光时间。
[0062]
判断曝光增益是否需要调节具体为：当曝光时间已达到边界的时候，则需要调节曝光增益倍数k扩大曝光时间的调整范围，此时为了防止在高曝光增益k的条件下相机曝光程度发生剧烈抖动和变化，引入平滑曝光时间系数，自动曝光调节模型为：
[0063][0064]
具体实施例一、
[0065]
所述的双目图像有效信息量分析考虑到双目图像成像原理，仅对立体匹配计算相关的区域进行信息分析，双目图像成像原理如图1所示，盲区区域内信息不做计算，那么双目图像有效互信息熵h(q1,q2)的计算公式如下：
[0066]
[0067]
其中q1,q2分别为双目左右图像，ea为图像有效信息计算区域，d为测距深度范围，f为相机焦距，θ为相机镜头成像角，b为双目相机基线距离。
[0068]
所述的双目图像立体匹配视差图质量分析因子为:
[0069]
|dispr[x
‑
d
±
1]
‑
displ[x
±
1]|<d
[0070]
其中dispr与displ为左右图像中同名点的视差值，d为误差因子，用于判断同名点匹配是否正确，质量分析量化计算公式如下所示：
[0071][0072]
其中m*n为质量评价区域大小r为质量分数，i(x,y)为待计算视差图像，k为质量计算因子。
[0073]
通过对双目图像的质量和视差图的质量进行分析，可以选出针对双目相机的最优自动曝光亮度目标。如图6所示，从左到右，从上到下分别为双目相机在同一场景不同曝光条件下立体匹配生成的视差图。箭头引出的两幅视差图为在双目相机调节到最佳曝光亮度区间的生成效果，其优化效果肉眼可见好于另外6幅曝光亮度不再最佳曝光亮度区间的视差图，说明本相机调节控制方案的有效性；)
[0074]
如图3所示，对上述得到的双目相机最佳曝光时间设定为双目相机自动曝光调节目标，根据双目相机当前帧的亮度调节下一帧的曝光时间和曝光增益，调节过程：
[0075]
(a)计算当前帧图像有效亮度。
[0076]
(b)根据目标亮度差计算曝光时间调节步长。
[0077]
(c)判断曝光时间调节是否越界
[0078]
(d)判断曝光增益是否需要调节。
[0079]
(e)应用曝光时间与曝光增益并抓取下一帧图像。
[0080]
(f)重复步骤(a)。
[0081]
详细曝光控制流程图，如图2所示。
[0082]
上述双目相机自动曝光调节过程中的图像有效亮度计算方式为：
[0083][0084]
其中代表有效平均亮度均值，l
um
表示(x,y)像素点处的亮度均值。r、g、b为图像的颜色三通道。
[0085]
上述双目相机自动曝光调节过程中目标亮度差δl＝l
n
‑
l0，通过δl计算下一帧曝光时间:
[0086]
[0087]
其中t
n+1
为下一帧图像的曝光时间，t
n
为当前帧图像的曝光时间，t0为曝光时间调节步长，t0的大小根据相机的曝光时间调节范围确定：
[0088][0089]
如图5所示，当曝光时间已达到边界的时候，则需要调节曝光增益倍数k扩大曝光时间的调整范围，此时为了防止在高曝光增益k的条件下相机曝光程度发生剧烈抖动和变化，引入平滑曝光时间系数，曝光时间调节计算方法：
[0090][0091]
对于所述的具体实施方案，可利用计算机程序对双目相机进行自动曝光控制，针对消防机器人中双目相机的自动曝光调节方法，利用双目图像互信息熵与视差图质量评价因子，确定双目相机自动曝光调节的亮度目标，利用变步长逼近的方式快速实现消防机器人双目相机对极端环境的快速适应，有着实现简单，调节效率高，使用场景广的特点。基于本实施方法延伸出的其他利用双目图像和视差图像的质量评价方法对双目视觉系统进行控制调节以及在本发明的基础上的各种变型与替换均在本发明的保护范围之内。