基于图像增强的低照度环境下人体检测方法、电子设备及储存介质

1.本发明属于人体检测技术领域，特别是涉及基于图像增强的低照度环境下人体检测方法、电子设备及储存介质。


背景技术：

2.低照度环境下人体检测是指在光照低于正常标准的环境条件下对所拍摄图像中人体目标进行精准定位。在低照度环境中拍摄的图像一般具有低亮度、低对比度、灰度值范围减小、色彩失真等特点，存在图像中人体目标特征信息丢失、前后景难以区分的问题，导致未针对低照度图像进行优化的通用人体检测方法出现漏检、误检的概率大大增加。
3.对低照度图像进行图像增强来提升对比度、较正色差、增强边缘信息，使用增强后图像进行人体检测可以有效提升低照度图像中人体检测模型的性能。但是当前低照度图像增强算法主要以提升主观视觉质量为目的，而不是为了提高后续的目标检测算法精度，这使得图像增强中图像质量的改进方向与促进目标检测算法性能提升之间存在差距，影响了人体检测的准确度。
4.中国专利cn202111402243.4公开了一种复杂环境下行人检测方法，该方法包括：准备数据集，并进行数据增强模拟复杂环境下的数据；搭建yolov3改进网络模型；对所述的yolov3改进网络模型进行训练；使用训练最佳模型对行人进行检测。该专利在训练过程中数据增强部分未考虑低照度图像对人体检测方法性能的影响，在低照度环境下该方法难以有效提取人体区域特征，造成检测精度下降。
5.中国专利cn202010694542.9公开了一种低照度图像增强方法，该方法包括：通过对低照度原图使用max-rgb模型得到初始光照分量图；对获得的初始光照分量图使用奇异值分解处理，并归一化；对归一化后的结果使用三次引导滤波得到优化后的光照分量图；根据简化retinex模型，将低照度原图rgb三通道与光照分量图逐点相除，获得增强图像；使用低照度原图rgb三通道中的g通道作为引导图像，对增强图像进行去噪处理，得到最终需要的增强图像。该专利采用了传统的图像处理方法对低照度图像进行增强，很大程度上依赖于参数调整来提高图像的主客观质量，缺少对于不同场景的鲁棒性，图像增强质量一般。
6.中国专利cn202110966894.x公开了一种低照度目标检测方法，该方法包括：训练检测器；训练用于增强低照度图像的增强器；训练用于风格迁移的生成器；借助生成器对检测器进行初步微调；借助增强器对初步微调后的检测器进行再次微调；利用微调后的检测器检测增强后的低照度图像。该专利虽然使用了卷积神经网络enlightengan对低照度图像进行增强，但图像增强以提升主观视觉质量为目的，而不是为了提高后续的目标检测算法精度，这使得图像增强中图像质量的改进方向与促进人体检测算法性能提升之间存在差距，人体检测精度仍有待于进一步提升。


技术实现要素：

7.本发明实施例的目的在于提供基于图像增强的低照度环境下人体检测方法、电子设备及储存介质，构建光照增强曲线估计网络，构建端到端的低照度人体检测框架，构建多任务损失函数，实现低照度环境下高精度的人体检测，以解决低照度环境对于人体检测算法性能的不利影响以及低照度图像增强中存在的未关注后续目标检测高级任务精度的问题。
8.为解决上述技术问题，本发明所采用的技术方案是，基于图像增强的低照度环境下人体检测方法，包括以下步骤：
9.步骤1，将低照度图像输入至光照增强曲线估计网络，输出低照度图像对应的高阶光照增强曲线参数矩阵；将光照增强曲线参数矩阵代入高阶光照增强曲线函数中进行迭代，得到高阶光照增强曲线；低照度图像三个通道中的每个归一化像素根据其对应的高阶光照增强曲线进行动态范围调整，得到增强后图像；
10.步骤2，将增强后图像输入至人体检测模块中，输出人体检测预测结果：
11.步骤21，将增强后图像输入至特征提取网络，依次通过focus模块、3组由cbh模块和irb_x block模块组成的模块、一组由cbh模块和cpp模块组成的模块，分别输出五个不同尺度信息的特征图；
12.步骤22，五个不同尺度信息的特征图中，对于尺寸信息由小到大的前四个特征图，依次进行通道数减半、2倍上采样的处理，并与其维度相同的特征图进行拼接，从而构建四个不同尺度信息的更新特征图；
13.四个不同尺度信息的更新特征图中，对于尺寸信息由大到小的前三个更新特征图，进行通道数减半、2倍下采样的处理，并与其维度相同的更新特征图进行拼接，从而构建四个不同尺度信息的拼接特征图；
14.步骤23，将四个不同尺度信息的拼接特征图输入至预测输出网络，通过添加预测头，并分别对四个不同尺度信息的拼接特征图通过卷积层进行维度变换，输出相应的预测框位置和尺度信息，最后通过非极大值抑制算法，获得人体检测预测结果；
15.步骤3，通过多任务损失函数，对低照度图像增强模块和人体检测模块进行多阶段联合优化，训练得到端到端的低照度人体检测框架；
16.步骤4，将低照度图像输入到训练好的端到端的低照度人体检测框架中，进行图像增强以及人体检测，输出人体检测预测结果。
17.进一步地，步骤1中，光照增强曲线估计网络包括依次连接的focus模块和6层深度可分离卷积层；每个深度可分离卷积层由1个3
×
3深度卷积、1个1
×
1卷积和激活函数层构成；每个深度可分离卷积层的输入，是之前所有卷积层的输出在通道维度上进行拼接后的特征图。
18.进一步地于，步骤1中，高阶光照增强曲线函数，如下式所示：
19.len(x)＝le
n-1
(x)+an(x)le
n-1
(x)(1-le
n-1
(x))
20.式中，len(x)表示n轮迭代后增强后图像在坐标x位置的像素值；le
n-1
(x)表示n-1轮迭代后增强后图像在坐标x位置的像素值；an(x)表示第n轮迭代中输入的低照度图像在坐标x位置对应的光照增强曲线参数矩阵。
21.进一步地，步骤21中，cbh模块由卷积运算、批归一化处理以及h-swish激活函数组
成；所述irb_x block模块由2x个反转残差瓶颈模块和三个cbh模块组成；所述spp模块为金字塔池化模块。
22.更进一步地，反转残差瓶颈模块，包括依次连接的7
×
7的深度可分离卷积操作、1
×
1卷积操作、3
×
3的深度可分离卷积操作、1
×
1的卷积操作，当模块的输入维度与输出维度不同时，将模块中的短接连接去除。
23.进一步地，步骤23中，预测头由步骤21得到的五个不同尺度信息的特征图中第二大尺寸的特征图通过横向多尺度特征融合生成。
24.进一步地，步骤3中，多任务损失函数，由低照度图形增强网络损失函数和人体检测网络损失函数加权求和而得，具体如下式所示：
25.l
total
＝λ
enhance
l
enhance
+λ
detect
l
detect
26.式中，l
total
表示多任务损失函数；l
enhance
表示低照度图形增强网络损失函数；l
detect
表示人体检测网络损失函数；λ
enhance
表示低照度图形增强网络损失函数的加权系数；λ
detect
表示人体检测网络损失函数的加权系数；
27.所述低照度图形增强网络损失函数，具体如下式所示：
28.l
enhance
＝l
spa
+l
exp
+w
col
l
col
+w
tva
l
tva
29.式中，l
spa
表示空间一致性损失函数；l
exp
表示曝光控制损失函数；l
col
表示色彩恒常性损失函数；w
col
表示色彩恒常性损失函数的加权系数；l
tva
表示光照平滑度损失函数；w
tva
表示光照平滑度损失函数的加权系数；
30.所述人体检测网络损失函数，如下式所示：
31.l
detect
＝λ
coord
l
ciou
+l
conf
32.式中，l
detect
表示人体检测网络损失函数；l
ciou
表示预测框回归损失函数；λ
coord
表示预测框回归损失函数的加权系数；l
conf
表示置信度损失函数。
33.更进一步地，低照度图形增强网络损失函数的加权系数λ
enhance
和人体检测网络损失函数的加权系数λ
detect
在训练迭代的过程中按以下公式进行动态加权平衡调整，具体为：
[0034][0035][0036]
式中，t为实数参数；ω
ξ
(t-1)表示t-1次迭代中的损失函数l
ξ
的相对下降率；
[0037]
l
ξ
(t-1)表示t-1次迭代中的损失函数；l
ξ
(t-2)表示t-2次迭代中的损失函数；λ
ξ
(t)表示t次迭代中的损失函数l
ξ
的加权系数；ω
p
(t-1)表示t-1次迭代中某一损失函数的相对下降率；ξ∈{enhance,detect}，t＝1,2时，ω(t)＝1，p表示在求和函数中表示两个损失函数的索引。
[0038]
本发明的另一发明目的，在于提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0039]
存储器，用于存放计算机程序；
[0040]
处理器，用于执行存储器上所存放的程序时，实现上述方法步骤。
[0041]
本发明的又一发明目的，在于提供一种计算机可读存储介质，计算机可读存储介
质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。
[0042]
本发明的有益效果是：
[0043]
(1)本发明实施例提供的低照度图像增强模块，通过高阶光照增强曲线对低照度图像进行像素级的动态范围调整，不但可以实现图像暗部的增强，还可以抑制过曝光区域，有效地利用了低照度图像的特征信息，显著提高了图像增强的质量，解决了低照度环境对于人体检测算法性能的不利影响以及低照度图像增强中存在的未关注后续目标检测高级任务精度的问题。
[0044]
(2)本发明实施例对人体检测模块中的特征提取网络、特征融合网络、预测输出网络进行改进。通过在特征提取网络中引入反转残差瓶颈模块，反转残差瓶颈模块用“小维度-大维度-小维度”的纺锤形式进行特征提取，避免了特征图在不同维度之间变化时由于维度压缩造成信息损失，对特征提取产生的影响，反转残差瓶颈模块首先采用大小为7
×
7的深度可分离卷积核，使得卷积层在提取空间特征信息时具有更大的感受野，从而在目标检测时可以更充分地感知全局上下文信息，提高微小目标检测精度。本发明特征融合网络通过增加了自底向上的强细粒度信息传播路径，使得顶部小尺寸特征图获得了更多的局部细节信息。预测输出网络通过增加预测头，将包含了丰富的细节信息和空间信息的浅层特征引入预测输出网络，有效降低目标尺度方差过大造成的不利影响，更加有利于对微小目标进行定位。
[0045]
(3)本发明实施例提出将图像增强和目标检测两个阶段进行联合优化的训练方法，通过设计的多任务损失函数将人体检测网络的回归损失部分加入到对图像增强网络训练的监督中，使得图像增强网络向着提升人体检测精度的方向进行参数更新。
[0046]
(4)本发明实施例构建的端到端的低照度图像人体检测框架通过低照度图像增强模块和人体检测模块的相互适应，实现了更高的检测精度，对不同光照环境下人体检测具有更强的鲁棒性。
附图说明
[0047]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1是本发明实施例端到端低照度人体检测框架图。
[0049]
图2是本发明实施例光照增强曲线估计网络结构图。
[0050]
图3是本发明实施例人体检测网络结构图。
[0051]
图4是本发明实施例irb_1block结构图。
[0052]
图5是本发明实施例反转残差瓶颈模块结构图。
[0053]
图6是本发明实施例的人体检测方法与现有技术的人体检测方法的检测结果对比，其中a和c是采用现有技术进行人体检测所得的结果，b和d是采用本发明实施例的人体检测方法进行检测的结果。
具体实施方式
[0054]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055]
基于图像增强的低照度环境下人体检测模型，其结构如图1所示，为端到端的低照度人体检测框架，模型的输入为低照度图像，输出为人体检测预测结果。端到端的低照度人体检测框架包括依次连接的低照度图像增强模块和人体检测模块。
[0056]
低照度图像增强模块，用于将低照度图像输入到光照增强曲线估计网络中，输出低照度图像对应的高阶光照增强曲线参数矩阵，利用获得的高阶光照增强曲线对低照度图像三个通道中的每个像素进行动态范围调整，得到增强后图像。
[0057]
光照增强曲线估计网络包括依次连接的focus模块和6层深度可分离卷积层。每个深度可分离卷积层由1个3
×
3深度卷积、1个1
×
1卷积和激活函数层构成。
[0058]
人体检测模块，用于对增强后图像进行人体检测，得到基于增强后图像的人体检测预测结果。
[0059]
实施例
[0060]
基于图像增强的低照度环境下人体检测方法，如图1所示，包括以下步骤：
[0061]
步骤1，将低照度图像输入至光照增强曲线估计网络，输出低照度图像对应的高阶光照增强曲线参数矩阵；将光照增强曲线参数矩阵代入高阶光照增强曲线函数中进行迭代，得到高阶光照增强曲线；低照度图像三个通道中的每个归一化像素根据其对应的高阶光照增强曲线进行动态范围调整，得到增强后图像。
[0062]
本发明将图像增强问题转化为估计一个与输入的低照度图像对应的高阶光照增强曲线问题，然后使用得到的高阶光照增强曲线对低照度图像进行像素级的动态范围调整。
[0063]
一个具体实施例中：将大小为w
×h×
3的低照度图像输入至光照增强曲线估计网络中，具体为将大小为w
×h×
3的低照度图像输入至focus模块中，进行2倍下采样，这样在不产生信息损失的基础上大大降低了模型计算量；然后通过一个具有6层深度可分离卷积层的网络，每个深度可分离卷积层由1个3
×
3深度卷积、1个1
×
1卷积和激活函数层构成，深度可分离卷积相较于普通卷积能够保持原有性能，并且参数量和运算成本更低；每个深度可分离卷积层的输入，是之前所有卷积层的输出在通道维度上进行拼接后的特征图，这种跳跃连接方式加强了整个网络输入信息的传递，更加有效地利用了特征信息，网络的每一层都可以直接获取来自损失函数和输入特征图的梯度，实现隐式的深监督；最后一层输出为大小为的参数估计矩阵。光照增强曲线估计网络的结构参数如表1所示。
[0064]
表1光照增强曲线估计网络的结构参数
[0065][0066][0067]
如图2所示，对输出的大小为的参数估计矩阵进行2倍上采样，得到与输入的低照度图像相同尺寸的参数估计矩阵，其大小为w
×h×
24；将大小为w
×h×
24的参数估计矩阵按通道划分为大小为w
×h×
8的3个部分，每个部分分别对应输入的低照度图像中的r、g、b通道；每个部分的8个通道分别对应8次迭代中原图相应通道的相应坐标位置的光照增强曲线参数。将光照增强曲线参数矩阵代入高阶光照增强曲线函数中进行迭代，得到高阶光照增强曲线；为了避免映射后的像素值发生溢出截断的情况，先将低照度图像的每个像素的像素值压缩到[0,1]的范围内，即对低照度图像的每个像素进行归一化处理，然后低照度图像三个通道中的每个压缩后的像素根据其对应的高阶光照增强曲线进行动态范围调整，得到增强后图像。
[0068]
其中，高阶光照增强曲线函数，按照以下步骤获得：
[0069]
步骤11，采用一个如式(1)所示的二次函数来描述光照增强曲线：
[0070]
le(i(x)；α)＝i(x)+αi(x)(1-i(x))
ꢀꢀ
(1)
[0071]
式中，le(i(x)；α)表示增强后图像在坐标x位置的像素值；x表示低照度图像的像素坐标；i(x)表示低照度图像在坐标x位置的像素值；α∈[-1,1]为光照增强曲线可学习的
参数，可以控制二次曲线的开口方向和大小，从而控制像素的曝光度。
[0072]
上述光照增强曲线符合单调且可导的特点，曲线可导使其参数在梯度反向传播时可被学习，单调的映射曲线保证增强后的相邻像素间保持原有的梯度。随着参数α的改变，光照增强曲线可以对图像的动态范围进行扩大或压缩，不但可以实现图像暗部的增强，还可以抑制过曝光区域。
[0073]
步骤12，对式(1)的二次函数进行迭代得到具有更高曲率的高阶光照增强曲线，调节图像动态范围的能力更强，具体如式(2)所示：
[0074]
len(x)＝le
n-1
(x)+αle
n-1
(x)(1-le
n-1
(x))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0075]
式中，len(x)表示n轮迭代后增强后图像在坐标x位置的像素值；le
n-1
(x)表示n-1轮迭代后增强后图像在坐标x位置的像素值；n表示迭代次数，本发明具体实施例中设置为8。
[0076]
步骤13，低照度图像在不同位置的像素应具有不同幅度的动态范围调整，否则会出现局部区域的过度增强或欠增强。因此，为了实现像素级别的动态范围调整，需要对每个像素位置设置对应的光照增强曲线参数，因此式(2)进一步调整为：
[0077]
len(x)＝le
n-1
(x)+an(x)le
n-1
(x)(1-le
n-1
(x))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0078]
式中，an(x)表示第n轮迭代中输入的低照度图像在坐标x位置对应的光照增强曲线参数矩阵。此处认为相邻区域的像素强度相差极小，因此计算得到的参数矩阵an也相似，从而相邻区域对应的光照调整曲线相似，因此增强后图像相邻像素间仍保持原有的梯度。
[0079]
步骤2，将增强后图像输入至人体检测模块中，如图3所示，输出人体检测预测结果。
[0080]
步骤21，将增强后图像输入至特征提取网络，依次通过focus模块、3组由cbh模块和irb_x block模块组成的模块、一组由cbh模块和cpp模块组成的模块，分别输出五个不同尺度信息的特征图。
[0081]
本发明具体实施例人体检测模块以yolo-v4检测算法为框架进行改进，包括特征提取、特征融合和预测输出三个部分。
[0082]
其中，本发明特征提取网络包括依次连接的focus模块、cbh模块、irb_1block模块、cbh模块、irb_2block模块、cbh模块、irb_3block模块、cbh模块、spp模块；其中，cbh模块由卷积运算、批归一化处理以及h-swish激活函数组成；irb_x block模块由2x个反转残差瓶颈模块和三个cbh模块组成；spp模块为金字塔池化模块。
[0083]
本发明特征提取网络架构的详细参数如表2所示，其中第2、4、6、8层的输出分别是对输入图像进行4倍、8倍、16倍、32倍下采样后提取的特征图，用于作为输入进入特征融合网络中进行多尺度特征融合。
[0084]
表2特征提取网络的结构参数
[0085][0086]
一个具体实施例中：将大小为1280
×
1280
×
3的增强后图像输入至focus模块中，进行2倍下采样，输出大小为640
×
640
×
48的特征图c1；将大小为640
×
640
×
48的特征图c1输入至cbh模块中，经步长为2的3
×
3卷积操作，输出大小为320
×
320
×
96的特征；将大小为320
×
320
×
96的特征分两路分别输入至irb_1block的两个cbh模块中，一路经cbh模块输出的特征进入2个反转残差瓶颈模块中进行逐层深度可分离卷积和逐点卷积，所得输出特征与另一路经cbh模块得到的特征进行concat操作，得到的拼接特征再经一个cbh模块，经1
×
1卷积，输出大小为320
×
320
×
96的特征图c2；然后将大小为320
×
320
×
96的特征图c2依次输入至cbh模块和irb_3block中，输出大小为160
×
160
×
192的特征图c3；将大小为160
×
160
×
192的特征图c3依次输入至cbh模块和irb_3block中，输出大小为80
×
80
×
384的特征图c4；将大小为80
×
80
×
384的特征图c4依次输入至cbh模块和spp模块中，输出大小为40
×
40
×
768的特征图c5。
[0087]
每个irb_x block，如图4所示，包括三个cbh模块和2x个反转残差瓶颈模块；irb_3block模块中的反转残差瓶颈模块的输入与输出维度相同、深度卷积步长stride＝1、通道扩展倍数t＝2。输入特征分两路分别进入两个cbh模块，使用1
×
1卷积进行特征变换，相较于直接进行通道划分，可以进一步提高特征的重用性，经过卷积使得输入irb_x block的特征通道减半，减少了计算量；一路经cbh模块输出的特征进入2x个反转残差瓶颈模块中进行逐层深度可分离卷积和逐点卷积，所得输出特征与另一路经cbh模块得到的特征进行concat操作，得到的拼接特征再经一个cbh模块，经1
×
1卷积，得到输出特征。irb_x block的输入与输出维度相同、深度卷积步长stride＝1、通道扩展倍数t＝2。
[0088]
每个反转残差瓶颈模块如图5所示，包括依次连接的7
×
7的深度可分离卷积操作、1
×
1卷积操作、3
×
3的深度可分离卷积操作、1
×
1的卷积操作，其结构参数如表3所示，当模块的输入维度与输出维度不同时，将模块中的短接连接去除。
[0089]
反转残差瓶颈模块采用“小维度-大维度-小维度”的纺锤形式进行特征提取，避免
了特征图在不同维度之间变化时由于维度压缩造成信息损失，对特征提取产生的影响。
[0090]
由于微小目标本身具有较少的特征信息，借助其周围环境背景特征和全局场景特征等上下文信息来增强微小目标的特征响应，可以有效提升模型检测性能。本发明在反转残差瓶颈模块中引入大小为7
×
7的深度可分离卷积核，使得卷积层在提取空间特征信息时具有更大的感受野，从而在目标检测时可以更充分地感知全局上下文信息，提高微小目标检测精度。
[0091]
表3反转残差瓶颈模块结构参数
[0092][0093]
大小为df×df
×
m的输入特征依次进行7
×
7的深度可分离卷积操作、1
×
1卷积操作、3
×
3的深度可分离卷积操作、1
×
1卷积操作，输出的特征与原特征进行信息交互与结合，输出大小为的特征(n表示设定的输出特征通道数)。模块中的深度卷积在高维空间中进行，因此可以提取更丰富的特征表示。
[0094]
本发明提出的反转残差瓶颈模块，可用数学表达式表示如下：
[0095]
g＝φ
2,p
φ
2,d
(φ
1,p
φ
1,d
(f))+f
ꢀꢀ
(4)
[0096]
式中，g表示模块的输出特征，φ
1,d
表示第一个7
×
7深度可分离卷积层；φ
1,p
表示第一个1
×
1卷积层；φ
2,d
表示第二个3
×
3深度可分离卷积层；φ
2,p
表示第二个1
×
1卷积层；f表示模块的输入特征。
[0097]
本发明提供新的反转残差瓶颈模块，并在此基础上对原特征提取网络结构进行重新设计，增强了卷积神经网络的学习能力，在轻量化的同时提升了模型精确度。
[0098]
步骤22，五个不同尺度信息的特征图中，对于尺寸信息由小到大的前四个特征图，依次进行通道数减半、2倍上采样的处理，并与其维度相同的特征图进行拼接，从而构建四个不同尺度信息的更新特征图；
[0099]
四个不同尺度信息的更新特征图中，对于尺寸信息由大到小的前三个更新特征图，进行通道数减半、2倍下采样的处理，并与其维度相同的更新特征图进行拼接，从而构建四个不同尺度信息的拼接特征图；
[0100]
本发明的特征融合网络采用了pan网络架构，将底层特征图的细节信息与顶层特征图的语义信息相结合，结构如图3中间部分所示。
[0101]
特征融合网络输入为特征提取网络中各网络层生成的不同尺度的特征图{c1,c2,c3,c4,c5}，其中最小尺寸特征图c5包含了强语义信息，对其进行通道数减半和2倍上采样操作得到m1，这里使用本发明设计的反转瓶颈模块(步长stride＝2)进行通道数变换，使用反卷积层实现上采样。然后通过横向连接m1与骨干网络中相同维度特征图c4在通道维度上拼接，再使用反转瓶颈模块和卷积层使得特征图通道数降低到原来的四分之一，所得到的特
征图m2继续进行尺度变换后与相同维度特征图进行连接，从而构建了由不同尺度特征图{m1,m2,m3,m4}组成的特征金字塔。语义信息自顶向下流动，使表征信息和语义信息在特征金字塔中的较大尺寸特征图中得以融合。
[0102]
在特征金字塔的小尺寸特征图中，虽然包含了强语义信息，但由于特征提取网络层数较多，细节信息和空间信息难以保留。因此，pan架构中增加了自底向上的强细粒度信息传播路径，将特征图m4使用反转残差瓶颈模块进行通道数减半得到m5，通过步长为2的卷积操作进行下采样，并与特征金字塔中相同维度特征图m3通过横向连接在通道维度上拼接得到特征图m6，照此方式得到特征图{m5,m6,m7,m8}，使得顶部小尺寸特征图获得了更多的局部细节信息。
[0103]
步骤23，将四个不同尺度信息的拼接特征图输入至预测输出网络，通过添加预测头，并分别对四个不同尺度信息的拼接特征图通过卷积层进行维度变换，输出相应的预测框位置和尺度信息，最后通过非极大值抑制算法，获得人体检测预测结果；
[0104]
本发明在微小目标预测网络中添加了一个用于微小物体检测的预测头(prediction head)。本发明所添加的预测头p1是从特征提取网络中浅层、高分辨率的特征图c2通过横向连接经过多尺度特征融合生成的，该特征图对微小物体更敏感。添加额外的预测头虽然导致了计算量和存储成本有所增加，但使得对微小目标的检测性能显著提高。
[0105]
预测端输出特征向量p1,p2,p3,p4分别由m5,m6,m7,m8经过卷积层调整通道数而来，输出特征向量p1,p2,p3,p4的尺寸分别为320
×
320
×
18，160
×
160
×
18，80
×
80
×
18，40
×
40
×
18，每个尺度特征图对应三个锚框，也就是每个尺度下每个网格生成三个检测框，每个检测框包括位置坐标、尺度和置信度(x,y,w,h,conf)5个基本参数和1个类别概率。
[0106]
由于微小目标预测网络的浅层特征图尺寸较大，包含了丰富的细节信息和空间信息，更加有利于对微小目标进行定位。结合另外三个预测头，由四个预测头构成的预测段可以降低目标尺度方差过大造成的不利影响。
[0107]
步骤3，通过多任务损失函数，对低照度图像增强模块和人体检测模块进行多阶段联合优化，训练得到端到端的低照度人体检测框架，具体包括以下步骤：
[0108]
步骤31，构建训练数据集：
[0109]
一个具体实施例中：采集8806张园区真实场景的图像数据，其中白天光照良好图像2182张，夜间低照度图像6624张。使用labelimg工具手工标注各图片中所有的行人目标框，对每一张图片生成其对应的标注文件，标注文件包括目标的类别名称以及标注框信息，每个标注框信息包括标注框的位置、尺寸。白天光照良好图像数据与夜间低照度图像数据按3:7比例混合，构成混合数据训练集，作为训练数据集。
[0110]
步骤32，将训练数据集依次通过低照度图像增强模块和人体检测模块进行训练，通过多任务损失函数，对低照度图像增强模块和人体检测模块进行多阶段联合优化，训练得到端到端的低照度人体检测框架：
[0111]
对低照度图像增强模块和人体检测模块进行多阶段联合优化，具体为：通过adam优化器使得梯度在低照度图像增强模块和人体检测模块中传播，通过训练迭代对整个框架模块参数进行调整，直至模型收敛，得到端到端的低照度人体检测框架。
[0112]
其中，多任务损失函数，由低照度图形增强网络损失函数和人体检测网络损失函数加权求和而得。低照度图形增强网络损失函数，由空间一致性损失函数、曝光控制损失函
数、色彩恒常性损失函数和光照平滑度损失函数组成，分别从不同的角度对图像增强进行质量评价，使增强后图像在一系列客观图像质量指标上具有了更好的表现。
[0113]
多任务损失函数的构建过程，具体如以下所示：
[0114]
首先，构建低照度图形增强网络损失函数：
[0115]
空间一致性损失函数l
spa
，空间一致性指低照度图像和增强后图像在对应局部位置的像素值差值应尽可能地相同，也可描述为增强前后图像相同位置与相邻区域的对比度尽量相同，具体如下式所示：
[0116][0117]
式中，k表示大小为4
×
4的局部区域的总数量；局部区域表示图像被划分的若干个相邻无重叠区域；i表示大小为4
×
4的局部区域的索引值；ω(i)表示以第i个局部区域为中心相邻的上、下、左、右四个局部区域索引的集合；j表示集合ω(i)中元素，即四个相邻的局部区域的索引值，j＝1,2,3,4；y表示增强后图像的局部区域的平均像素强度值，即将局部区域内rgb三个通道像素值相加求平均值得到灰度图，然后计算局部区域平均灰度值即得平均像素强度值；i表示低照度图像的局部区域的平均像素强度值，即将局部区域内rgb三个通道像素值相加求平均值得到灰度图，然后计算局部区域平均灰度值，即得平均像素强度值；yi表示增强后图像的局部区域i的平均像素强度值；yj表示增强后图像的局部区域i相邻局部区域j的平均像素强度值；ii表示低照度图像的局部区域i的平均像素强度值；ij表示低照度图像的局部区域i相邻局部区域j的平均像素强度值。此处所计算的像素值都是经过归一化处理的。
[0118]
曝光控制损失函数l
exp
，其设置目的在于避免图像的局部区域出现过像素强度过高或过低的情况。通过让局部区域像素强度值尽可能靠近良好曝光质量图片的强度值，来抑制低照度图像中可能存在的局部过曝光或欠曝光，具体如下式所示：
[0119][0120]
式中，m表示大小为16
×
16的局部区域的总数量；k表示大小为16
×
16的局部区域的索引值，k＝1,2,
…
,m；yk表示增强后图像第k个局部区域的平均像素强度值；e表示良好曝光质量图片的平均像素强度值，根据统计和经验，本发明具体实施例设置为0.7。
[0121]
色彩恒常性损失函数l
col
，其设置目的在于解决低照度环境给图像造成的色彩偏差问题，根据灰度世界色彩恒常性假设，一幅彩色图像的中rgb三个通道的像素平均值趋于同一个灰度值。因此，认为增强后图像的各个通道内像素值的全局平均值应尽量接近。同时，通过色彩恒常性损失函数建立了不同通道之间增强曲线的关系。色彩恒常性损失函数，具体如下式所示：
[0122]
l
col
＝(j
r-jg)2+(j
r-jb)2+(j
g-jb)2ꢀꢀ
(7)
[0123]
式中，jr表示增强后图像r通道内像素的全局平均强度值；jg表示增强后图像g通道内像素的全局平均强度值；jb表示增强后图像b通道内像素的全局平均强度值。
[0124]
光照平滑度损失函数l
tva
，其设置目的在于保持图像增强前后局部区域的像素单调性关系，通过控制相邻区域的像素对应的曲线估计参数的平滑性，从而使得相邻区域对
应的调整曲线相似，增强后图像相邻像素间仍保持原有的梯度。光照平滑度损失函数，如下式所示：
[0125][0126]
式中，n表示高阶光照增强曲线的总迭代次数；n表示迭代次数；表示第n次迭代中图像通道c所对应的曲线参数矩阵；通道c指rgb通道中的某一通道；表示矩阵在水平方向上的梯度；表示矩阵在垂直方向上的梯度。
[0127]
低照度图形增强网络损失函数的计算，如下式所示：
[0128]
l
enhance
＝l
spa
+l
exp
+w
col
l
col
+w
tva
l
tva
ꢀꢀ
(9)
[0129]
式中，l
enhance
表示低照度图形增强网络损失函数；w
col
表示色彩恒常性损失函数的加权系数；w
tva
表示光照平滑度损失函数的加权系数；本发明具体实施例中分别设置w
col
为0.5，w
tva
为20，以平衡色彩恒常性损失函数数值和光照平滑度损失函数数值的尺度差异。
[0130]
人体检测网络损失函数由预测框回归损失函数l
ciou
和置信度损失函数l
conf
计算而得。
[0131]
其中，预测框回归损失函数l
ciou
的计算，如下式所示：
[0132][0133]
其中，iou表示当前预测框和真实标注框面积的交集和并集的比值；ρ(
·
)表示计算预测框中心点和真实标注框中心点两点间的欧式距离；(xs,ym)表示第s个网格区域中第m个预测框的中心点坐标；表示第s个网格区域中第m个预测框对应的真实标注框的中心点坐标；s2表示图像中网格区域个数；s表示图像中网格区域的索引值；m表示图像中每个网格区域的预测框个数；m表示图像中每个网格区域的预测框的索引值；c表示当前预测框和真实标注框的最小外接矩形；α
·
υ表示对预测框和真实标注框的长宽比相似性进行衡量的参数，量的参数，表示真实标注框的宽；表示真实标注框的高；w表示预测框的宽；h表示预测框的高；表示第s个网格的第m个预测框中包含目标时其值为1，否则为0。
[0134]
置信度损失函数l
conf
的计算，如下式所示：
[0135][0136]
式中，cs表示第s个网格区域中预测框置信度分数；表示第s个网格区域中真实标注框置信度分数，若当前网格包含目标则为1，不包含目标则为0；λ
noobj
表示对应项加权系数，为了减少来自不包含目标的检测框的置信度预测损失，其值在本发明具体实施例中设
置为0.5；第s个网格的第m个预测框中不包含目标时其值为1，否则为0。
[0137]
因此，人体检测网络损失函数的计算，如下式所示
[0138]
l
detect
＝λ
coord
l
ciou
+l
conf
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0139]
式中，l
detect
表示人体检测网络损失函数；λ
coord
为预测框回归损失函数的加权系数，为了增加来自包含目标的检测框的坐标预测损失，其值在本发明具体实施例中设置为5。
[0140]
综合上述，多任务损失函数的计算，如下式所示：
[0141]
l
total
＝λ
enhance
l
enhance
+λ
detect
l
detect
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0142]
式中，l
enhance
表示低照度图形增强网络损失函数；l
detect
表示人体检测网络损失函数；λ
enhance
表示低照度图形增强网络损失函数的加权系数；λ
detect
表示人体检测网络损失函数的加权系数。
[0143]
为平衡两个阶段模型优化速度，避免在训练过程中让某一任务损失函数主导参数更新而忽略了另一任务，本发明引入动态加权平衡，在训练迭代过程中对多任务损失函数的加权系数λ
enhance
,λ
detect
进行调整。对于某一损失函数l
ξ
的加权系数λ
ξ
，在训练中第t次迭代后，先计算在上一次迭代中的损失函数的相对下降率，如式(13)所示，然后将该相对下降率进行指数映射后计算各个损失的对应占比，作为第t次迭代时该损失函数的加权系数，如式(14)所示。
[0144][0145][0146]
式中，ω
ξ
(t-1)表示t-1次迭代中的损失函数的相对下降率；t为实数参数，其值越大各个损失函数的权值越接近，本发明具体实施例中设置为2；ω
ξ
(t-1)表示t-1次迭代中的损失函数的相对下降率，ω
ξ
(t-1)越小，对应损失函数的收敛速度越快；l
ξ
(t-1)表示t-1次迭代中的损失函数；l
ξ
(t-2)表示t-2次迭代中的损失函数；λ
ξ
(t)表示t次迭代中的损失函数的加权系数；ω
p
(t-1)表示t-1次迭代中某一损失函数的相对下降率；ξ∈{enhance,detect}，t＝1,2时，ω(t)＝1，p表示在求和函数中表示两个损失函数的索引；λ
ξ
(t)表示损失函数l
ξ
对应的加权系数λ
ξ
。
[0147]
步骤4，将低照度图像输入到训练好的端到端的低照度人体检测框架中进行图像增强和人体检测，输出人体检测预测结果。
[0148]
为验证本发明具体实施例的基于图像增强的低照度环境下人体检测方法的有益效果，随机抽取中国专利cn202111402243.4公开的一种复杂环境下行人检测方法作为对比，对采用两种方法在低照度图像中的检测结果进行定性分析，如图6所示，其中图6中的a和c图为采用中国专利cn202111402243.4公开方法进行人体检测的结果，图6中的b和d图为采用本发明基于图像增强的低照度环境下人体检测方法进行人体检测的结果。可以明显看出对比例中未经过图像增强的夜间低照度图像画面整体亮度较低，存在局部过曝、人体目标区域对比度低等情况，人体与背景难以区分，导致产生人体目标的漏检。而本发明低照度图像经端到端低照度人体检测框架处理后，图像人体区域亮度提升，人体与背景的对比度
明显提高，边缘信息更加显著，较正了色彩偏差，有效降低了低照度图像中人体目标漏检率，并且相较于对比例的检测结果，本发明检测结果中检测框的置信度分数明显提高，表现出模型更高的稳定性。
[0149]
上述的基于图像增强的低照度环境下人体检测方法可以实施为计算机程序，保存在硬盘中，并可记载到处理器中执行，以实施本发明实施例的方法。
[0150]
本发明实施例还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的基于图像增强的低照度环境下人体检测方法。
[0151]
基于图像增强的低照度环境下人体检测方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(cd)、数字多功能盘(dvd))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(eprom)、卡、棒、键驱动)。此外，本发明实施例描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。
[0152]
应该理解，上述的实施例仅是示意。本发明描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理单元可以在一个或者多个特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器和/或设计为执行本发明所述功能的其它电子单元或者其结合内实现。
[0153]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0154]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。