室外监控场景下人头识别检测方法、系统、终端及介质与流程

1.本发明涉及室外人头识别监控技术领域，具体地，涉及一种基于机器视觉的室外监控场景下人头识别检测方法、系统、终端及介质。


背景技术：

2.人头识别是智能城市管理中用于预测群体事件的重要技术，能够实时统计当前的人流密度并全面掌握其变化规律，及时进行预警，极大地降低人力成本，有效提高管理者的监控和研判能力。人头识别统计技术涉及到视频解析、人工智能以及电子信息等学科领域。
3.传统的人头识别统计算法主要分为两个部分：人头检测和人头跟踪。在监控摄像头固定的情况下，人头检测主要是将通过检测行人的头部特征将人从背景中分割出来；为了达到更好的统计效果，会对当前观察区域内检测到的行人进行跟踪，以此避免重复统计人头数量。
4.但是，在室外情况下，监控摄像头安装的位置较高，摄像头摄取画面的分辨率一般比较低，尤其当监测场景比较拥挤时，需要检测的人头分辨率更低。如图1所示，传统的人头检测方案，包括有：摄像头采集模块、前景提取模块、候选人头提取模块、人头分类模块、人头跟踪模块、色域调节模块、人头特征提取模块和人头模型模块，可以看到基于有监督机制的分类算法如果不进行分辨率的提升，检测准确率较低，满足不了测试的要求。
5.为了提高行人检测的准确性，会采用基于深度学习的方法，譬如：faster
‑
rcnn来进行人头检测，但是这种深度学习的方法需要的硬件成本高，不易在本地监控摄像头端进行实时处理，一般都是回传到云平台进行处理，导致整个监控系统的造价昂贵，不利于进行大规模的推广。
6.经过检索发现：
7.申请号为202010459551.x的中国发明专利申请《一种基于机器视觉的安检人流量实时监控系统及方法》，在后台图像预处理模块中，主要是通过光照强度以及合理设定阈值来进行图像的帧抽样，以便于获得合理的图像，通过人流量的检测来达到合理疏散或者开关安检口，有效帮助机场工作人员及时了解安检口人流量的情况；通过合理疏散以及开关安检口等方法提升安检效率，同时也可以节省旅客安检时间。但是该技术在人群拥挤情况下，由于人头分辨率较低，无法进行准确的人头识别。
8.申请号为201710104613.3的中国发明专利申请《基于机器视觉与双目协同技术的教室人数检测方法及系统》，对获取的教室左右不同视角视频图像数据采用高斯滤波掩模模板与灰度图像卷积，平滑滤波，达到抑制噪声与弱化背景信息，增强人物轮廓的效果，之后再采用传统的超分重建算法来获取不同分辨率的图像进行人头检测。但是该技术仅针对室内，不适用于光线恶劣的室外检测。
9.申请号为201611235768.2的中国发明专利申请《基于人头检测的视频静态人数统计方法、装置及介质》，通过人头部的颜色特征和类似椭圆特征,基于光流法并采用三帧差分法能够比较准确的检测出每一帧图像中的行人的头部轮廓，进而获取人头信息。但是该
技术检测帧频较慢，不易于进行实时的人头检测。
10.综上所述，包括上述专利技术在内的现有技术，仍然存在当人头分辨率较低、外部环境复杂时，无法进行准确、快速人头识别的问题，目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。


技术实现要素：

11.本发明针对现有技术中存在的上述不足，提供了一种基于机器视觉的室外监控场景下人头识别检测方法、系统、终端及介质。
12.根据本发明的一个方面，提供了一种室外监控场景下人头识别检测方法，包括：
13.获取室外的行人视频；
14.对获取的所述行人视频进行预处理，得到处理后的行人视频；
15.构建预训练的人头识别模型，并利用所述预训练的人头识别模型进行如下步骤：
16.‑
对所述处理后的行人视频进行高分辨率视频重建，得到重建后的行人视频；
17.‑
对所述重建后的行人视频进行分块，得到多个视频块；
18.‑
对得到的多个所述视频块分别进行人头特征提取；
19.‑
对提取的所述人头特征进行处理，获取当前视频帧的人头识别框；
20.利用获取的所述人头识别框进行人头跟踪；
21.对跟踪到的所述人头进行数量统计，得到当前场景内的人头数量，完成室外监控场景下人头识别检测。
22.优选地，所述获取室外的行人视频，包括：
23.通过摄像头对获取室外的行人视频信号进行采集，得到视频源image(s)。
24.优选地，所述预处理，包括：
25.对获取的所述行人视频的视频源image(s)进行白平衡和色域调节处理；
26.对处理后的视频依次进行前景提取和所在行人部件提取。
27.优选地，所述对获取的所述行人视频进行白平衡和色域调节处理，包括：
28.针对获取的所述行人视频，分别离线计算所述行人视频的rgb三个通道的像素均值r
ave
、g
ave
和b
ave
以及rgb三个通道的增益数值k
r
、k
g
和k
b
；
29.将rgb三个通道的像素均值r
ave
、g
ave
和b
ave
和rgb三个通道的增益数值k
r
、k
g
和k
b
对应相乘，得到rgb三个通道的增益像素值：
30.r＝k
r
×
r
ave
；
31.g＝k
g
×
g
ave
；
32.b＝k
b
×
b
ave
；
33.此时，视频源image(s)的视频流变为im age(r,g,b)，完成白平衡处理；
34.将所述视频流im age(r,g,b)进行色域调节，变为im age re(r,g,b)，完成色域调节处理。
35.优选地，所述对处理后的视频依次进行前景提取和所在行人部件提取，包括：
36.利用帧间关系和光流算法相结合的方法，获得处理后视频的前景视频帧im agere(r,g,b,i)；其中，i为表示视频流中帧序号；
37.利用腐蚀和膨胀的方法，初步删除所述前景视频帧im age re(r,g,b,i)中无用的
不存在人头的部分，即得到所在行人部件im agesize(r,g,b,i)。
38.优选地，所述构建预训练的人头识别模型，包括：
39.获取室外监控下的人头样本，将人头样本的分辨率分别设置为14
×
14、28
×
28和36
×
36，并将这些样本分别归类整理为正人头样本集和负人头样本集其中，k
+
为正人头样本集中的人头样本数量，k
‑
为负人头样本集中的人头样本数量；
40.步骤4：对正人头样本集中分辨率为14
×
14、28
×
28和36
×
36的人头样本分别放大n倍分辨率，即得到样本集s
r
{k
+
}：
[0041][0042]
其中，为人头正样本；
[0043]
采用基于局部惩罚系数的稀疏表示来对样本集s
r
{k
+
}进行超高分辨率重建，其重建方法为：
[0044][0045]
其中，x表示预估值，y表示最优值，b表示模糊矩阵，s表示上采样矩阵，x
o
表示初始图象值，λ表示局部惩罚的正则化参数，用于改进重建图像的鲁棒性；
[0046]
重复上述重建方法，直至其构建的图像满足要求的视觉清晰度为止；
[0047]
对重建后的人头样本库，将超分重建后的样本集s
r
{k
+
}划分为多个区域块，采用自适应滑窗提取方法提取不同区域块的centrist lbp算子，获取基于纹理特征的结果：
[0048][0049][0050]
其中，fe(lbp)为基于centrist lbp算子编码以后的结果，δ(g0,g
i
)为区域块灰阶与非像素中心灰阶比较结果，g0,为区域块中心像素灰阶，g
i
为区域块非中心像素灰阶，i表示非中心像素编号；
[0051]
利用centrist lbp算子，对人头正样本集和人头负样本集中的样本采用svm模型进行训练，提取粗粒度人头特征，构建得到初级人头特征提取模型；
[0052]
采用自适应滑窗提取方法对提取到的所述粗粒度人头特征进行hough特征变换，获得hough特征数；利用获得的所述hough特征数对所述初级人头特征提取模型进行再训练，得到最终的两层人头识别模型。
[0053]
优选地，所述对所述处理后的行人视频进行高分辨率图像重建，包括：
[0054]
对所在行人部件im agesize(r,g,b,i)进行基于局部惩罚的稀疏重建：
[0055][0056]
其中，x表示预估值，y表示最优值，b表示模糊矩阵，s表示上采样矩阵，x
o
表示初始图像值，λ表示局部惩罚的正则化参数，用于改进重建图像的鲁棒性，表示最小重建后图像与最优图像两者误差的最小模值；
[0057]
重复上述重建方法，直至构建的图像满足要求的视觉清晰度为止。
[0058]
优选地，所述对所述重建后的行人视频进行分块，包括：
[0059]
将所述重建后的行人视频分为j个相同分辨率的子视频块，即：
[0060]
im agesize
r
(r,g,b,i,j),j＝1,2,3,4。
[0061]
优选地，所述对得到的多个所述视频块分别进行人头特征提取，包括：
[0062]
对每一个所述视频块im agesize
r
(r,g,b,i,j)，提取区域块的centrist lbp算子，利用所述人头识别模型对提取结果进行粗粒度人头特征检测：
[0063][0064][0065]
其中，fe(lbp)为图像经过centrist lbp编码后的数值，即得到人头特征；δ(g0,g
i
)为中心像素灰阶与非中心像素灰阶比较结果，g0,为当前区域块中中心像素灰阶，g
i
为非中心像素灰阶数值，i表示非中心像素编号，通过上述运算即得到人头特征。
[0066]
优选地，所述对提取的所述人头特征进行处理，获取当前视频帧的人头识别框，包括：
[0067]
对得到的所述人头特征进行hough特征变换，获得hough特征数，再通过所述人头识别模型进行二次特征分类，即得到当前视频帧的人头识别框：
[0068]
im a gesize
r
(r,g,b,x
i
,y
j
,x
m
,y
n
)
[0069]
其中，x
i
为识别框的左下角横坐标，y
j
为识别框的左下角纵坐标，x
m
为识别框的右上角横坐标，y
n
为识别框的右上角纵坐标。
[0070]
优选地，所述利用获取的所述人头识别框进行人头跟踪，包括：
[0071]
采用k
‑
means算法和特征块匹配方法，对所述人头识别框在不同的视频帧中进行标记，实现人头跟踪。
[0072]
优选地，所述采用k
‑
means算法和特征块匹配方法，对所述人头识别框在不同的视频帧中进行标记，包括：
[0073]
对于当前场景区域，设定人头的初始位置点p，以所述初始位置点p为中心划定一个半径为r的区域，成为roi区域；
[0074]
计算所述roi区域中所有人头样本点p
i
到初始位置点p的均值，构建得到向量d：
[0075][0076]
其中，n为人头样本点数量；
[0077]
不断扩大向量d的覆盖区域，直至找到点p
t
，，所述点p
t
满足与初始位置点p的距离小于阈值t，即找到不同视频帧中具有相同标记的人头，标记为同一人头，否则返回上一步骤；
[0078]
利用k
‑
means算法找到不同视频帧之间的同一个被标记的人头；
[0079]
对于标记同一人头的区域，则采用特征匹配的办法获取不同帧之间的人头。
[0080]
优选地，所述对跟踪到的所述人头进行数量统计，得到当前场景内的人头数量，包括：
[0081]
对不同标记的人头进行数量统计，得到的统计结果即为当前场景内的人头数量。
[0082]
根据本发明的另一个方面，提供了一种室外监控场景下人头识别检测系统，包括：
[0083]
摄像头采集模块，该模块用于获取室外的行人视频；
[0084]
前景处理模块，该模块用于对获取的所述行人视频进行预处理，得到处理后的行人视频；
[0085]
超高分重建模块，该模块用于对所述处理后的行人视频进行高分辨率视频重建，得到重建后的行人视频；
[0086]
分块提取模块，该模块用于对所述重建后的行人视频进行分块，得到多个视频块；
[0087]
候选人头提取模块，该模块用于对得到的多个所述视频块分别进行人头特征提取；
[0088]
人头分类模块，该模块用于对提取的所述人头特征进行处理，获取当前视频帧的人头识别框；
[0089]
所述超高分重建模块、分块提取模块、候选人头提取模块和人头分类模块构成人头识别模型模块；
[0090]
预训练模块，该模块用于对所述人头识别模型模块进行预训练；
[0091]
人头跟踪模块，该模块用于利用获取的所述人头识别框进行人头跟踪；
[0092]
人头统计模块，该模块用于对跟踪到的所述人头进行数量统计，得到当前场景内的人头数量，完成室外监控场景下人头识别检测。
[0093]
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项所述的方法，或，运行上述的系统。
[0094]
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一项所述的方法，或，运行上述的系统。
[0095]
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
[0096]
本发明提供的室外监控场景下人头识别检测方法、系统、终端及介质，主要针对人流拥挤、人头分辨率较低的场景，进行基于局部惩罚的稀疏表示的超高分重建，有效提高人头统计的准确率问题。
[0097]
本发明提供的室外监控场景下人头识别检测方法、系统、终端及介质，可以在监控摄像头本地进行人头统计，降低了对于监控系统云服务器的硬件配置要求。
[0098]
本发明提供的室外监控场景下人头识别检测方法、系统、终端及介质，在人流拥挤、像素模糊的情况下，进行高清晰度图像重建，并进行人头统计工作。
[0099]
本发明提供的室外监控场景下人头识别检测方法、系统、终端及介质，采用机器学习的方式来进行图像处理，提高了行人检测的准确性。
[0100]
本发明提供的室外监控场景下人头识别检测方法、系统、终端及介质，采用基于局部惩罚系数的超分重建来进行图像预处理，具有高分辨率的优点。
[0101]
本发明提供的室外监控场景下人头识别检测方法、系统、终端及介质，对重建后的
图像再进行centrist lbp算子进行特征提取，获取人头特征，具有高精度的优点。
[0102]
本发明提供的室外监控场景下人头识别检测方法、系统、终端及介质，基于机器视觉，能够有效对低分辨率下的行人进行人头检测，提高整个系统的检测准确率。
附图说明
[0103]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0104]
图1为现有技术中传统的人头统计方案示意图。
[0105]
图2为本发明一实施例提供的室外监控场景下人头识别检测方法流程图。
[0106]
图3为本发明一优选实施例中室外监控场景下人头识别检测方法流程图。
[0107]
图4为本发明一优选实施例中人头识别模型预训练方法流程图。
[0108]
图5为本发明一实施例提供的室外监控场景下人头识别检测系统组成模块示意图。
具体实施方式
[0109]
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
[0110]
图2为本发明一实施例提供的室外监控场景下人头识别检测方法流程图。
[0111]
如图2所示，该实施例提供的室外监控场景下人头识别检测方法，可以包括如下步骤：
[0112]
s100，获取室外的行人视频；
[0113]
s200，对获取的行人视频进行预处理，得到处理后的行人视频；
[0114]
s300，构建预训练的人头识别模型，并利用预训练的人头识别模型进行s400～s700：
[0115]
s400，对处理后的行人视频进行高分辨率视频重建，得到重建后的行人视频；
[0116]
s500，对重建后的行人视频进行分块，得到多个视频块；
[0117]
s600，对得到的多个视频块分别进行人头特征提取；
[0118]
s700，对提取的人头特征进行处理，获取当前视频帧的人头识别框；
[0119]
s800，利用获取的人头识别框进行人头跟踪；
[0120]
s900，对跟踪到的人头进行数量统计，得到当前场景内的人头数量，完成室外监控场景下人头识别检测。
[0121]
在该实施例s100中，作为一优选实施例，获取室外的行人视频，可以包括如下步骤：
[0122]
通过摄像头对获取室外的行人视频信号进行采集，得到视频源image(s)。
[0123]
在该实施例s200中，作为一优选实施例，预处理，可以包括如下步骤：
[0124]
s201，对获取的行人视频的视频源image(s)进行白平衡和色域调节处理；
[0125]
s202，对处理后的视频依次进行前景提取和所在行人部件提取。
[0126]
在该实施例s201中，作为一优选实施例，对获取的行人视频进行白平衡和色域调节处理，可以包括如下步骤：
[0127]
s2011，针对获取的行人视频，分别离线计算行人视频的rgb三个通道的像素均值r
ave
、g
ave
和b
ave
以及rgb三个通道的增益数值k
r
、k
g
和k
b
；
[0128]
s2012，将rgb三个通道的像素均值r
ave
、g
ave
和b
ave
和rgb三个通道的增益数值k
r
、k
g
和k
b
对应相乘，得到rgb三个通道的增益像素值：
[0129]
r＝k
r
×
r
ave
；
[0130]
g＝k
g
×
g
ave
；
[0131]
b＝k
b
×
b
ave
；
[0132]
此时，视频源image(s)的视频流变为im age(r,g,b)，完成白平衡处理；
[0133]
s2013，将视频流im age(r,g,b)进行色域调节，变为im age re(r,g,b)，完成色域调节处理。
[0134]
在该实施例s202中，作为一优选实施例，对处理后的视频依次进行前景提取和所在行人部件提取，可以包括如下步骤：
[0135]
s2021，利用帧间关系和光流算法相结合的方法，获得处理后视频的前景视频帧im age re(r,g,b,i)；其中，i为视频流中帧序号；
[0136]
s2022，利用腐蚀和膨胀的方法，初步删除前景视频帧im age re(r,g,b,i)中无用的不存在人头的部分，即得到所在行人部件im agesize(r,g,b,i)。
[0137]
在该实施例s300中，作为一优选实施例，构建预训练的人头识别模型，可以包括如下步骤：
[0138]
s301，获取室外监控下的人头样本，并将人头样本的分辨率分别设置为14
×
14、28
×
28和36
×
36，并利用设置后的人头样本分别归类整理为正人头样本集和负人头样本集其中，k
+
为正人头样本集中的人头样本数量，k
‑
为负人头样本集中的人头样本数量；
[0139]
s302，对正人头样本集中分辨率为14
×
14、28
×
28和36
×
36的人头样本分别放大n倍分辨率，即得到样本集s
r
{k
+
}：
[0140][0141]
其中，为为人头正样本；
[0142]
s303，采用基于局部惩罚系数的稀疏表示来对样本集s
r
{k
+
}进行超高分辨率重建，其重建方法为：
[0143][0144]
其中，x表示预估值，y表示最优值，b表示模糊矩阵，s表示上采样矩阵，x
o
表示初始图象值，λ表示局部惩罚的正则化参数，用于改进重建图像的鲁棒性；
[0145]
重复该步骤，直至构建到图像满足视觉清晰度为止；
[0146]
s304，将超分重建后的样本集s
r
{k
+
}分为多个区域块，采用自适应滑窗提取方法提取不同区域块的centrist lbp算子，获取基于纹理特征的结果：
[0147][0148][0149]
其中，fe(lbp)为基于centrist lbp算子编码以后的结果，δ(g0,g
i
)为区域块灰阶与非像素中心灰阶比较结果，g0,为区域块中心像素灰阶，g
i
为区域块非中心像素灰阶，i表示非中心像素编号；
[0150]
s305，在此基础上，利用centrist lbp算子，对人头正样本集和人头负样本集中样本(即编码后数据)，采用svm模型进行训练，提取粗粒度人头特征，构建得到初级人头特征提取模型；
[0151]
s306，采用自适应滑窗提取方法对提取到的粗粒度人头特征进行hough特征变换，获得hough特征数；利用获得的hough特征数对初级人头特征提取模型进行再训练，得到最终的两层人头识别模型。
[0152]
在该实施例的s301中，获取的人头样本可以通过手动标注获取。
[0153]
在该实施例的s301中，根据视频帧中有无人头，将设置后的人头样本分别归类整理为正人头样本集和负人头样本集
[0154]
在该实施例s400中，作为一优选实施例，对处理后的行人视频进行高分辨率图像重建，可以包括如下步骤：
[0155]
对所在行人部件im agesize(r,g,b,i)进行基于局部惩罚的稀疏重建：
[0156][0157]
其中，x表示预估值，y表示最优值，b表示模糊矩阵，s表示上采样矩阵，x
o
表示初始图像值，λ表示局部惩罚的正则化参数，用于改进重建图像的鲁棒性，表示最小重建后图像与最优图像两者误差的最小模值；
[0158]
重复该步骤，直至构建的图像满足视觉清晰度为止。
[0159]
优选地，对重建后的行人视频进行分块，可以包括如下步骤：
[0160]
在该实施例s500中，作为一优选实施例，将重建后的行人视频分为j个相同分辨率的子视频块，即：
[0161]
im agesize
r
(r,g,b,i,j),j＝1,2,3,4。
[0162]
在该实施例s600中，作为一优选实施例，对得到的多个视频块分别进行人头特征提取，包括：
[0163]
对每一个视频块im agesize
r
(r,g,b,i,j)，提取区域块的centrist lbp算子，利用人头识别模型对提取结果进行粗粒度人头特征检测：
[0164]
[0165][0166]
其中，ffe(lbp)为图像经过centrist lbp编码后的数值，即得到人头特征；δ(g0,g
i
)为中心像素灰阶与非中心像素灰阶比较结果，g0,为当前区域块中中心像素灰阶，g
i
为非中心像素灰阶数值，i表示非中心像素编号；通过上述运算即得到人头特征。
[0167]
在该实施例s700中，作为一优选实施例，对提取的人头特征进行处理，获取当前视频帧的人头识别框，可以包括如下步骤：
[0168]
对得到的人头特征进行hough特征变换，获得hough特征数，再通过人头识别模型进行二次特征分类，即得到当前视频帧的人头识别框：
[0169]
im a gesize
r
(r,g,b,x
i
,y
j
,x
m
,y
n
)
[0170]
其中，x
i
为识别框的左下角横坐标，y
j
为识别框的左下角纵坐标，x
m
为识别框的右上角横坐标，y
n
为识别框的右上角纵坐标。
[0171]
在该实施例s800中，作为一优选实施例，利用获取的人头识别框进行人头跟踪，可以包括如下步骤：
[0172]
采用k
‑
means算法和特征块匹配方法，对人头识别框在不同的视频帧中进行标记，实现人头跟踪。
[0173]
在该实施例s800中，作为一优选实施例，采用k
‑
means算法和特征块匹配方法，对人头识别框在不同的视频帧中进行标记，可以包括如下步骤：
[0174]
s801，对于当前场景区域，设定人头的初始位置点p，以初始位置点p为中心划定一个半径为r的区域，成为roi区域；
[0175]
s802，计算roi区域中所有人头样本点p
i
到初始位置点p的均值，构建得到向量d：
[0176][0177]
其中，n为人头样本点数量；
[0178]
s803，不断扩大向量d的覆盖区域，直至找到点p
t
，点p
t
满足与初始位置点p的距离小于阈值t，即找到不同视频帧中具有相同标记的人头，标记为同一人头，否则返回s802；
[0179]
s804，利用k
‑
means算法找到不同视频帧之间的同一个被标记的人头；
[0180]
s805，对于标记的同一人头区域(即一较小的区域)，则采用特征匹配的办法获取不同帧之间的人头。
[0181]
在该实施例s900中，作为一优选实施例，对跟踪到的人头进行数量统计，得到当前场景内的人头数量，可以包括如下步骤：
[0182]
对不同标记的人头进行数量统计，得到的统计结果即为当前场景内的人头数量。
[0183]
图3为本发明一优选实施例提供的室外监控场景下人头识别检测方法流程图。
[0184]
如图3所示，该优选实施例提供的室外监控场景下人头识别检测方法，可以包括如下步骤：
[0185]
步骤1，进行室外路面的行人视频采集；
[0186]
步骤2，对采集的视频首先进行白平衡和色域调节处理，然后利用帧间关系和光流算法进行前景提取，采用膨胀和刻蚀算法进行所在行人部件提取，得到处理后的行人视频；
[0187]
步骤3，构建预训练的人头识别模型，并利用预训练的人头识别模型进行步骤4～步骤7：
[0188]
步骤4，对处理后的行人视频进行3倍分辨率图像超高分辨率视频重建；
[0189]
步骤5，将重建后的行人视频分成4个视频块；
[0190]
步骤6，采用centrist lbp和hough特征提取算法，分别对4个视频块进行人头特征提取；
[0191]
步骤7，对提取的人头特征进行处理，获取当前视频帧的人头识别框；
[0192]
步骤8，采用基于特征点匹配和k
‑
means相结合的算法对人头识别框进行人头跟踪；
[0193]
步骤9，对跟踪到的人头进行数量统计，获取当前场景内的人头数量。
[0194]
在该优选实施例中，还可以包括：
[0195]
步骤10，对获取的当前场景内的人头数量进行显示。
[0196]
在该优选实施例中，可以包括如下两种工作模式：
[0197]
模式1：人头识别模型训练模式；模式2：实时人头统计模式。
[0198]
如图4所示，在模式1时，人头识别模型训练模式，可以包括如下步骤：
[0199]
步骤101：从imagenet数据库中提取人头样本，并且将人头样本的分辨率设置14
×
14、28
×
28和36
×
36，构建正人头样本集和负人头样本集k为正整数取值，+、
‑
代表人头的正、负样本，人头样本集中包含有10万个人头训练样本和5000个人头测试样本。
[0200]
步骤102：对来自于样本集的分辨率为14
×
14、28
×
28和36
×
36人头训练样本分别进行放大三倍分辨率，即得到：
[0201][0202]
在进行超分方法的时候，为了有很好的鲁棒性，采用基于局部惩罚系数的稀疏表示来进行超高分辨率重建，其重建方法为：
[0203][0204]
其中，x表示预估值，y表示最优值，b表示模糊矩阵，s表示上采样矩阵，x
o
表示初始图象值，λ表示局部惩罚的正则化参数，用于改进重建图像的鲁棒性，重建过程采用迭代运算，获得清晰度高的待处理视频帧；
[0205]
步骤103：对超分重建的s
r
{k
+
}进行自适应centrist lbp特征的提取，获取其纹理特征，即根据不同的分辨率，提取不同区域块的centrist lbp算子，获得基于纹理特征的结果；
[0206][0207][0208]
其中，fe(lbp)表示样本库经过centrist lbp编码后的数值，即得到人头特征；δ(g0,g
i
)为中心像素灰阶与非中心像素灰阶比较结果，g0,为当前区域块中中心像素灰阶，g
i
为非中心像素灰阶数值，i表示非中心像素编号。
[0209]
步骤104：将正、负样本与对应的svm训练模型进行粗粒度人头正负样本特征提取，构建得到初级人头特征提取模型。
[0210]
步骤105：采用自适应滑窗提取方法对提取到的粗粒度人头正负样本特征进行hough特征变换，获得hough特征数；
[0211]
步骤106：利用获得的hough特征数对初级人头特征提取模型进行再训练，得到最终的两层人头识别模型。
[0212]
在模式2时，实时人头统计模式，可以包括如下步骤：
[0213]
步骤201：首先通过摄像头进行视频信号采集，得到的视频源为image(s)。
[0214]
步骤202：所对image(s)视频源进行白平衡，按照如下的方法进行：针对image(s)的rgb均值r
ave
、g
ave
和b
ave
；离线计算rgb三个通道的增益，即得到k
r
、k
g
和k
b
的数值；将rgb三通通道的像素值，分别乘以三个通道的均值增益，获得三通道的增益像素值：
[0215]
r＝kr
×
r
ave
；
[0216]
g＝k
c
×
g
ave
；
[0217]
b＝kb
×
b
ave
；
[0218]
白平衡的算法需要在fpga上进行实现，即采用基于cordic迭代的乘法器架构，完成相应的运算，此时image(s)的视频流变成im age(r,g,b)；
[0219]
在完成白平衡以后，将im age(r,g,b)进行色域调节，变为im age re(r,g,b)；利用帧间关系和光流算法相结合的方法，获得im age re(r,g,b,i)，并且经过腐蚀和膨胀，粗略删除图片中无用的不存在人头的部分，即得到im agesize(r,g,b,i)。
[0220]
步骤203：对im agesize(r,g,b,i)进行基于局部惩罚的稀疏稀疏重建，采用的重建公式为：
[0221][0222]
其中，x表示预估值，y表示最优值，b表示模糊矩阵，s表示上采样矩阵，x
o
表示初始图象值，λ表示局部惩罚的正则化参数，用于改进重建图像的鲁棒性，重建过程采用迭代运算。
[0223]
步骤204：将重构的图像分为4个相同分辨率的子视频块，即：
[0224]
im agesize
r
(r,g,b,i,j),j＝1,2,3,4。
[0225]
步骤205：对视频块im agesize
r
(r,g,b,i,j)进行采用自适应滑窗提取方法进行基于centrist lbp和hough特征的提取，获取其纹理特征，即根据不同的分辨率，提取不同区域块的centrist lbp算子：
[0226][0227][0228]
其中，fe(lbp)为样本库经过centrist lbp编码后的数值，即得到人头特征；δ(g0,g
i
)为中心像素灰阶与非中心像素灰阶比较结果，g0,为当前区域块中中心像素灰阶，g
i
为非中心像素灰阶数值，i表示非中心像素编号。
[0229]
步骤206：将特征提取结果与对应的svm训练模型获取粗粒度人头检测结果。
[0230]
步骤207：在此基础上，进行hough特征变换，获得hough特征数。
[0231]
步骤208：进行svm二次特征分类，即得到当前视频帧的人头识别框，为im agesize
r
(r,g,b,x
i
,y
j
,x
m
,y
n
)。
[0232]
步骤209：人头跟踪模块，采用k
‑
means和特征块匹配的方法进行对im agesize
r
(r,g,b,x
i
,y
j
,x
m
,y
n
)在不同的视频帧中进行标记，标记出人头运动的方法，其步骤为：
[0233]
step1:对于较大的图像区域，设定人头的初始位置点p，以它为中心划定一个半径为r的区域，成为roi区域；
[0234]
step2:计算roi中所有样本点到p的均值,构建得到向量d，即：
[0235][0236]
step3:不断的扩大向量d的覆盖区域，如果找到点p
t
，使得p
t
满足与p的距离小于阈值t，即找到同一个人头，否则跳转到step2；
[0237]
利用k
‑
means方法找到不同帧之间的同一个人头；
[0238]
step4:对于标记同一人头区域则采用特征匹配的办法标记不同帧之间的相同人头。
[0239]
步骤210：人头统计模块，对不同标记的人头进行数量统计，并将统计的结果发送给显示终端。
[0240]
图5为本发明一实施例提供的室外监控场景下人头识别检测系统组成模块示意图。
[0241]
如图5所示，该实施例提供的一实施例提供的室外监控场景下人头识别检测系统，可以包括：摄像头采集模块、前景处理模块、超高分重建模块、分块提取模块、候选人头提取模块、人头分类模块、预训练模块、人头跟踪模块以及人头统计模块。
[0242]
其中：
[0243]
摄像头采集模块，该模块用于获取室外路面的行人视频；
[0244]
前景处理模块，该模块用于对获取的行人视频进行预处理，得到处理后的行人视频；
[0245]
超高分重建模块，该模块用于对处理后的行人视频进行高分辨率图像重建，得到重建后的行人视频；
[0246]
分块提取模块，该模块用于对重建后的行人视频进行分块，得到多个视频块；
[0247]
候选人头提取模块，该模块用于对得到的多个视频块分别进行人头特征提取；
[0248]
人头分类模块，该模块用于对提取的人头特征进行处理，获取当前视频帧的人头识别框；
[0249]
超高分重建模块、分块提取模块、候选人头提取模块和人头分类模块构成人头识别模型模块；
[0250]
预训练模块，该模块用于对人头识别模型模块进行预训练；
[0251]
人头跟踪模块，该模块用于利用获取的人头识别框进行人头跟踪；
[0252]
人头统计模块，该模块用于对跟踪到的人头进行数量统计，得到当前场景内的人头数量，完成室外监控场景下人头识别检测。
[0253]
本发明一实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行上述实施例中任一项的方法，或，运行上述实施例中的系统。
[0254]
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random
‑
access memory，缩写：ram)，如静态随机存取存储器(英文：static random
‑
access memory，缩写：sram)，双倍数据率同步动态随机存取存储器(英文：double data rate synchronous dynamic random access memory，缩写：ddr sdram)等；存储器也可以包括非易失性存储器(英文：non
‑
volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
[0255]
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
[0256]
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
[0257]
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
[0258]
本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述实施例中任一项的方法，或，运行上述实施例中的系统。
[0259]
本发明上述实施例提供的室外监控场景下人头识别检测方法、系统、终端及介质，主要针对人流拥挤、人头分辨率较低的场景，进行基于局部惩罚的稀疏表示的超高分重建，有效提高人头统计的准确率问题；可以在监控摄像头本地进行人头统计，降低了对于监控系统云服务器的硬件配置要求；在人流拥挤、像素模糊的情况下，进行高清晰度图像重建，并进行人头统计工作；采用机器学习的方式来进行图像处理，提高了行人检测的准确性；采用基于局部惩罚系数的超分重建来进行图像预处理，具有高分辨率的优点；对重建后的图像再进行centrist lbp算子进行特征提取，获取人头特征，具有高精度的优点；基于机器视觉，能够有效对低分辨率下的行人进行人头检测，提高整个系统的检测准确率。
[0260]
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。
[0261]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0262]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说
明即可。
[0263]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。