一种对男女客流的统计方法与流程

本发明属于视频图像处理及识别技术领域，特别涉及一种对男女客流的统计方法。

背景技术：

基于视频的智能监控系统是机器视觉的一个重要分支，具有广阔的应用前景。其在公共场所监控、道路交通监控等安全防控领域发挥着巨大的作用。对大多安全防控领域而言，监控场景中的人、动物及车等运动目标显然是主要的关注对象。而行人作为最活跃和最主要的部分，使得行人的检测、识别和统计具有非常重要的研究价值。

在行人检测方面，行人流量数据在商场、购物中心、交通场所等公共场所的管理和决策中扮演着非常重要的角色。而且不同性别的客户，偏好也有较大差别。如果能将男女识别出来，分别进行人数统计，为用户提供更合适其性别的服务和信息具有很重要的意义。因此，通过对人流量，即进入人数的识别和统计，可以实时有效的监控、组织公共场所的运营工作，为人们提供更安全的环境和更人性化的服务。

目前，行人检测的方法多数是通过检测人头来计数，但通过人头并不能识别出行人性别。近年来，性别识别主要是通过语音、用户偏好数据及人脸识别等。而人脸检测和识别技术由于其非接触性、易于采集、人脸自身稳定性及个性差异性等优点广泛应用于视频监控、人机交互等领域。

有鉴于此，有必要对现有技术中公共区域中的男女人数统计予以改进，以解决上述问题。

技术实现要素：

本发明的目的在于提供一种男女行人统计方法，该方法可以有效地提高公共区域内的男女人数统计的效率与准确度。

为实现上述目的，本发明提供了一种对男女客流的统计方法，该统计方法包括以下步骤：

S1、获取监控区域的视频流图像作为输入图像；

S2、用分类器对输入图像进行人脸检测，得到候选人脸区域，并规划出头顶矩形区域；

S3、根据头顶矩形区域中暗像素点个数S_dark与总像素点个数S_all的比例，剔除非人脸区域，以得到包含人脸区域的行人区域；

S4、至少对相邻帧输入图像中包含人脸区域的行人区域所对应的胸部矩形区域的颜色直方图度量进行关联代价，以对步骤S3中的人脸区域的中心进行跟踪；

S5、对人脸区域进行大小归一化，得到固定大小的人脸图像，使用性别分类器进行男女识别，并记录男女客流人数。

作为本发明的进一步改进，所述步骤S1具体为：通过若干倾斜拍摄的摄像机获取监控区域的视频流图像作为输入图像；所述监控区域位于若干倾斜拍摄的摄像机的斜下方。

作为本发明的进一步改进，所述步骤S2中“规划出头顶矩形区域”具体为：在候选人脸区域中选取中心坐标为高度为像素，宽度为w像素的矩形区域作为头顶矩形区域，所述头顶矩形区域的数学表达式为：其中，(x，y)为候选人脸区域的中心，h为候选人脸区域的高度。

作为本发明的进一步改进，所述步骤S3具体包括以下子步骤：

子步骤S31、计算候选人脸区域的平均灰度值T_avg，所述平均灰度值T_avg的计算公式为：

其中，R(x，y，w，h)为候选人脸区域，w为候选人脸区域的宽度；val(i，j)为候选人脸区域在像素点(i，j)处的灰度值；

子步骤S32、统计头顶矩形区域中大于候选人脸区域的平均灰度值T_avg的暗像素点个数S_dark，并与头顶矩形区域的总像素个数S_all作比较；

若S_dark＞S_all/2，则将候选人脸区域判定为人脸图像；

若S_dark≤S_all/2，则不将候选人脸区域判定为人脸图像，以剔除非人脸区域；

所述头顶矩形区域的总像素个数S_all的计算公式为：所述暗像素点个数S_dark的计算公式为：其中，

作为本发明的进一步改进，所述步骤S4中还包括：对相邻帧输入图像中的人脸区域的中心在监控区域中的欧几里得距离差异、相邻帧的输入图像中的人脸区域在监控区域中的行进方向差异以及相邻帧输入图像中包含人脸区域的行人区域所对应的胸部矩形区域的颜色直方图度量分别进行跟踪关联代价，并根据三次跟踪关联代价的结果对人脸区域的中心进行总跟踪关联代价，以对步骤S3中的人脸区域的中心进行跟踪。

作为本发明的进一步改进，所述对相邻帧的输入图像中人脸区域的中心在监控区域中的欧几里得距离差异进行跟踪关联代价的计算公式为：

其中，p_tⁱ＝(x_tⁱ，y_tⁱ)是步骤S3获取的第t帧中第i个人脸区域的中心的坐标，γ₁是同一人脸区域在相邻帧图像中的最小欧几里得距离差异阈值，γ₁＝50像素；

所述对相邻帧的输入图像中人脸区域在监控区域中的行进方向差异进行跟踪关联代价的计算公式为：

其中，θ_tⁱ表示第t帧中第i个人脸区域在监控区域中行进方向偏离角度；γ₂是同一人脸区域在相邻帧图像中的最小行进方向差异的阈值，γ₂＝80°；

所述对相邻帧的输入图像中的胸部矩形区域在监控区域中的颜色直方图度量进行跟踪关联代价的计算公式为：

其中，r_tⁱ表示第t帧中第i个人脸区域对应的胸部矩形区域；表示胸部矩形区域r_tⁱ对应的颜色直方图中第k个区间的值；

然后，根据三次跟踪关联代价的结果对人脸区域的中心进行总跟踪关联代价，以对步骤S3中的人脸区域的中心进行跟踪。

作为本发明的进一步改进，所述总跟踪关联代价的计算公式为：C(i，j)＝a₁D(i，j)+a₂Θ(i，j)+a₃S(i，j)；

其中，权值a₁与权值a₂设为0.3，权值a₃设为0.4。

作为本发明的进一步改进，所述步骤S5具体包括以下子步骤：

子步骤S51：计算8个方向、5个尺度的Gabor小波幅值，并分别与固定大小的人脸图像作乘积，得到Gabor小波特征图像；所述Gabor小波幅值计算公式为：

其中，m和n表示Gabor小波的方向和尺度的取值；θ＝(c，r)，c、r表示位置信息；||·||表示范数运算；向量其中，v_n＝v_max/λⁿ及w_m＝πm/8，该λ是频率域中各核函数之间的空间因素；σ为高斯窗口的尺度因子，该σ为2π；

子步骤S52：对每个Gabor小波幅值，利用局部二值模式计算得到纹理图像，并采用LBP算子等价模式进行降维；

子步骤S53：获取人脸图像的特征值；

子步骤S54：将人脸图像的特征值与训练样本集中的男女特征值比较，以识别出男女客流；

子步骤S55：根据步骤S4中对人脸区域的中心的跟踪结果记录男女客流人数。

作为本发明的进一步改进，所述步骤S5中大小归一化处理所得到固定大小的人脸图像的规格为50×50。

作为本发明的进一步改进，所述子步骤S53具体为：将人脸图像划分为10×10个不重叠的子区域，提取出每个子区域的直方图，将所有子区域的直方图顺序组合成一个直方图序列，将其作为人脸图像的特征值。

与现有技术相比，本发明的有益效果是：通过本发明，提高了视频检测技术中图像受光照影响的鲁棒性，提高了对公共区域中不同环境条件下出现的男女行人的计数效果，在保证准确率和漏检率的基础上，降低了误检率，有效地提高了对男女客流的统计效率。

附图说明

图1为本发明一种男女行人统计方法的流程示意图；

图2为图1所示的获取监控区域的视频流图像的工作原理示意图；

图3为本发明所示的头顶矩形区域和胸部区域的示意图；

图4为本发明所示的对人脸进行跟踪时计算行进方向示意图；

图5为本发明所示的男女人脸的直方图特征值示意图；

图6为本发明所示的对男女客流进行计数的示意图；

图7为本发明所示的纹理图像直方图信息时分区域处理示意图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

参图1所示，图1为本发明一种男女行人统计方法的流程示意图。在本实施方式中，一种男女行人统计方法，所述男女人数统计方法包括以下步骤：

首先，执行步骤S1、获取监控区域的视频流图像作为输入图像。

参图2所示，该步骤S1具体为：通过摄像机10和摄像机10’获取监控区域30的视频流图像作为输入图像，所述监控区域30位于摄像机10和摄像机10’的中间，并且均在两个摄像机的斜下方。监控区域位30于倾斜拍摄的摄像机10及摄像机10’的斜下方。摄像机10及摄像机10’的拍摄角度与水平面的之间夹角为30度至60度，并最优选为30度。

具体的，摄像机10及摄像机10’设置在出入口20及出入口20’的斜上方，行人可沿着箭头201及箭头201’的方向上在出入口20及出入口20’中来回走动。摄像机10及摄像机10’获取的监控区域30可完全覆盖出入口20及出入口20’的全部区域。该出入口20及出入口20’可设置在需要对男女客流进行人数统计的商场、超市、银行等需要重点监控场所的大门口或者走廊中。

在本实施方式中，监控区域30为矩形，当然也可以为正方形或圆形或者其他形状。摄相机10及摄像机10’的镜头焦距是12mm，摄像机10及摄像机10’在监控区域30向出入口20及出入口20’方向的一侧，且位于距离监控区域30的中心点301保持十米位置的正上方，在摄相机垂直高度为3米的情况下，可以确保摄像机的覆盖宽度为7至8米。从而保证从检测区域30获取的图像中人脸区域尽量大于50×50像素。

然后，执行步骤S2、用分类器对输入图像进行人脸检测，得到候选人脸区域，并规划出头顶矩形区域。

分类器可包括Haar分类器、Adaboost分类器或者SVM分类器，并最优选为Haar分类器。人脸检测属于计算机视觉的范畴，目前的人脸检测方法主要有基于知识和基于统计的方法。本发明人脸检测部分用到的Haar分类器方法属于后者中的一种。在本实施方式中，利用现有的Haar分类器方法检测人脸，并截取检测到候选人脸区域进行后续处理。此时该候选人脸区域中可能存在干扰或者误判，例如将不是行人的物体所形成的图像区域认定为人脸区域，将就会导致对男女客流进行统计的误差。因此，在后续步骤中需要将不是人的候选人脸区域进行检测并删除不是行人所形成的候选人脸区域。

具体的，该步骤S2中“规划出头顶矩形区域”具体为：在候选人脸区域中选取中心坐标为高度为像素，宽度为w像素的矩形区域作为头顶矩形区域，所述头顶矩形区域的数学表达式为：其中，(x，y)为候选人脸区域的中心，h为候选人脸区域的高度。

然后，执行步骤S3、根据头顶矩形区域中暗像素点个数S_dark与总像素点个数S_all的比例，剔除非人脸区域，以得到包含人脸区域的行人区域。

在人脸检测过程中，不可避免的会有一些非人脸区域的特征与人脸特征相似，最终造成误判。所以，有必要对Haar分类器获得的候选人脸区域进行过滤，以便在保证漏检率的基础上，降低误检率。

参图3所示，该步骤S3具体包括以下子步骤：

子步骤S31、计算候选人脸区域的平均灰度值T_avg，所述平均灰度值T_avg的计算公式为：

其中，R(x，y，w，h)为候选人脸区域，w为候选人脸区域的宽度；val(i，j)为候选人脸区域在像素点(i，j)处的灰度值；

子步骤S32、统计头顶矩形区域中大于候选人脸区域的平均灰度值T_avg的暗像素点个数S_dark，并与头顶矩形区域的总像素个数S_all作比较；

若S_dark＞S_all/2，则将候选人脸区域判定为人脸图像；

若S_dark≤S_all/2，则不将候选人脸区域判定为人脸图像，以剔除非人脸区域；

所述头顶矩形区域的总像素个数S_all的计算公式为：所述暗像素点个数S_dark的计算公式为：其中，

然后，执行步骤S4、至少对相邻帧输入图像中包含人脸区域的行人区域所对应的胸部矩形区域的颜色直方图度量进行关联代价，以对步骤S3中的人脸区域的中心进行跟踪。

人在行走过程中，头部会发生偏转、低头、抬头等变化，而这些变化会导致在对人脸区域进行跟踪的过程中，导致人脸检测失败。所以单从最近领域法角度进行人脸跟踪是不全面的。考虑到人脸区域和胸部矩形区域的距离比较近且一般可以同时检测到，关键两者都基本可以看作是刚体运动；而且不同行人的胸部衣服颜色相同的几率很小。所以，可以将人脸区域与该人脸区域所附属或者对应的胸部矩形区域也结合进来进行跟踪。

参图3和图4所示，在本实施方案中，所述步骤S4跟踪过程具体为：对相邻帧输入图像中的人脸区域的中心在监控区域中的欧几里得距离差异、相邻帧的输入图像中的人脸区域在监控区域中的行进方向差异以及相邻帧输入图像中包含人脸区域的行人区域所对应的胸部矩形区域的颜色直方图度量分别进行跟踪关联代价，并根据三次跟踪关联代价的结果对人脸区域的中心进行总跟踪关联代价，以对步骤S3中的人脸区域的中心进行跟踪。

假设上一帧有n个正在跟踪的人脸区域，在当前帧的输入图像中检测到m个人脸目标。定义n行m列的矩阵C_n×m，其中每一个元素C(i，j)表示将检测到的人脸目标j关联跟踪目标i的代价。[p_tⁱ，θ_tⁱ，r_tⁱ]表示在t帧的输入图像中第i个人脸的状态值，p_tⁱ＝(x_tⁱ，y_tⁱ)是指步骤S3获取的人脸区域的中心坐标，θ_tⁱ表示该人脸区域在监控区域30中行进方向偏离角度，对于首次检测到的人脸目标，设置其行进方向角度为0。r_tⁱ表示该人脸区域对应行人的胸部矩形区域。

所述对相邻帧的输入图像中人脸区域的中心在监控区域中的欧几里得距离差异进行跟踪关联代价的计算公式为：

其中，p_tⁱ＝(x_tⁱ，y_tⁱ)是步骤S3获取的第t帧中第i个人脸区域的中心的坐标，γ₁是同一人脸区域在相邻帧图像中的最小欧几里得距离差异阈值，γ₁＝50像素；

所述对相邻帧的输入图像中人脸区域在监控区域中的行进方向差异进行跟踪关联代价的计算公式为：

其中，θ_tⁱ表示第t帧中第i个人脸区域在监控区域中行进方向偏离角度；γ₂是同一人脸区域在相邻帧图像中的最小行进方向差异的阈值，γ₂＝80°；

所述对相邻帧的输入图像中的胸部矩形区域在监控区域中的颜色直方图度量进行跟踪关联代价的计算公式为：

其中，r_tⁱ表示第t帧中第i个人脸区域对应的胸部矩形区域；表示胸部矩形区域r_tⁱ对应的颜色直方图中第k个区间的值；

然后，根据三次跟踪关联代价的结果对人脸区域的中心进行总跟踪关联代价，以对步骤S3中的人脸区域的中心进行跟踪。

其中，胸部矩形区域颜色直方图进行跟踪关联代价的计算过程为：首先，根据头顶矩形区域的位置及大小(x_tⁱ，y_tⁱ，w_tⁱ，h_tⁱ)，确定对应行人的胸部矩形区域r_tⁱ，该胸部矩形区域的中心坐标为(x_tⁱ，y_tⁱ+h_tⁱ)，高为像素、宽为w_tⁱ像素；然后，对胸部矩形区域r_tⁱ，计算RGB颜色通道含32个区间的直方图，则胸部矩形区域r_tⁱ的颜色直方图形成一个n＝96维的向量该胸部矩形区域颜色直方图度量进行跟踪关联代价的计算公式为：

综上，所述总跟踪关联代价C(i，j)的计算公式为：

C(i，j)＝a₁D(i，j)+a₂Θ(i，j)+a₃S(i，j)。

其中，a₁、a₂和a₃是权值，a₁和a₂均设为0.3，a₃设为0.4。

定义n行m列矩阵A_n×m，其中每个元素均为1或0。如果A(i，j)＝1，则表示将第j个检测到的人脸目标关联到第i个跟踪目标。因此，人脸目标关联问题等价于求解矩阵A，使得下面的目标关联代价能量函数达到最小值：

其中，矩阵A满足如下条件：

如果n≤m，则对于任意i∈[1，n]，满足

如果n＞m，则对于任意j∈[1，m]，满足

这两个条件保证每个检测到的人脸目标最多关联一个正在跟踪的人脸目标。而没有关联到的目标，就是新增加的人脸目标。此外，该优化问题属于最优线性指派问题，可以用匈牙利算法快速求得最优解。最后决定是否将两个目标j和i关联，看求得的矩阵A中是否有A(i，j)＝1。

接下来，执行步骤S5、对人脸区域进行大小归一化，得到固定大小的人脸图像，使用性别分类器进行男女识别，并记录男女客流人数。

参图5和图6所示，在本实施方式中，考虑到人脸太小的话，不能清晰的描述人脸特征。对于人脸图像小于50×50像素的将被舍弃，而大于50×50像素的人脸图像则进行校正，并归一化为50×50像素规格的固定大小的人脸图像。

Gabor小波常被用于特征提取和图像表征，在计算机视觉和图像分析领域的应用越来越广。局部二值模式(Local Binary Pattern，LBP)是一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的优点。此外，人脸图像中的变换一般出现在某些特定区域。因此，本发明利用局部特征直方图来概述人脸纹理图像的区域特征。

在本实施方式中，步骤S5具体包括以下子步骤：

子步骤S51、首先，计算8个方向、5个尺度的Gabor小波幅值，并分别与归一化后的人脸图像作乘积，得到Gabor小波特征图像。该Gabor小波幅值计算公式如下所示：

其中，m和n表示Gabor小波的方向和尺度的取值；θ＝(c，r)，c、r表示位置信息；||·||表示范数运算；向量其中，v_n＝v_max/λⁿ及w_m＝πm/8，该v_max为λ是频率域中各核函数之间的空间因素；σ为高斯窗口的尺度因子，该σ为2π。

子步骤S52、对每个Gabor小波特征图像，利用局部二值模式计算得到纹理图像，并采用一种LBP算子等价模式对模式种类进行降维。

在本实施方式中，纹理图像的计算过程具体为：以其中一个Gabor小波特征图像为例，对图像中3×3窗口的中心像素而言。首先，将周围像素与中间像素的灰度值作比较，并将计算结果作为1个二进制数。并从左上角S位置像素的结果开始，按顺时针方向顺序生成8位二进制数，即得到该窗口中心像素点的LBP值。

该LBP算子等价模式的定义为：当某个局部二进制模式所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式。如“11100011”就是一个等价模式，而“11100010”就不是一个等价模式。等价模式用大于0的数来表示，而那些非等价模式，用0值来统一表示。由此可知，8位二进制数表示的256种模式利用等价模式后只有59种模式。用降维后的值来反映该区域的纹理信息。

如图7所示，子步骤S53、获取人脸图像的特征值，并具体为：将人脸图像划分为10×10个不重叠的子区域，即M_0，0、M_0，1、…、M_9，9，提取出每个子区域的直方图，将所有子区域的直方图顺序组合成一个直方图序列，将其作为人脸图像的特征值。

子步骤S54、将人脸图像的特征值与训练样本中的男女特征值比较，以识别出男女客流。

参图5所示，在本实施方案中，事先训练好的特征值的计算过程与子步骤S51中的方法完全相同。通过将计算得到的人脸特征值与训练好的男女人脸特征值比较，得到男女识别结果。

根据步骤S4中对人脸区域的中心记性跟踪所形成的路径及子步骤S52的对男女客流的识别结果，分别进行男女客流统计。

参图6所示，该矩形为步骤S1中的监控区域30，30A、30B两条线分别为进计数线和出计数线。进计数线30A和出计数线30B的中间部分30C为跟踪区域。若相机10′检测到行人人脸通过进计数线30A进入跟踪区域30C，通过出计数线30B离开跟踪区域30C，结合子步骤S52的识别结果，如果识别结果为男性，则男性出人数增加1；反之，女性出人数增加1。

若相机10检测到行人通过出计数线30B进入跟踪区域30C，通过进计数线30A离开跟踪区域30C，结合子步骤S52的识别结果，如果识别结果为男性，则男性进入人数增加1；反之，女性进入人数增加1。

优选的，在本实施方式中，事先计算8位二进制数表示的256种模式对应与降维后的等价模式的关系表，只需通过查表法即可得到每个二进制值对应的降维后的值，提高了方案效率。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。