一种基于视觉显著性的人体区域检测方法与流程

本发明属于计算机图像处理领域，特别涉及一种基于视觉显著性的人体区域检测方法。

背景技术：

视觉显著性可直观地理解为视觉场景中语义元素所能引起视觉注意的能力，这种能力依赖于目标元素所拥有的显著属性，诸如特殊性及稀有性等。在对图像场景信息进行处理时，可以通过显著性区域检测获取优先处理对象，以便于合理分配计算资源，降低计算量节约成本消耗。因此，检测图像显著性区域具有较高的应用价值。

Itti等人为代表的视觉注意理论提出者们，从人类视觉认知的角度提议将视觉注意机制分为两个类型：自上而下的目标驱动型显著性检测，以及自下而上的数据驱动型显著性检测。自上而下的方法融入了更多的人类语义感知及模型训练，而自下而上的方法更注重于从诸如对比度、空间分布等图像底层特征中检测显著性区域。

当前的显著性检测多采用自下而上的方法，由底层数据出发计算分析显著目标或背景区域所具有的特征属性，并将此属性作为一种先验知识用其区分场景中的显著目标及背景。其中，对比度先验知识赖于其优良的区分能力被大量的显著性检测算法所采用，并且衍生出诸如基于局部对比度及基于全局对比度的检测算法。

近年来基于超像素的显著性区域检测算法得到广泛使用。Yang等人以超像素为节点构建连通图同时结合边界先验知识，采用基于图的流形排序方法进行显著检测。Yan等提出一种基于多尺度分割的显著性区域检测算法，在树图模型上融合三种尺度下显著图进而得到最终显著图，该算法取得了良好的效果。Wei等人以各超像素到达图像边界的最短测地线距离来衡量其显著性，测地线距离越长超像素作为前景目标的可能性越大。Zhu等对Wei的测地线先验知识进一步优化提出了具有更强鲁棒性的边界连通性先验知识，借助于该先验知识侦测背景区域进而逆向获取显著前景目标。基于边界连通先验知识的显著性区域检测算法对图像边界上超像素的依赖程度较高，当图像边界上超像素不含图像内部任何背景信息时，会严重影响显著检测效果。

有鉴于此，有必要对现有技术中的基于视觉显著性的人体区域检测方法予以改进，以解决上述问题。

技术实现要素：

本发明的目的在于公开一种基于视觉显著性的人体区域检测方法，用以提高对输入图像中的人体区域的显著性检测，以确定优先处理对象，并合理分配计算资源，降低计算开销。

为实现上述目的，本发明提供了一种基于视觉显著性的人体区域检测方法，该方法包括以下步骤：

S1、获取监控区域的视频流图像作为输入图像；

S2、对输入图像执行预分割以形成超像素区域单元；

S3、统计超像素区域单元在多个颜色通道内的灰度值概率分布，使用灰度值概率分布间的KL散度的调和平均值度量相邻超像素区域单元间的颜色差异性；

S4、以超像素区域单元为节点构建初始闭环连通图，并对初始闭环连通图作若干次邻接扩展，以构建若干邻接扩展闭环连通图，使用KL散度的调和平均值对初始闭环连通图及邻接扩展闭环连通图的边作加权处理；

S5、基于超像素区域单元间的颜色差异性，同时结合空间距离权重及背景概率权重，在初始闭环连通图及邻接扩展闭环连通图上计算各超像素区域单元的显著值，并使用显著值为超像素区域单元赋值，以获取初始人体显著图；

S6、平均融合初始人体显著图，并进行引导图滤波处理。

作为本发明的进一步改进，所述步骤S1具体为：通过摄像机获取监控区域的视频流图像作为输入图像，所述监控区域位于摄像机的正下方。

作为本发明的进一步改进，所述步骤S2具体为：采用简单线性迭代聚类算法，自适应选择紧凑度因子u，保持搜索步长为常量将输入图像执行预分割以形成超像素区域单元，所述超像素区域单元的内部颜色与大小均一致；

其中，u为简单线性迭代聚类算法在种子点周围完成一次迭代聚类后，类内像素颜色的最大差值，Num为输入图像中的总像素数，K为预分割的超像素区域单元的数量。

作为本发明的进一步改进，所述步骤S2还包括：在输入图像中选取若干种子点，并在种子点周围以2S×2S的区域内进行迭代聚类。

作为本发明的进一步改进，所述步骤S3中，超像素区域单元的灰度值概率分布间的KL散度的调和平均值的计算公式为：

其中，为超像素区域单元p所包含的像素在对应颜色通道内的灰度值概率分布，γ为超像素区域单元q所包含的像素在对应颜色通道内的灰度值概率分布，表示超像素区域单元p在对应颜色通道内灰度值取i的像素所占的概率，γ(i)表示超像素区域单元q在对应颜色通道内灰度值取i的像素所占的概率，i∈[0，255]，为超像素区域单元p的灰度值概率分布相对于超像素区域单元q的灰度值概率分布的KL散度，为超像素区域单元q的灰度值概率分布相对于超像素区域单元p的灰度值概率分布的KL散度。

作为本发明的进一步改进，所述步骤S4中，以各超像素区域单元为节点构建初始闭环连通图，然后对初始闭环连通图进行两次邻接扩展，以形成初始闭环连通图及两幅邻接扩展闭环连通图，并使用灰度值概率分布间KL散度的调和平均值对初始闭环连通图及两幅邻接扩展闭环连通图的边作加权处理。

作为本发明的进一步改进，所述步骤S5中超像素区域单元的显著值的计算公式为：

其中，D_HM(p，p_i)为相邻超像素区域单元p与超像素区域单元p_i间的KL散度的调和平均值，D_sp(p，p_i)为归一化处理后的相邻超像素区域单元p与超像素区域单元p_t间的空间欧氏距离，常数σ_sp设置为0.25，为超像素区域单元p_i的背景概率权重，常数σ_E设置为2.5，E(p_i)为超像素区域单元p_i的边界连通性度量值。

作为本发明的进一步改进，所述步骤S5中的“使用显著值为超像素区域单元赋值”具体为：对初始闭环连通图及邻接扩展闭环连通图中的各超像素区域单元分别进行赋值。

作为本发明的进一步改进，所述步骤S6具体包括以下子步骤：

S61、平均融合若干初始人体显著图，以产生融合显著图；

S62、将融合显著图作为引导图，对融合显著图进行引导滤波处理；

S63、采用OTSU算法对经过引导滤波处理后的融合显著图进行图像二值化处理，以得到二值化图像；

S64、将二值化图像作为引导图，对经过引导滤波处理后的融合显著图进行引导滤波处理，以获取显著的人体区域。

作为本发明的进一步改进，所述步骤S3中的“颜色通道”包括：R颜色通道、G颜色通道、B颜色通道。

与现有技术相比，本发明的有益效果是：在本发明中，有效的降低了超像素区域单元间颜色差异性对其显著一致性的过度影响，提高了对输入图像中具有显著性特征的人体区域的检测效果，从而获得了更加精确且视觉效果也更加平滑的人体显著图，从而实现了高效的确定优先处理对象，并合理分配计算资源，降低了后期对输入图像中对行人目标进行跟踪和/或计数的计算开销。

附图说明

图1为本发明一种基于视觉显著性的人体区域检测方法具体实施方式的流程示意图；

图2为图1所示的获取监控区域的视频流图像的工作原理示意图；

图3为本发明所示的超像素区域在种子点周围迭代聚类的搜索步长及搜索区域设置的示意图；

图4为本发明所示的边界连通性的一种几何图形解释。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

请参图1至图4所示出的本发明一种基于视觉显著性的人体区域检测方法的一种具体实施方式。

参图1所示，通过本实施方式所示出的一种基于视觉显著性的人体区域检测方法可对包含行人目标(或者行人区域)的原始图像或者输入图像进行行人目标的显著性进行检测，得到包含行人目标的显著图，降低后期行人检测或者行人跟踪技术的计算开销。

具体的，在本实施方式中，该基于视觉显著性的人体区域检测方法包括以下步骤。

首先，执行步骤S1、获取监控区域的视频流图像作为输入图像。

参图2所示，本发明一种基于视觉显著性的人体区域检测方法是基于摄像机垂直拍摄并适用于室外情况和室内情况。在本实施方式中，该步骤S1具体为：通过摄像机10获取监控区域30的视频流图像作为输入图像，所述监控区域30位于摄像机10的正下方。

摄像机10设置在出入口20附近的正上方，行人可沿着箭头201的方向上在出入口20中来回走动。摄像机10所获取的监控区域30可完全覆盖出入口20的全部区域。

在本实施方式中，该监控区域30为矩形，当然也可以为正方形或圆形或者其他形状。摄像机10位于监控区域30的中心点301的正上方，由此我们可以推导出，该监控区域30位于摄像机10的正下方。

然后，执行步骤S2、对输入图像执行预分割形成超像素区域单元。

超像素预分割通常作为图像分割算法的预处理步骤。所谓“超像素区域单元”或者“超像素”是指，具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块，其利用像素之间特征的相似性将输入图像中的像素进行分组，用少量的超像素区域单元来代替大量的像素来表达输入图像中的特征，很大程度上降低了输入图像后期处理的复杂度。超像素预分割已经广泛用于图像分割、目标识别等计算机视觉领域。

简单线性迭代聚类算法(Simple LinearIterative Clustering，SLIC)算法，是K-means算法的拓展开发。在SLIC算法中，对于输入图像中对应每个像素的(L，a，b)颜色值和(x，y)坐标组成一个5维向量V[L，a，b，x，y]，两个像素的相似性即可由它们的向量距离来度量，距离越大，相似性越小。

SLIC算法采用CIELab颜色空间欧式距离度量颜色差异，即对于灰度图像颜色距离为：采用像素空间坐标的欧式距离，即：度量空间距离。然后结合颜色距离及空间距离，取来计算像素间差异，并使用紧凑度因子u用来控制空间距离相对于颜色距离的权重，紧凑度因子u取值区间为[1，40]。紧凑度因子u为简单线性迭代聚类算法在种子点周围完成一次迭代聚类后，类内像素颜色的最大差值。

如图3所示，SLIC算法将步长近似为其中，Num为输入图像中的总像素数，K为预分割的超像素区域单元的数量。优选的，在本实施方式中，可在输入图像中选取若干种子点，并在种子点周围以2S×2S的区域范围内进行迭代聚类。

出于构建连通图的需要，超像素区域单元的外形越规则，所构建的初始闭环连通图及邻接扩展连通图的效果越好。因此，在本实施方式中，在采用SLIC算法预分割输入图像时，本方法不在原固定区间[1，40]内取u值而是自适应选择紧凑度因子u，即取为种子点周围完成一次迭代聚类后，类内像素颜色的最大差值，且随迭代聚类的继续，紧凑度因子u不断更新。另外，保持搜索步长为常量，以确保产生大小一致的超像素区域单元。

接下来，执行步骤S3、统计超像素区域单元在多个颜色通道内的灰度值概率分布，使用灰度值概率分布间的KL散度的调和平均值度量超像素区域单元间的颜色差异性。

在本实施方式中，对两个超像素区域单元p及q作就步骤S3的具体过程作示范性说明。

假设两超像素区域单元p及q所包含像素在相应颜色通道内的灰度值概率分布分别为和γ，则超像素区域单元的灰度值概率分布间的KL散度的调和平均值的计算公式为：

其中，

在本实施方式中，D_HM(p，q)为两超像素区域单元p及q的灰度值概率分布间的KL散度的调和平均值，为超像素区域单元p所包含的像素在对应颜色通道内的灰度值概率分布，γ为超像素区域单元q所包含的像素在对应颜色通道内的灰度值概率分布，表示超像素区域单元p在对应颜色通道内灰度值取i的像素所占的概率，γ(i)表示超像素区域单元q在对应颜色通道内灰度值取i的像素所占的概率，i∈[0，255]，为超像素区域单元p的灰度值概率分布相对于超像素区域单元q的灰度值概率分布的KL散度，为超像素区域单元q的灰度值概率分布相对于超像素区域单元p的灰度值概率分布的KL散度。由于故采用二者的调和平均值作为一种有效的差异度量。

对于单通道灰度图像，本发明直接采用上述方式计算KL散度调和平均值，然后用其度量相邻超像素区域单元p及q间的颜色差异性。对于三通道RGB的输入图像，可分别求超像素区域单元p及q在R颜色通道、G颜色通道及B颜色通道内的KL散度调和平均值，最后对三者求平均，以度量超像素区域单元p及q间的颜色差异性。当然，可在上述三个颜色通道内进行适当的颜色偏移，以实现对输入图像中的主要颜色或者主要颜色区域有更好的适应性，减低计算开销。

然后，执行步骤S4、以超像素区域单元为节点构建初始闭环连通图，并对初始闭环连通图作若干次邻接扩展，以构建若干邻接扩展闭环连通图，使用KL散度的调和平均值对初始闭环连通图及邻接扩展闭环连通图的边作加权处理。

在经过预分割处理的输入图像上，以各超像素区域单元为节点构建邻接连通图，同时对图像边界上的超像素区域单元两两直接邻接连通形成初始的闭环连通图G1，并用邻接矩阵A描述初始闭环连通图节点间邻接情况。采用公式B_n＝(A+E)ⁿ计算邻接矩阵A与单位矩阵E之和的n阶乘幂运算获取矩阵B_n，再将B_n的非零元素置为1，对角元素取为零，得到n步可达矩阵A_n。

具体的，在本实施方式中，邻接扩展步长n＝2或3(单位：超像素单元)，从而计算得到两个邻接扩展矩阵A₂及A₃，二者分别对应邻接扩展闭环连通图G2与邻接扩展闭环连通图G3，然后用KL散度调和平均值为G1、G2、G3的边作加权处理。本实施方式中，对初始闭环连通图G1仅进行两次邻接扩展，具体操作时可适当增加次数，可对初始闭环连通图G1作三次或者次数更多的邻接扩展，以形成数量更多的邻接扩展闭环连通图。进一步的，邻接扩展步长n的单位也可为像素点，也可设定扩展方向的区域，该区域包含多个像素点。例如，向分别向左上、右下、左下，右下分别进行以两个像素点区域为单元的邻接扩展。

然后，执行步骤S5、基于超像素区域单元间的颜色差异性，同时结合空间距离权重及背景概率权重，在初始闭环连通图及邻接扩展闭环连通图上计算各超像素区域单元的显著值，并使用显著值为超像素区域单元赋值，以获取初始人体显著图。

在本实施方式中，基于超像素区域单元间的颜色对比度计算各超像素区域单元的显著值。在本发明中各超像素区域单元间的颜色对比度，采用超像素区域单元内像素灰度值概率分布间KL散度的调和平均值进行度量，而非传统意义上的两超像素区域单元间的平均色差，因此可进一步提高对输入图像中具有视觉显著性的行人区域的检测与获取。

通常，人们会更加注意到输入图像中行人目标与周围颜色对比度非常大的区域。因为空间关系上相邻区域的高对比度比很远区域的高对比度更容易突显某一区域的视觉注意力。为此，本发明结合超像素区域单元间的空间距离权重计算各超像素区域单元的显著值。

具体的，本发明通过计算各超像素区域单元和其它所有超像素区域单元间颜色对比度加权和来定义其显著性值，权值由空间距离决定，较远的区域单元设定较小的权值。另外，考虑到计算颜色对比度加权和时，求和项中背景概率取值高的超像素区域单元应当提供较高的颜色对比度权重。故而，本发明同时考虑结合背景概率权重计算各超像素区域单元的显著值。为此，本发明各超像素区域单元p的显著值S(p)，按如下计算公式定义：

上述公式中，D_HM(p，p_i)为超像素区域单元p及超像素区域单元p_i间的KL散度的调和平均值，具体计算如前文所述。上述公式中，W_sp(p，p_i)为超像素区域单元p及超像素区域单元p_i之间空间距离权重。

具体的，其中D_sp(p，p_i)为相邻超像素区域单元中心的空间欧氏距离且已经过归一化处理，σ_sp设置为0.25。上述公式中，表示超像素区域单元p_i的背景概率权重。

本发明以表示各超像素区域单元的背景概率权重，定义σ_E在本发明中取值为2.5。上述公式中，E(p)为超像素区域单元p的边界连通性度量值，E(p)越大背景概率权重越大，渐趋于概率值1，反之则渐趋于0。

在本实施方式中，对E(p)采用公式计算，其中L(p)为超像素区域单元p与边界的接触长度，R(p)为超像素区域单元p的扩展区域面积。

如图4所示，A、B、C、D为相应四个超像素区域单元所能扩展的区域，区域A的边界接触长度为2，区域面积为40，边界连通性度量值为0.32，相对与区域B、C、D，区域A更有可能作为前景区域，即相应超像素区域单元的显著值越高。本发明中，R(p)的计算公式如下：

其中，为相应初始闭环连通图或邻接扩展闭环连通图上两个不同超像素区域单元间的最短路径长度，其值经过离差标准化方式归一化处理，且D(p，p)＝0，D_HM(p_j，p_j+1)为超像素区域单元间KL散度的调和平均值。上述公式中超像素区域单元p_i对超像素区域单元p扩展区域面积的贡献值被限制在(0，1]内，所以R(p)的取值区间为[1，N]。其中，N为超像素区域单元数量。σ(p)为计算超像素区域单元p扩展区域面积时采用的控制参数，对于不同的p其取值不同，在本实施方式中，将σ(p)自适应设置为对所有超像素区域单元p与其它超像素区域单元节点间最短路径长度值进行二值化分割所需阈值的1/3，该阈值采用OTSU算法(即最大类间方差法)计算得到。

采用OTSU算法将一组数据分割为两类时可以确保类间方差足够大，而类内差异较小。因此，该分割意味着错分概率最小。

超像素区域单元p与边界的接触长度L(p)采用如下公式计算，其中δ函数在超像素区域单元p_i为边界节点时，δ的值为1；否则，δ的值为0。

在本实施方式中，可根据各超像素区域单元p的显著值S(p)为各超像素区域单元赋值，由于是在初始闭环连通图及若干邻接扩展闭环连通图上分别进行计算，从而能够获得不同的若干初始人体显著图。

最后，执行步骤S6、平均融合初始人体显著图，并进行引导图滤波处理。

平均融合获得的若干初始人体显著图，产生融合显著图，然后对其进行引导图滤波优化处理。引导图滤波是一种快速的边界保持平滑滤波算法，能够在引导图的导引下进行滤波操作同时保持原图的主要轮廓。本发明采用引导图滤波方法对融合显著图进行进一步优化处理。

该步骤S6具体包括以下子步骤。

子步骤S61、平均融合若干初始人体显著图，以产生融合显著图；

子步骤S62、将融合显著图作为引导图，对融合显著图进行引导滤波处理；

子步骤S63、采用OTSU算法对经过引导滤波处理后的融合显著图进行图像二值化处理，以得到二值化图像；

子步骤S64、将二值化图像作为引导图，对经过引导滤波处理后的融合显著图进行引导滤波处理，以获取显著的人体区域。

在本实施方式中，为解决单纯用平均颜色差值度量各超像素区域单元间颜色差异的局限性，本发明提出采用超像素区域单元内部相应颜色通道内灰度值概率分布间的KL散度的调和平均值对颜色差异进行更有效的度量；为更好地反映超像素区域单元在空间上的邻接关系及彼此间的相似度，本发明用超像素区域单元作节点构建闭环连通图，用KL散度的调和平均值为闭环连通图的边进行加权。

同时，为避免由于空间距离累加而对超像素区域单元间颜色差异度量产生的过度影响，本发明提出对超像素区域单元间的邻接区域进行一定程度的扩展；为提高显著检测的可靠性，降低单尺度显著检测易产生的显著区域误判几率，本发明在若干经过邻接扩展的闭环连通图上计算各超像素区域单元的显著值，从而得到若干幅显著图并进行平均融合增强，而后进一步采用引导滤波方式优化显著检测效果。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。