一种基于区域融合的显著性人体区域检测方法与流程
本发明属于计算机图像处理领域，特别涉及一种基于区域融合的显著性人体区域检测方法。
背景技术：
视觉显著性可直观地理解为视觉场景中语义元素所能引起视觉注意的能力，这种能力依赖于目标元素所拥有的显著属性，诸如特殊性及稀有性等。在对图像场景信息进行处理时，可以通过显著性区域检测获取优先处理对象，以便于合理分配计算资源，降低计算量节约成本消耗。因此，检测图像显著性区域具有较高的应用价值。
自Itti等先驱提出采用中心-周围差异框架进行显著性检测以来，越来越多的研究者开始关注显著检测研究邻域，大量自底向上基于底层数据的具有很好效果的显著性检测算法被提出。Chen等提出的基于区域对比度的显著检测算法，在区域水平上计算颜色对比度，并通过空间距离加权，然后将区域与其他区域加权颜色对比度进行累加求和，再用此定义区域显著性。Chen等在探索基于对比度的显著性检测算法方面取得了不错的成绩，此区域对比度算法已被广泛采用。
除利用对比度先验进行显著性区域检测之外，边界先验知识也广泛应用于显著性检测，该先验知识假定图像边界为背景区域。Wei等依据各区域到图像边界的最短测地线距离定义显著性，Yang等基于图论知识借助于流形排序方法，依据各超像素区域与图像四周边界上超像素区域的相关性程度高低来定义各区域显著性取值大小。Zhu等结合区域空间布局及边界先验知识提出了一种更具鲁棒性的背景检测方法，即边界连通性，该方法在背景检测方面具有优良效果。
目前，通常利用行人的人体边缘、纹理特征建立模板并综合运用神经网络、支持向量机、级联检测器等机器学习方法。但是，现有技术中对行人轮廓进行检测的过程中对非行人的运动目标轮廓进行检测时容易发生误检。例如，将动物通过监控区域时将该动物错误地认定为行人。因此传统的人体区域检测方法仍然不够理想；同时，传统的检测方法中无法获得显著性人体区域效果图。
有鉴于此，有必要对现有技术中的对监控区域中的人体区域的检测方法予以改进，以解决上述问题。
技术实现要素：
本发明的目的在于公开一种基于区域融合的显著性人体区域检测方法，用以提高对人体区域的检测精度，并能够产生视觉良好的人体区域显著图。
为实现上述目的，本发明提供了一种基于区域融合的显著性人体区域检测方法，包括以下步骤：
S1、获取监控区域的视频流图像作为输入图像；
S2、预分割输入图像以形成若干超像素区域单元，将各超像素区域单元内所有像素的颜色用所对应的各超像素区域单元内所有像素的颜色向量的平均值来表示，以获得初始融合图
S3、以超像素区域单元为节点，根据融合准则Ψ依次执行邻接融合与全局融合，并依次在邻接融合与全局融合过程中将各超像素区域单元内所有像素的颜色用所对应的各超像素区域单元内所有像素的颜色向量的平均值来表示，将相似的超像素区域单元依次融合形成新的超像素区域单元，以依次构建出邻接融合图及全局融合图
S4、结合超像素区域单元间的颜色对比度、空间距离权重及背景概率权重分别在初始融合图邻接融合图及全局融合图上计算超像素区域单元的显著值，以获得三幅初始显著图；
S5、通过元胞自动机的置信遗传机制对三幅初始显著图进行更新，得到三幅优化显著图；
S6、对步骤S5中的三幅优化显著图执行累加求和运算，以获得包含显著性人体区域的集成显著图S。
作为本发明的进一步改进，所述步骤S2具体为：采用简单线性迭代聚类算法，对输入图像执行预分割，形成若干超像素区域单元；计算各超像素区域单元内所有像素的颜色向量的平均值以替换超像素区域单元内所有像素的颜色向量，以获得初始融合图
作为本发明的进一步改进，所述步骤S2中，输入图像经过预分割后形成的超像素区域单元所包含的像素点数量为384～614个。
作为本发明的进一步改进，所述步骤S3中的融合准则Ψ的计算公式为：
其中，Ω1及Ω2分别是超像素区域单元R1及超像素区域单元R2的邻域集合；C(R1，R2)为超像素区域单元R1及超像素区域单元R2间颜色差值。
作为本发明的进一步改进，所述步骤S4中的初始显著图的计算公式为：
其中，k＝1，2，3分别表示在初始融合图邻接融合图及全局融合图上计算各超像素区域单元的显著值；
Sk(i)表示在图中超像素区域单元i的显著值，nk是图中超像素区域单元数量；
Ck(i，j)表示在图中超像素区域单元i及超像素区域单元j间颜色差值；
Pk(i，j)表示在图中超像素区域单元i及超像素区域单元j间经过归一化处理的空间欧式距离；
表示在图中超像素区域单元j的背景概率权重。
作为本发明的进一步改进，所述背景概率权重的计算公式为：
其中，BndCon(i)表示超像素区域单元的边界连通性度量值，并具体采用如下公式计算：
其中，dk(i，j)是图中超像素区域单元i与超像素区域单元j间最短路径长度；δ(·)在超像素区域单元j位于图像边界时取值为1，否则取值为0；nk为超像素区域单元数量，参数σclr＝10。
作为本发明的进一步改进，所述步骤S5中的元胞自动机的置信遗传机制对三幅初始显著图进行更新的计算公式为：
其中，k＝1，2，3分别代表元胞自动机的置信遗传机制对由初始融合图邻接融合图及全局融合图所获得初始显著图进行更新，运算符“.”表示矩阵乘积运算，表示当前状态，表示更新后的状态，I表示单位矩阵，及分别是影响因子矩阵Fk及置信度矩阵Hk；
所述步骤S5中，元胞自动机的置信遗传机制对初始显著图的初始状态进行15次遍历更新。
作为本发明的进一步改进，
所述置信度矩阵的计算公式为：
其中，Hk＝diag(h1，h2，...，hN)，并设定
所述影响因子矩阵Fk的计算公式为：
所述
其中，k＝1，2，3分别表示在初始融合图邻接融合图及全局融合图中，Ck(i，j)为两相邻超像素区域单元间的颜色差异值，NBk(i)是超像素区域单元i的邻域集合。
作为本发明的进一步改进，所述步骤S6还包括：对集成显著图S的灰度值归一化至区间[0，1]的步骤，并对归一化处理后的集成显著图S进行高斯增强处理，所述高斯增强处理的计算公式为：
其中，σs＝0.5。
作为本发明的进一步改进，所述步骤S6还包括将集成显著图S转换为256阶灰度图的步骤。
与现有技术相比，本发明的有益效果是：在发明中，基于初始融合图、邻接融合图及全局融合图，有利于展现输入图像中的层次信息；同时，依据背景概率值设定置信度矩阵，有利于元胞自动机的优化性能，并最终获得包含显著性人体区域的集成显著图S。
附图说明
图1为本发明一种基于区域融合的显著性人体区域检测方法的流程示意图；
图2为图1所示的获取监控区域的视频流图像的工作原理示意图；
图3为本发明步骤S3中超像素区域单元R1与超像素区域单元R2满足融合判定准则Ψ并进行融合后的示意图；
图4为本发明所示的边界连通性度量值计算的一种几何图形解释。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
请参图1至图4所示出的本发明一种基于区域融合的显著性人体区域检测方法的一种具体实现方式。
参图1所示，图1为本发明一种基于区域融合的显著性人体区域检测方法的流程示意图。在本实施方式中，所述基于区域融合的显著性人体区域检测方法包括以下步骤：
步骤S1、获取监控区域的视频流图像作为输入图像。
参图2所示，本发明一种基于区域融合的显著性人体区域检测方法是基于摄像机垂直拍摄并适用于室外情况和室内情况。在本实施方式中，该步骤S1具体为：通过摄像机10获取监控区域30的视频流图像作为输入图像，所述监控区域30位于摄像机10的正下方。
具体的，摄像机10设置在出入口20附近的正上方，行人可沿着箭头201的方向上在出入口20中来回走动。摄像机10所获取的监控区域30可完全覆盖出入口20的全部区域。
在本实施方式中，该监控区域30为矩形，当然也可以为正方形或圆形或者其他形状。摄像机10位于监控区域30的中心点301的正上方，由此我们可以推导出，该监控区域30位于摄像机10的正下方。
步骤S2、预分割输入图像以形成若干超像素区域单元，将各超像素区域单元内所有像素的颜色用所对应的各超像素区域单元内所有像素的颜色向量的平均值来表示，以获得初始融合图
输入图像经过预分割后形成的超像素区域单元所包含的像素点数量为384～614个。具体的，该步骤S2具体为：采用简单线性迭代聚类算法，对输入图像执行预分割，形成若干超像素区域单元；计算各超像素区域单元内所有像素的颜色向量的平均值以替换超像素区域单元内所有像素的颜色向量，以获得初始融合图
简单线性迭代聚类算法(Simple Linear Iterative Clustering，SLIC)是K-means算法的拓展，其通过在图像上均匀散布种子点并在种子点周围的限定区域内完成像素的聚类操作，如此可以将图像分割聚类为一系列小的像素区域，且各像素区域内部的像素颜色差别很小。本发明称这些像素区域为超像素区域单元。以超像素区域单元为运算单位要比在单个像素上操作节省时间，故而本发明对输入图像先执行预分割处理，将输入图像分割为超像素区域单元。分割产生的超像素区域单元越多，各超像素区域单元内部像素颜色差异越小，但运行时间较长。
出于效率的考虑，例如：对于分辨率为320×240、640×480的输入图像，可分别设定对输入图像进行预分割所形成的超像素区域单元的数量为150或者300。
本发明的输入图像要求为RGB色彩格式，各像素对应一个颜色向量(r，g，b)。在预分割输入图像为超像素区域单元后，求取超像素区域单元内所有像素的颜色向量的平均值然后以颜色向量的平均值替换超像素区域单元内所有像素的颜色向量，即将超像素区域单元里所有像素的颜色用其平均颜色值表示。本发明采用此方式统一超像素区域单元内像素颜色为一平均值。对于各超像素区域单元颜色经过统一处理后所获取的图像，本发明定义为初始融合图，用表示。
步骤S3、以超像素区域单元为节点，根据融合准则Ψ依次执行邻接融合与全局融合，并依次在邻接融合与全局融合过程中将各超像素区域单元内所有像素的颜色用所对应的各超像素区域单元内所有像素的颜色向量的平均值来表示，将相似的超像素区域单元依次融合形成新的超像素区域单元，以依次构建出邻接融合图及全局融合图
基于初始融合图，借助于邻接融合及全局融合这两种融合方式，融合相似的超像素区域单元形成新的区域单元，并用新区域单元内像素的平均颜色统一其包含像素的颜色，进而获得另外两个区域融合图像，即邻接融合图及全局融合图。
基于初始融合图以超像素区域单元作为节点构建区域邻接图，用数学符号写为G(V，E)，其中V为节点集合，E为边的集合。各节点用i表示，i∈V。边用邻接的节点组合表示为(i，j)，(i，j)∈E。每条边的权重设置为C(i，j)，且为邻接的节点i和j间的颜色差异值，其中运算符||*||表示欧几里得范数。
假定在RGB色彩空间中超像素区域单元节点i及j内所有像素的颜色向量的平均值为及由于在CIELAB颜色空间中计算颜色差值效果更好，故ci及cj用及在CIELAB颜色空间中所对应的颜色向量(Li，ai，bi)及(Lj，aj，bj)表示，且σ为一常量参数。
具体的，在本实施例中，σ＝20。
然后，借助区域邻接图G(V，E)融合超像素区域单元。在进行融合操作时，参图3所示，各超像素区域单元用R表示，相邻的超像素区域单元R1及超像素区域单元R2间的颜色差值用C(R1，R2)表示。
两相邻的超像素区域单元进行融合要满足足够的条件(即本文下述的融合准则Ψ)，即只有当超像素区域单元R1及超像素区域单元R2互为最相似且相互邻接时才能进行融合。具体的，可用如下融合准则Ψ确定超像素区域单元R1及超像素区域单元R2是否进行融合。
具体的，该融合准则Ψ的计算公式为：
其中，Ω1及Ω2分别是超像素区域单元R1及超像素区域单元R2的邻域集合。根据融合准则Ψ，仅能两两融合邻接且互为最相似超像素区域单元，如此可以防止过度融合，确保多数超像素区域单元间仍然保持一定差异度，而本发明所述显著值计算有赖于这种差异度。
在融合相似的超像素区域单元产生一定数量新的超像素区域单元后，用这些新超像素区域单元内像素的平均颜色统一其包含像素的颜色，从而产生新的融合效果图，此融合过程为我们称之为邻接融合，产生的融合效果图定义为邻接融合图，用表示。
最后，基于初始融合图，构建全局邻接图G(V，E2)。不同区域邻接图G(V，E)的只对空间上邻接的超像素区域单元间进行加边处理，本发明通过全连通初始融合图中所有超像素区域单元，即在所有超像素区域单元间增加边，并用颜色差异值为边赋予相应权值，构建全局邻接图G(V，E2)。
基于全局邻接图G(V，E2)，同样根据上述融合准则Ψ进行区域融合，融合初始融合图中相似的超像素区域单元产生一定数量新的超像素区域单元，然后同样用这些新区域单元内像素的平均颜色统一其包含像素的颜色，得到另一个融合效果图，对于此操作过程我们称之为全局融合，并定义融合后的效果图为全局融合图，用表示。通过全局融合方式，可以融合空间上并不邻接但互为最相似的超像素区域单元，具体参图3所示。
在本发明中，无论是邻接融合还是全局融合，其本质上是将内部颜色相似的超像素区域单元归为一类，并统一像素颜色。
步骤S4、结合超像素区域单元间的颜色对比度、空间距离权重及背景概率权重分别在初始融合图邻接融合图及全局融合图上计算超像素区域单元的显著值，以获得三幅初始显著图。
本实施例中，用表示初始融合图，用表示邻接融合图，用表示全局融合图。三者可以用一个统一的公式表示为其中为超像素区域单元集合k＝1，2，3，nk表示超像素区域单元的数量，R代表一个超像素区域单元。
本发明基于超像素区域单元间颜色对比度，同时结合空间距离及背景概率，分别在初始融合图邻接融合图及全局融合图上计算各超像素区域单元的显著值。具体计算按如下公式：
其中，k＝1，2，3分别表示在初始融合图邻接融合图及全局融合图上进行计算；Sk(i)表示相应图中超像素区域单元i的显著值，nk是相应图中超像素区域单元数量；Ck(i，j)表示在相应图上超像素区域单元i及j间颜色差值，即颜色对比度；Pk(i，j)表示在相应图上超像素区域单元i及j间的空间欧式距离，且经过归一化处理；表示在相应图上超像素区域单元j的背景概率权重。
一般地，对于超像素区域单元i，本发明定义其背景概率值的计算公式如下所示：
其中，BndConk(i)为超像素区域单元i在相应图上的边界连通性度量值，本发明设置参数σBonCon＝1。其中，当k＝1时，相应图为初始融合图当k＝2时，相应图为邻接融合图k＝3时，相应图为全局融合图
参图4所示，图4为本发明所示各超像素区域单元的边界连通性度量值计算的一种几何图形解释。图4中，区域A、区域B、区域C及区域D为相应四个超像素区域单元所能扩展的区域，区域A的边界接触长度为2，区域面积为40(单位：像素数)，边界连通性度量值为0.32。相对与区域B、C、D，区域A更有可能作为前景区域，即相应超像素区域单元的显著值越高。具体的，本发明各超像素区域单元的边界连通性度量值，采用如下公式计算：
其中，dk(i，j)是图上超像素区域单元i与超像素区域单元j之间最短路径长度δ(·)在超像素区域单元j位于图像边界时取值为1，否则取值为0。nk为超像素区域单元数量，设置参数σclr＝10。
本发明分别在区域融合初始融合图邻接融合图及全局融合图上，分别计算各超像素区域单元的显著值，进而获得三幅初始显著图。
步骤S5、通过元胞自动机的置信遗传机制对三幅初始显著图进行更新，得到三幅优化显著图。
为进一步提升显著检测效果，采用元胞自动机优化初始显著图。对计算所得的三幅初始显著图，分别采用元胞自动机的置信遗传机制对各超像素区域单元的显著值进行优化更新。
此外，本发明设置了独创的置信度矩阵，用来定义元胞自动机的更新规则。在元胞自动机中，每一个超像素区域单元作为一个元胞。所有的元胞均按照特定的更新规则同时更新自身状态。
具体的，本发明中，步骤S5中的元胞自动机的置信遗传机制对初始融合图邻接融合图及全局融合图所获得初始显著图进行更新(或遍历更新，且两种具有等同含义)，其计算公式为：
其中，k＝1，2，3分别代表初始融合图邻接融合图及全局融合图运算符“.”表示矩阵乘积运算，表示当前状态，表示更新后的状态。I为单位矩阵，及分别是影响因子矩阵Fk及置信度矩阵Hk。为一列向量，其各元素的取值设定为元胞的当前显著值。当t＝0时，即为超像素区域单元的初始显著值构成的列向量，即初始状态。优选的，在本实施方式中，元胞自动机的置信遗传机制对初始显著图进行15次遍历更新，以期获得最好的优化效果。
本发明采用独创的置信度矩阵其中设定即将hi值取为各超像素区域单元的背景概率值。本发明设定确保置信度矩阵中的对角元素取值不至于过低，且尽量使其与背景概率值大小一致，如此也可以使得当超像素区域单元背景概率值很高时，其当前状态主要由置信度矩阵决定。
本发明的置信度矩阵最终写为
本发明通过元胞自动机的置信遗传机制优化三幅初始显著图，得到三幅优化显著图。
超像素区域单元与其邻域内的超像素区域单元间一般更可能具有相似的颜色和纹理。本发明扩展各超像素区域单元的邻接区域，使各超像素区域单元不仅与和其相邻的超像素邻接连通而且和与其邻接超像素分享共同边界的超像素区域单元间也进行邻接连通。另外，将图像边界上的任意超像素区域单元两两邻接连通。然后，用如下公式定义超像素区域单元j对i的影响因子值进而构建上述影响因子矩阵
其中，k＝1，2，3分别表示初始融合图邻接融合图及全局融合图Ck(i，j)为两相邻超像素区域单元间的颜色差异值，NBk(i)是超像素区域单元i的邻域集合。
在本实施例中，该归一化影响因子矩阵Fk用度矩阵其中归一化后的影响因子矩阵改为
步骤S6、对步骤S5中的三幅优化显著图执行累加求和运算，以获得包含显著性人体区域的集成显著图S。
在本发明中，首先对获得的三幅优化显著图采用式进行累加求和运算，以获得集成显著图S。
其中，Sk为在相应图(即，当k＝1时，相应图为初始融合图当k＝2时，相应图为邻接融合图k＝3时，相应图为全局融合图如无特殊说明，本实施例中所涉及的相同部分的文字记载均为同一含义)上计算获得的优化显著图。
然后，将集成显著图S的灰度值归一化到区间[0，1]，并对归一化处理后的集成显著图S进行高斯增强处理。该高斯增强处理的计算公式为：
其中，参数σs＝0.5。
优选的，在本实施方式中，还在可在步骤S6执行完毕之后，将集成显著图S转换为256阶灰度图，作为最终的包含显著性人体区域的效果图或者检测图，从而可便于后期对输入图像中所包含的人体区域的提取，可极大提高对监控区域30中所所含的人体区域及通过监控区域30的行人数量。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
- 还没有人留言评论。精彩留言会获得点赞！