基于视频监控的人数统计方法和系统的制作方法

专利名称：基于视频监控的人数统计方法和系统的制作方法
技术领域：
本发明涉及视频监控技术，特别涉及一种基于视频监控的人数统计方法 以及一种基于视频监控的人数统计系统。
背景技术：
在例如超市、写字楼、地铁的出入口等场景，通常设置有视频监控系统 的摄像头、以便实现对超市、写字楼、地铁的出入口等场景进行视频监控。
同时，出于某些特定需要，在上述各场景中，通常还需要统计出入的人 数。而现有技术中的视频监控无法实现人数统计，因而上述的统计通常需要 由人来完成。
然而，由于完成上述统计的人难以长时间集中精力 一 直保持对出入人数 的精确计数，且在人流密集时容易漏计人数，因而由人来实现人数统计不但 耗费人力，且人数统计的精度也不高。

发明内容
有鉴于此，本发明提供了一种基于视频监控的人数统计方法以及一种基 于视频监控的人数统计系统，能够基于视频监控实现人数统计。
本发明提供的 一 种基于视频监控的人数统计方法，包括 al、在当前图像中进行人头检测，确定当前图像中的各人头； a2、利用当前图像、以及当前图像中各人头的位置，估算出前一帧图像 中各人头的平移矢量速度；
a3、根据前一帧图像中各人头的平移矢量速度，对前一帧图像中各人头 进行预测跟踪，确定前一帧图像中各人头在当前图像中分别对应的人头，同 时还确定新出现在当前图像中的人头、以供对下一帧图像执行所述步骤a2和a3时使用；
a4、根据前一帧图像中各人头的数量、和/或前一帧图像中各人头在当 前图像中分别对应的人头的数量，确定当前图像中的人数。
所述步骤al之前，该方法进一步包括a0、利用前一帧图像的背景区 域，从当前图像中检测包含运动物体的前景区域；
且，所述步骤al中仅在当前图像的前景区域中检测人头。
从当前图像中检测包含运动物体的前景区域之后，所述步骤a0进一步 包括
a01、将前一帧图像中的各运动物体与当前图像中各运动物体进行像素 匹配，并根据像素匹配的运动物体在前一帧图像与当前图像中的位置差，估 算出前一帧图像中各运动物体的平移矢量速度；
a02、根据估算出的前一帧图像中各运动物体的平移矢量速度确定前一 帧图像中各运动物体的预测跟踪位置，并将前 一 帧图像中各运动物体的预测 跟踪位置与当前图像中各运动物体的实际位置进行匹配，以确定前一帧图像 中各运动物体在当前图像中分别对应的运动物体、以及新出现在当前图像中 的运动物体；
a03、将当前图像中在前几帧图像中均未移动的运动物体设置为当前图 像的背景，以供从下 一 帧图像中检测包含运动物体的前景区域时使用。 所述步骤al包括
al 1 、在当前图像的前景区域中搜索得到候选人头窗口 ；
a12、利用预先通过若干人头正样本和反样本训练得到的第一级分类器，
从搜索得到的所有候选人头窗口分别抽取Haar微特征和灰度均值特征，并
根据抽取的Haar微特征和灰度均值特征对搜索得到的所有候选人头窗口进
行第一级4企测过滤；
a3、对第一级检测过滤后剩余的候选人头窗口进行灰度归一化处理； a14、利用预先通过若干人头正样本和反样本训练得到的第二级分类器，
从灰度归一化处理后的所有候选人头窗口分别抽取Haar微特征，并根据抽
9取的Haar微特征对灰度归一化处理后的所有候选人头窗口进行第二级检测 过滤；
a15、将第二级检测过滤后剩余的所有候选人头窗口中，相邻的多个候 选人头窗口进行合并；
a16、计算合并得到的所有候选人头窗口与预设人头特征规则的相似性；
a17、将相似性大于预设第一阈值的候选人头窗口确定为人头。
所述步骤all中，按照预设计数子区域的位置、尺寸和形状仅在当前图 像的部分前景区域中执行所述搜索，和/或在执行所述搜索时仅搜索预设人 头尺寸的候选人头窗口 。
所述步骤a2包括将前一帧图像中的各人头与当前图像中各人头进行 像素匹配，并根据像素匹配的人头在前一帧图像与当前图像中的位置差，估 算出前一帧图像中各人头的平移矢量速度。
所述步骤a3包括根据估算出的前一帧图像中各人头的平移矢量速度 确定前一帧图像中各人头的预测跟踪位置，并将前一帧图像中各人头的预测 跟踪位置与当前图像中各人头的实际位置进行匹配，以确定前一帧图像中各 人头在当前图像中分别对应的人头、以及新出现在当前图像中的人头。
在所述步骤a4中，所确定的当前图像中的人数仅包括在连续N帧图 像中均出现的人头的数量，其中，N为大于等于2的正整数；
和/或，所确定的当前图像中的人数仅为预设计数子区域的位置、尺寸 和形状内的人数。
在所述步骤a4中，所确定的当前图像中的人数仅包括在连续N帧图 像中均出现、且在连续N帧图像中的所述相似性总合大于预设第二阈值的 人头的数量，其中，N为大于等于2的正整数。
在所述步骤a4中，进一步根据所述步骤a2得到的平移矢量速度，分别 确定当前图像中在不同运动方向的人数。
本发明提供的一种基于视频监控的人数统计系统，包括
人头检测模块，用于在当前图像中进行人头检测，确定当前图像中的各人头；
图像存储模块，用于存储前一帧图像、以及表示前一帧图像中各人头的
人头检测结果；
运动估计模块，用于利用当前图像、以及当前图像中各人头的位置，估 算出前一帧图像中各人头的平移矢量速度；
预测跟踪模块，用于根据前一帧图像中各人头的平移矢量速度，对前一 帧图像中各人头进行预测跟踪，确定前一帧图像中各人头在当前图像中分别 对应的人头，同时还确定新出现在当前图像中的人头、以供所述速度估计模 块和所述预测跟踪模块处理下一帧图像时使用；
数量确定模块，用于根据前一帧图像中各人头的数量、和/或前一帧图 像中各人头在当前图像中分别对应的人头的数量，确定当前图像中的人数。
该系统进一步包括前景检测模块，用于利用前一帧图像的背景区域， 从当前图像中检测包含运动物体的前景区域；
且，所述人头检测模块仅在当前图像的前景区域中检测人头。
所述前景检测模块包括:前景提取子模块，用于从当前图像中检测包含 运动物体的前景区域；
且，所述前景检测模块进一步包括
运动估计子模块，用于将前一帧图像中的各运动物体与当前图像中各运 动物体进行像素匹配，并根据像素匹配的运动物体在前一帧图4象与当前图像 中的位置差，估算出前一帧图像中各运动物体的平移矢量速度；
预测跟踪子模块，用于根据估算出的前一帧图像中各运动物体的平移矢 量速度确定前 一 帧图像中各运动物体的预测跟踪位置，并将前 一 帧图像中各 运动物体的预测跟踪位置与当前图像中各运动物体的实际位置进行匹配，以 确定前 一 帧图像中各运动物体在当前图像中分别对应的运动物体、以及新出 现在当前图像中的运动物体；
背景更新子模块，用于将当前图像中在前几帧图像中均未移动的运动物 体设置为当前图像的背景，以供所述前景提取子模块从下一帧图像中检测包含运动物体的前景区域时使用。 所述人头检测模块包括
窗口搜索子模块，用于在当前图像的前景区域中搜索得到候选人头窗
口 ；
利用预先通过若干人头正样本和反样本训练得到的第 一级分类器，用于
从搜索得到的所有候选人头窗口分别抽取Haar微特征和灰度均值特征，并 根据抽取的Haar微特征和灰度均值特征对搜索得到的所有候选人头窗口进 行第一级4企测过滤；
灰度归 一 化子模块，用于对第 一 级检测过滤后剩余的候选人头窗口进行 灰度归一化处理；
利用预先通过若干人头正样本和反样本训练得到的第二级分类器，用于
从灰度归 一化处理后的所有候选人头窗口分别抽取Haar微特征，并根据抽 取的Haar微特征对灰度归一化处理后的所有候选人头窗口进行第二级检测 过滤；
窗口合并子模块，用于将第二级检测过滤后剩余的所有候选人头窗口 中，相邻的多个候选人头窗口进行合并；
相似性计算子模块，用于计算合并得到的所有候选人头窗口与预设人头 特征规则的相似性；
结果判定子模块，用于将相似性大于预设第 一阈值的候选人头窗口确定 为人头。
所述窗口搜索子模块按照预设计数子区域的位置、尺寸和形状仅在当前 图像的部分前景区域中执行所述搜索，和/或在执行所述搜索时仅搜索预设 人头尺寸的候选人头窗口 。
所述运动估计模块将前一帧图像中的各人头与当前图像中各人头进行 像素匹配，并根据像素匹配的人头在前一帧图像与当前图像中的位置差，估 算出前一帧图像中各人头的平移矢量速度。
所述预测跟踪模块根据估算出的前一帧图像中各人头的平移矢量速度
12确定前一帧图像中各人头的预测跟踪位置，并将前一帧图像中各人头的预测 跟踪位置与当前图像中各人头的实际位置进行匹配，以确定前一帧图像中各 人头在当前图像中分别对应的人头、以及新出现在当前图像中的人头。
所述数量确定模块所确定的当前图像中的人数仅包括在连续N帧图 像中均出现的人头的数量，其中，N为大于等于2的正整数；
和/或，所确定的当前图像中的人数仅为预设计数子区域的位置、尺寸 和形状内的人数。
所述数量确定模块所确定的当前图像中的人数仅包括在连续N帧图 像中均出现、且在连续N帧图像中的所述相似性总合大于预设第二阈值的 人头的数量，其中，N为大于等于2的正整数。
所述数量确定模块进一步根据所述运动估计模块得到的平移矢量速度， 分别确定当前图像中在不同运动方向的人数。
由上述技术方案可见，本发明基于视频监控，并通过人头检测、以及对 人头的运动估计和跟踪来实现人数统计，以避免由人实现人数统计时、由于 难以保持足够的精力而造成的计数误差，且考虑到视频监控摄像机按照在监 控场景中通常设置在比较高的位置、并斜向下获取视频，因而即使场景中人 流密集，所有的人头基本上也都是可见的，可实时检测到所有这些人头，并 在视频中进行连续的跟踪以实现精确的计数，这样能够避免由人实现人数统 计时由于人流密集而造成的漏计人数。
进一步地，由于可以在图像中可以4企测出包含运动物体的前景区域，因 此，本发明可以仅在前景区域中进行人头检测、而无需在不可能出现人头的 背景区域进行人头检测，从而能够排除不必要的^r测过程、以提高人数统计 的效率。
在利用前 一 帧图像的背景区域来检测当前图像的前景区域的情况下，本 发明还可以通过对前景区域的运动估计和预测跟踪，判断出当前图像中前景 区域所包含的各运动物体，然后即可以此判断监控场景中的静止物体以更新 背景区域，以使得在下一帧图像中检测的前景区域能够更加准确，从而能够提高人数统计的精度。
再进一步地，本发明可以利用两级分类器对前景区域中搜索得到候选人 头窗口进行两级检测过滤、并计算两级检测过滤后剩余的所有候选人头窗口 与预设人头特征规则的相似性，以实现对人头的检测。
在这种情况下，由于第一级分类器进行第一级检测过滤的候选窗口未进 行灰度归一化处理，因而能够检测过滤掉大量灰度分布较为复杂的非人脸图 像，从而能够减少第二级分类器的处理、以提高人头检测的效率，进而能够
进一步提高人数统计的效率；由于在计算候选人头窗口与预设人头特征规则 的相似性之前，还可以先合并相邻的多个候选人头窗口 ，从而避免了同一个 人头对应多个候选人头窗口，进一步提高了人头检测的准确性，进而能够进 一步提高人数统计的精度；且，由于真实的人头才可能对应多个候选人头窗 口、而虚警的出现往往比较孤立，因此，本发明如果仅计算合并后的候选人 头窗口与预设人头特征规则的相似性，则能够避免将图像中的虚警误检测为 人头，从而再进一步地提高了人头检测的准确性，进而能够再进一步地提高 人数统计的精度。
此外，本发明能够先通过人头的像素匹配实现运动估计，再通过人头的 位置匹配实现预测跟踪，从而能够避免监控场景中被遮挡的人头遗漏，进而 能够又进一 步地提高人数统计的精度。
为了避免仅出现一次的人头实际上为虚景而对人数统计精度产生影响， 可选地，本发明在确定人数时，可以不考虑仅出现一次的人头，以从而能够 又进一 步地提高人数统计的精度。
而将本发明应用于例如超市、写字楼、地铁的出入口等场景的视频监控 时，还可以分别确定当前图像中在不同运动方向的人数，以适应实际需要， 从而能够使得本发明的技术方案具有广泛的应用范围。


图1为本发明实施例中人数统计方法的示例性流程图；图2为本发明实施例中人数统计方法采用的人脸^f企测过程所抽取的
Haar微特征的示例性结构图3为本发明实施例中人数统计方法采用的人脸检测过程所使用的第 一级和第二级分类器的组成示意图4为本发明实施例中人数统计方法采用的人脸检测过程的示例性流
程图5为本发明实施例中人数统计系统的示例性结构图6为本发明实施例中人数统计系统的前景检测模块的示例性结构图7为本发明实施例中人数统计系统的人头检测模块的示例性结构图。
具体实施例方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举 实施例，对本发明进一步详细i兌明。
本实施例中基于视频监控，并通过人头检测、以及对人头的运动估计和 跟踪来实现人数统计，以避免由人实现人数统计时、由于难以保持足够的精 力而造成的计数误差，且考虑到视频监控摄像机按照在监控场景中通常设置 在比较高的位置、并斜向下获取视频，因而即使场景中人流密集，所有的人 头基本上也都是可见的，可实时检测到所有这些人头，并在视频中进行连续 的跟踪以实现精确的计数，这样能够避免由人实现人数统计时由于人流密集 而造成的漏计人数。
图1为本发明实施例中人数统计方法的示例性流程图。如图1所示，本 实施例中基于视频监控的人数统计方法依次接收视频监控图像中的每一帧 图像，并依次将每帧图像作为当前图像执行如下步骤
步骤IOI，利用前一帧图像的背景区域,'从当前图像中检测包含运动物 体的前景区域。
在本步骤中，可以采用现有的任一种前景检测方式，在此不再——赘述。 步骤102，在当前图像的前景区域中进行人头检测，确定当前图像中的各人头。
在本步骤中，可以按照现有任一种人头检测方式实现人头检测；当然， 也可以按照本实施例中提出的 一种基于两级分类器的方式实现人头检测。其 中，本实施例所提出的基于两级分类器实现人头检测的方式请详见后文。
需要说明的是，由于步骤101在当前图像中检测出了包含运动物体的前 景区域，而本实施例实现人数统计所依据的人头必定属于运动物体，因此， 在本步骤中可以仅在前景区域中进行人头检测、而无需在不可能出现人头的 背景区域进行人头检测，从而能够排除不必要的检测过程、以提高人数统计 的效率。
当然，上述步骤101仅^又为可选的步骤，如果不执行步骤101，则本步 骤需要在当前图像的整帧中进行人头检测，但这样仅仅是额外进行了不必要 的检测过程，而不会对人头检测结果造成实质性的影响。
此外，可选地，用户可根据监控场景的实际情况任意设置用于表示仅对 该区预内人头计数有效的计数子区域、和/或用于计数的人头的尺寸。此时， 本步骤则可根据预设计数子区域的位置、尺寸和形状仅在当前图像的部分前 景区域中执行人头检测，和/或在执行人头检测时仅检测符合预设人头尺寸 的人头。其中，上述的任意设置是指，在任意位置设置计数子区域、且设置 的计数子区域可以为任意形状。
步骤103，利用当前图像、以及当前图像中各人头的位置，估算出前一 帧图像中各人头的平移矢量速度。
在本步骤中，可以采用现有任意一种运动估计方式；当然，也可以采用 本实施例所提供的一种像素匹配方式。其中，本实施例所提出的像素匹配方 式请详见后文。
步骤104,根据前一帧图像中各人头的平移矢量速度，对前一帧图像中 各人头进行预测跟踪，确定前一帧图像中各人头在当前图像中分别对应的人 头，同时还确定新出现在当前图像中的人头、以供对下一帧图像执行所述步 骤103和104时4吏用。
16在本步骤中，可以采用现有任一种预测跟踪方式，也可以采用本实施例 中所提供的一种基于位置匹配的方式来实现。其中，本实施例所提出的基于 位置匹配的方式请详见后文。
步骤105,根据前一帧图像中各人头的数量、和/或前一帧图像中各人头
在当前图像中分别对应的人头的数量，确定当前图像中的人数。
可选地，用户可根据监控场景的实际情况任意设置用于表示仅对该区预
内人头计数有效的计数子区域。此时，本步骤则可以仅确定当前图像的计数
子区域内的人数。 至此，本流程结束。
下面，对上述流程中的各步骤分别进行详细说明 1 )关于步骤101:
在将第一帧图像作为当前图像执行步骤101时，整幅图像均为前景区 域；而将对除第一帧图像之外的后续其他帧图像作为当前图像执行步骤l(M 时，通常只有一部分为前景区域、而剩余的另一部分则为背景区域。
这样，由于将除第一帧图像之外的每帧图像作为当前图像时，均需要利 用该帧图像的前一帧图像的背景区域执行步骤101,因此，本实施例中的步 骤101可以在从当前图像中检测包含运动物体的前景区域之后，进一步可选 地对检测到的前景区域进行运动估计和预测跟踪、以识别出连续在多帧图像 中出现的静止物体并更新背景区域，从而提高人数统计的精度。
具体来说，对检测到的前景区域进行运动估计可以釆用现有任一种运动 估计方式，也可以采用本实施例所提出的一种像素匹配方式，该方式包括 基于像素块的方式，将前一帧图像中的各运动物体与当前图像中各运动物体 进行像素匹配，并根据像素匹配的运动物体在前一帧图像与当前图像中的位 置差，估算出前一帧图像中各运动物体的平移矢量速度。
而对于检测到的前景区域进行预测跟踪，则可以采用现有任一种预测跟 踪方式，也可以采用本实施例所提出的基于位置匹配的方式来实现，该方式 包括根据估算出的前一帧图像中各运动物体的平移矢量速度，直接确定、或根据前一帧图像中各运动物体的聚类处理结果来确定前一帧图像中各运 动物体的预测跟踪位置，并将前 一 帧图像中各运动物体的预测跟踪位置与当 前图像中各运动物体的实际位置进行匹配，以确定前一帧图像中各运动物体 在当前图像中分别对应的运动物体、以及新出现在当前图像中的运动物体。 此后，即可将当前图像中在前M帧图像中均未移动的运动物体设置为
当前图像的背景、M为大于等于1的正整数，以供从下一帧图像中执行步骤 101时使用。
2)关于步骤102:
本实施例提出了一种基于两级分类器实现人头检测的方式，该方式对从 当前图像的整帧、或当前图像的前景区域中搜索得到的所有候选人头窗口采 用三级检测过滤。其中，第一级检测过滤利用"人头/非人头"的二类分类 器来实现，并针对未经灰度归一化处理的候选人头窗口；第二级检测过滤也 利用"人头/非人头"的二类分类器来实现，但针对经灰度归一化处理的候 选人头窗口；而第三级则是基于候选人头窗口与人头特征规则的相似性来实 现。"人头/非人头"的二类分类器在本文中简称为"分类器"。
上述的第一级分类器和第二级分类器可利用现有人脸检测技术中成熟 的Adaboost理论来实现，第一级分类器从候选人头窗口中抽取哈尔(Haar) 小波的微结构特征(简称为Harr微特征)和灰度均值特征，而第二级分类 器则从候选人头窗口中仅抽取Harr微特征；第 一级分类器和第二级分类器 基于所抽取的特征能够确定某个尺度的矩形人头候选窗口是否是人头。
较佳地，本实施例采用了如图2左侧的所示的6种Haar微特征、以及 如图2最右侧所示的1种灰度均值特征。对于如图2所示的6种Haar微特 征，本发明计算图像中对应黑色区域和白色区域内像素灰度均值的差值得到 特征；对于灰度均值特征，本发明则计算矩形框内所有像素的均值。
其中，上述黑色区域通常表示人头的背景图像，而上述白色区域则通常 表示人头、尤其是人头正面的人脸；且，如图2所示的6种组微特征中，黑 色区域或者白色区域的长、宽可以任意选择，只需不超过候选人头窗口的尺寸即可。
当然，实际使用的Haar微特征可以不限于如图2所示的6种，而是包 括下述之一或任意组合
左右相邻的 一 个黑色区域和 一 个白色区域之间的像素灰度均值差，即不 限于黑色区域和白色区域哪一个在左、哪一个在右；
上下相邻的一个黑色区域和一个白色区域之间的像素灰度均值差，即不 限于黑色区域和白色区域哪一个在上、哪一个在下；
一个黑色区域与其左右相邻的两个白色区域之间的像素灰度均值差；
一个白色区域与其左右相邻的两个黑色区域之间的像素灰度均值差；
两个对角相连的黑色区域，与相邻两个对角相连的白色区域之间的像素 灰度均值差，不限于黑色区域与白色区域的相对位置关系；
对角相连的一个黑色区域和一个白色区域之间的像素灰度均值差，不限 于黑色区域与白色区域的相对位置关系。
且在第一级分类器和第二级分类器的具体实现上，本实施例基于 Adaboost理论将多个基于单个特征的弱分类器组成为一个强分类器，然后将 多个强分类器级联成一个完整的"人头/非人头，，的二类分类器，即本发明 所需的第一级分类器、第二级分类器。参见图3，第一级分类器、第二级分 类器由n层上述强分类器级联而成，在第一级分类器、第二级分类器检测时， 如果n层强分类器中的某一层强分类器判别一个候选人头窗口为(False )假， 则排除此窗口而不进行进一步的判别，如果输出为(Tme)真，则使用下一 层更复杂的强分类器对该窗口进行判别。也就是说，每一层强分类器都能让 几乎全部人头样本通过，而拒绝大部分非人头样本。这样输入低层强分类器 的候选人头窗口就多，而输入高层的候选人头窗口大大减少。
此外，对于上述结构的第一级分类器和第二级分类器，还需要利用大量 的人头正样本和人头反样本预先进行训练。其中，人头正样本可包括自人头 正面、侧面、背面、以及顶部拍摄的人头图像，即覆盖了不同姿态、不同头 发、戴不同帽子的真实人头图像；而人头反样本包括例如风景、动物、文字
19等任意未包含人头的图像；而具体的训练方法可以基于现有的Adaboost理
论来实现，在此不再赘述。
而且，为了保证对所有人头正样本和人头反样本被处理时处于同等条
件，在进行训练之前，本发明可以先设定样本搜索窗口的尺寸，例如13 x
13,然后由第一级分类器和第二级分类器利用设定尺寸的样本搜索窗口对所
有人头正样本和人头反样本进行裁剪和尺寸归一化处理，得到尺寸相同的人
头正样本和人头反4羊本。
这样，如图4所示，步骤102的具体处理过程就可以包括
步骤102a、在当前图像的整帧、或当前图像的前景区域中搜索得到候
选人头窗口 。
较佳地，为了尽可能保证输入图像中所有可能的候选人头窗口不会被遗 漏，本步骤中的处理过程可具体包括先对输入的图像进行进行镜像、例如 1.05倍尺寸放大或0.95倍尺寸缩小等预设比例的缩放、例如±10度等预设 角度的旋转；然后在输入的图像、以及进行所述缩放、所述旋转后的图像中， 以穷举的方式搜索得到不同尺寸的若干候选人头窗口；最后，再将不同尺寸 的若干候选人头窗口进行尺寸归一化处理，得到预设标准尺寸的若干候选人 头窗口 。
这样，可最大限度地避免不同角度或不同大小的候选人头窗口被遗漏； 还可保证在后续的处理过程中，对所有候选人头窗口采用同等条件的处理。
此外，对于如前文所述，用户可根据监控场景的实际情况任意设置用于 表示仅对该区预内人头计数有效的计数子区域、和/或用于计数的人头的尺 寸。此时，本步骤则可根据预设计数子区域的位置、尺寸和形状仅在当前图 像的部分前景区域中执行搜索，和/或在执行搜索时仅搜索符合预设人头尺 寸的候选人头窗口。
步骤102b、利用预先通过若干人头正样本和反样本训练得到的第一级 分类器，从搜索得到的所有候选人头窗口分别抽取Haar微特征和灰度均值 特征，并根据抽取的Haar微特征和灰度均值特征对搜索得到的所有候选人头窗口进行第 一级检测过滤。
由于所有候选人头窗口经灰度归一化处理后，有可能存在某些非人头的 候选人头窗口与实际为人头的候选人头窗口的灰度分布相类似，区分较为困 难，因此，本步骤先不对所有候选人头窗口进行灰度归一化处理、并通过第 一级检测过滤将上述的某些非人头的候选人头窗口排除掉，以减少后续为区 分上述的某些非人头的候选人头窗口的处理，因而能够提高人头检测的效 率。
需要说明的是，本步骤中从每个候选人头窗口抽取的Harr微特征的种 类数量可任意设定；Harr微特征中黑色区域或者白色区域的长、宽可以任意 选择，只需不超过候选人头窗口的尺寸即可；Harr微特征中的位置也可任意 选择。
步骤102c、对第一级检测过滤后剩余的候选人头窗口进行灰度归一化处理。
步骤102d、利用预先通过若干人头正样本和反样本训练得到的第二级 分类器，从灰度归一化处理后的所有候选人头窗口分别抽取Haar微特征， 并根据抽取的Haar微特征对灰度归一化处理后的所有候选人头窗口进行第 二级;f企测过滤。
虽然所有候选人头窗口经灰度归一化处理后，有可能存在某些非人头的 候选人头窗口与实际为人头的候选人头窗口的灰度分布相类似、区分较为困 难，但由于上述的某些非人头的候选人头窗口已在第一次^r测过滤时被排除 掉，因此，从本步骤开始的后续步骤均避免了对上迷的某些非人头的候选人 头窗口的处理，从而提高了人头检测的效率。
需要说明的是，本步骤中从每个候选人头窗口抽取的Harr微特征的种 类数量可任意设定；Harr微特征中黑色区域或者白色区域的长、宽可以任意 选择，只需不超过候选人头窗口的尺寸即可；Harr微特征中的位置也可任意 选择。
步骤102e、将第二级检测过滤后剩余的所有候选人头窗口中，相邻的多个候选人头窗口进行合并。
本步骤所述的相邻可以是指相互之间的尺寸差异小于预设尺寸差异阅 值、和/或位置差异小于预设位置差异阈值、和/或重叠面积大于预设重叠面 积阈值。
由于从输入图像中搜索得到的某些相邻候选人头窗口 ，实际上可能对应 的是该输入图像中的同一个人头，因此，为了避免对应同一个人头的多个相 邻候选人头窗口被分别识别为不同的人头，由本步骤将相邻的多个候选人头 窗口合并为一个、并由后续步骤仅针对合并后的候选人头窗口进行处理，以
提高人头检测的准确性，从而提高人数统计的精度；且，由于真实的人头才 可能对应多个候选人头窗口、而虚警的出现往往比较孤立，因此，如果后续 步骤仅针对合并后的候选人头窗口进行处理，则能够避免将图像中的虚警误 检测为人头，从而能够再进一步地提高人头检测的准确性，进而能够进一步 提高人数统计的精度。
当然，由于本步骤的作用主要是提高人头检测的准确性，如果不执行本 步骤仅仅是降低人头检测的准确性、而不会妨碍人头检测的实现，因此本步 骤为可选的步骤。
步骤102f、计算合并得到的所有候选人头窗口与预设人头特征规则的相似性。
相应地，本步骤中的具体处理过程可以包括先"t姿照现有人脸检测中抽 取轮廓点的方式，抽取候选人头窗口中的各轮廓点；然后利用现有的Sobel 算子计算候选人头窗口中各轮廓点在X方向的边界值ec/ge一;c 、以及在y方向 的边界值WgL》,；此后，再利用公式V0念e — ;c)2 + — y)2计算候选人头窗口
中各轮廓点的边界幅度、利用公式arctan^^计算候选人头窗口中各轮廓
点的边界方向；最后，计算候选人头窗口中各轮廓点的边界幅度和边界方向 与标准人头边界的各轮廓点的边界幅度和边界方向的相似性，得到候选人头窗口与预设人头特征规则的相似性。
需要说明的是，由于步骤102e为可选的步骤，因此，当执行完步骤102d 后、不执行步骤102e而直接执行本步骤时，本步骤可以按照上述方式计算 第二级检测过滤后剩余的所有候选人头窗口与预设人头特征规则的相似性。
步骤102g、将相似性大于预设第一阈值的候选人头窗口确定为人头。
至此，如图4所示的人头检测过程的流程结束。
3) 关于步骤103:
本实施例对于步骤103的具体处理过程，提出了一种像素匹配方式包 括基于像素块，将前一帧图像中的各人头与当前图像中各人头进行像素匹 配，并根据像素匹配的人头在前一帧图像与当前图像中的位置差，估算出前 一帧图像中各人头的平移矢量速度。
4) 关于步骤104:
本实施例对于步骤104的具体处理过程，提供了 一种基于位置匹配的方 式包括根据估算出的前一帧图像中各人头的平移矢量速度确定前一帧图像 中各人头的预测跟踪位置，并将前一帧图像中各人头的预测跟踪位置与当前 图像中各人头的实际位置进行匹配，以确定前一帧图像中各人头在当前图像 中分别对应的人头、以及新出现在当前图像中的人头。其中，如果前一帧图 像中的任意人头，在当前图像中存在位置匹配的人头，则可确定前一帧图像 中的该人头在当前图像中对应与其位置匹配的人头；如果前一帧图像中的任 意人头，在当前图像中不存在位置匹配的人头，则确定前一帧图像中的该人 头暂时消失；如果当前图像中的任意人头没有与之匹配的前一帧图像中的人 头，则确定当前图像中的该人头为新出现在当前图像中的人头。
例如，在前 一 巾贞图像中各人头的预测跟踪位置处设置相应的预测矩形 框，并在当前图像中各人头的实际位置处设置相应的检测矩形框;然后分别 计算各预测矩形框与每个检测矩形框的重叠面积，重叠面积越大，则表示对
应的检测矩形框所在位置越有可能是该预测矩形框所对应人头在当前图像 中的位置，因此，将与每个预测矩形框重叠面积最大的一个检测矩形框，分
23别确定为该预测矩形框位置匹配的检测矩形框，然后依据位置匹配的预测矩 形框和检测矩形框，确定前一帧图像中各人头在当前图像中分别对应的人 头。即，将与前一帧图像中每个人头的预测矩形框重叠面积最大的检测矩形 框所对应的当前图像中的人头，分别确定为前一帧图像中人头的在当前图像 中分别对应的人头；将当前图像中，未在前一帧图像中找到重叠预测矩形框 的检测矩形框所对应的人头，确定为在当前图像中新出现的人头。
此外，前一帧图像中的每个人头通常只能对应一个检测矩形框， 一个检 测矩形框通常也只能对应前一帧图像中的一个人头。那么如前一帧图像中的 某个人头未对应任何一个检测矩形框、即该人头的预测矩形框与当前图像中 的所有监测矩形框均无重叠，则认为前一帧图像中的该人头在当前图像中暂 时消失。但是，在本实施例中并不立即删除该人头、而是仍然跟踪前一帧图 像中的该人头，在将后续的每帧图像作为当前图像执行本步骤时，根据该人 头的平移速度继续更新该人头的预测矩形框，如连续P帧图像中该预测矩形 都没重叠的检测矩形框，P为大于l的正整数，再确定该人头已经消失，否 则认为该人头重新出现。
5)关于步骤105:
在步骤105如何确定当前图像中的人数，可以根据监控场景的实际情况 和需要来任意设定。
例如，假设前一帧图像中各人头的数量，大于前一帧图像中各人头在当 前图像中分别对应的人头的数量，则表示前一帧图像中的至少一个人在当前 图像中被遮挡、或消失，那么对于图像能够包含整个密闭房间景象的监控场 景来说，由于不会有人从密闭房间中离开，因而步骤105可以将前一帧图像 中各人头的数量确定为当前图像中的人数即可；而对于地铁出入口等人移动 十分频繁的监控场景来说，由于人通常是快速的单方向移动、而很少会由于 停留而被遮挡，因而步骤105可以将前一帧图像中各人头在当前图像中分别 对应的人头的数量确定为当前图像中的人数即可，或同时再考虑多种其他条 件来确定。
24再例如，对于作为人流出入较为频繁的大门等监控场景，步骤105还可
进一步根据步骤103得到的平移矢量速度，分別确定当前图像中在不同运动
方向的人数，即，如果某个人头跨过了进门的线，且平移速度的方向与进门
方向一致，则进门的人头数加l;如某个人头跨过了出门的线，且平移速度 的方向与出门方向一致，则出门的人头数加l。
由此可见，本步骤中确定当前图像中人数的具体方式只能依据监控场景 的实际情况和需要来设定，因此，在此无法——赘述。
需要说明的是，步骤105中之所以在确定当前图像中的人数时，只考虑 根据前一帧图像中各人头的数量、和/或前一帧图像中各人头在当前图像中 分别对应的人头的数量，而不考虑新出现在当前图像中的人头数量，这是因 为新出现在当前图像中的人头只有在后续至少一帧图像中继续出现，才有可 能不是虚景。
由此，无论采用哪种具体的确定规则，较佳地，本实施例在步骤105中 所确定的当前图像中的人数仅包括在连续N帧图像中均出现的人头的数 量，其中，N为大于等于2的正整数。此外，如前所述，可选地，用户可根 据监控场景的实际情况任意设置用于表示仅对该区预内人头计数有效的计 数子区域，那么此时，步骤105所确定的当前图像中的人数，仅为预设计数 子区域的位置、尺寸和形状内的人头数量。
当然，对于如图4所示的人头检测方式，较佳地，在步骤105中所确定 的当前图像中的人数仅包括在连续N帧图像中均出现、且在连续N帧图 像中的步骤102f所得到的相似性的总合大于预设第二阈值的人头的数量， 其中，N为大于等于2的正整数。即不以出现该人头的数量来判断，而是以 该人头在多帧图像中是否具有较高相似度为判断依据。
以上是对本实施例中基于视频监控的人数统计方法的详细说明 下面， 再对本实施例中基于视频监控的人数统计系统进行说明。
图5为本发明实施例中人数统计系统的示例性结构图。如图5所示，本 实施例中的人数统计系统包括前景检测模块501、人头检测模块502、图像存储模块503、运动估计模块504、预测跟踪模块505、以及数量确定模 块506。
前景检测模块501，用于按照现有任一种前景检测方式，利用前一帧图 像的背景区域，从当前图像中检测包含运动物体的前景区域。
人头检测模块502,用于在当前图像的前景区域中进行人头检测，确定 当前图像中的各人头。其中，人头检测模块502可以基于现有任一种人头检 测方式的工作原理实现人头，也可以基于按照本实施例中方法部分所提出的 基于两级分类器这一方式的工作原理实现人头检测。
需要说明的是，前景检测模块501为可选的模块，对于包含前景检测模 块501的情况，人头检测模块502无需在不可能出现人头的背景区域进行人 头检测，从而能够排除不必要的检测过程、以提高人数统计的效率；而对于 不包括前景检测模块501的情况，人头检测模块502直接在整帧当前图像中 进行人头检测。进一步可选地，用户可根据监控场景的实际情况，在人头检 测模块502中任意设置用于表示仅对该区预内人头计数有效的计数子区域、 和/或用于计数的人头的尺寸；此时，人头检测模块502则可根据预设计数 子区域的位置、尺寸和形状仅在当前图像的部分前景区域中执行人头检测，
意设置是指，在任意位置设置计数子区域、且设置的计数子区域可以为任意 形状。
图像存储模块503,用于存储前一帧图像、以及表示前一帧图像中各人 头的人头检测结果。其中，为了节省实现存储的硬件资源，图像存储模块 503可以只存储一帧图像、表示该一帧图像中各人头的人头检测结果、以及 该一帧图像中的其他相关信息，即在如图5所示系统完成对当前图像的处理 后，当前图像、表示当前图像中各人头的人头检测结果、以及当前帧图像中 的其他相关信息均会被存储至图像存储模块503，以覆盖图像存储模块503 中的前一帧图像、表示前一帧图像中各人头的人头检测结果、以及前一整帧 图像中的其他相关信息。这样，对于下一帧图像来说，当前图像即作为该下
26一帧图像的前一帧图像。
运动估计模块504,用于利用当前图像、以及当前图像中各人头的位置， 估算出前一帧图像中各人头的平移矢量速度。其中，运动估计模块504可以 基于现有任意一种运动估计方式的工作原理实现运动估计；当然，运动估计 模块504也可以基于本实施例方法部分所提供的像素匹配方式的工作原理 实现运动估计。
预测跟踪模块505,用于根据前一帧图像中各人头的平移矢量速度，对 前一帧图像中各人头进行预测跟踪，确定前一帧图像中各人头在当前图像中 分别对应的人头，同时还确定新出现在当前图像中的人头、以供所述速度估 计模块504和所述预测跟踪模块505处理下一帧图像时使用。其中，预测跟 踪模块505可以基于现有任一种预测跟踪方式的工作原理实现预测跟踪；预 测跟踪模块505也可以基于本实施例中方法部分所提供的基于位置匹配方 式的工作原理来实现预测跟踪。
数量确定模块506，用于根据前一帧图像中各人头的数量、和/或前一帧 图像中各人头在当前图像中分别对应的人头的数量，确定当前图像中的人 数。其中，进一步可选地，用户可根据监控场景的实际情况，也可在数量确 定模块506中任意设置用于表示仅对该区预内人头计数有效的计数子区域， 此时，数量确定模块506则可以仅确定当前图像的计数子区域内的人数。
下面，对上述系统中的各模块进行详细说明。
图6为本发明实施例中人数统计系统的前景检测模块的示例性结构图。 如图6所示，前景检测模块501中包括前景提取子模块511,用于按照现有 任一种前景检测方式，利用前一帧图像的背景区域，从当前图像中检测包含 运动物体的前景区域；背景存储子模块510，用于存储前一帧图像的背景区 域。其中，在视频监控的第一帧图像作为当前图像时，整幅图像均为前景区 域；而对除第一帧图像之外的后续其他帧图像作为当前图像时，通常只有一 部分为前景区域、而剩余的另一部分则为背景区域。
这样，由于将除第一帧图像之外的每帧图像作为当前图像时，前景提取子模块511均需要利用该帧图像的前一帧图像的背景区域，因此，本实施例
中的前景检测模块501还可以包括
运动估计子模块512，用于基于像素块的方式，将前一帧图像中的各运 动物体与当前图像中各运动物体进行像素匹配，并根据像素匹配的运动物体
在前一帧图像与当前图像中的位置差，估算出前一帧图像中各运动物体的平 移矢量速度；
聚类处理子模块513,用于对前景提取子模块511得到的前景区域中的 各运动物体进行聚类处理；聚类处理子模块514为可选的子模块；
预测跟踪子模块514,用于根据估算出的前一帧图像中各运动物体的平 移矢量速度，直接确定、或根据前一帧图像中各运动物体的聚类处理结果来 确定前一帧图像中各运动物体的预测跟踪位置，并将前一帧图像中各运动物 体的预测跟踪位置与当前图像中各运动物体的实际位置进行匹配，以确定前 一帧图像中各运动物体在当前图像中分别对应的运动物体、以及新出现在当 前图像中的运动物体；
背景更新子模块515，用于将当前图像中在前M帧图像中均未移动的运 动物体设置为当前图像的背景、M为大于等于1的正整数，并更新至背景存 储子模块510中，以供所述前景提取子模块511从下一帧图像中检测包含运 动物体的前景区域时使用。
如此 一 来，通过对检测到的前景区域进行运动估计和预测跟踪、以识别 出连续在多帧图像中出现的静止物体并更新背景区域，能够提高人数统计的 精度。
图7为本发明实施例中人数统计系统的前景检测模块的示例性结构图。 如图7所示，基于本实施例方法部分所提供的像素匹配方式的工作原理，人 头检测模块502包括
窗口搜索子模块521,用于在当前图像的前景区域中搜索得到候选人头 窗口；较佳地，为了尽可能保证输入图像中所有可能的候选人头窗口不会被 遗漏，窗口搜索子模块521的处理过程可具体包括先对输入的图像进行进行镜像、例如1.05倍尺寸放大或0.95倍尺寸缩小等预设比例的缩放、例如 ±10度等预设角度的旋转；然后在输入的图像、以及进行所述缩放、所述 旋转后的图像中，以穷举的方式搜索得到不同尺寸的若干候选人头窗口；最 后，再将不同尺寸的若干候选人头窗口进行尺寸归一化处理，得到预设标准 尺寸的若干候选人头窗口；此外，对于如前文所述，用户可根据监控场景的 实际情况任意设置用于表示仅对该区预内人头计数有效的计数子区域、和/ 或用于计数的人头的尺寸，此时，窗口搜索子模块521骤则可根据预设计数 子区域的位置、尺寸和形状仅在当前图像的部分前景区域中执行搜索，和/ 或在执行搜索时仅搜索符合预设人头尺寸的候选人头窗口 ；
利用预先通过若干人头正样本和反样本训练得到的第一级分类器522， 用于从搜索得到的所有候选人头窗口分别抽取Haar微特征和灰度均值特征， 并根据抽取的Haar微特征和灰度均值特征对搜索得到的所有候选人头窗口 进行第一级检测过滤；其中，第一级分类器522从每个候选人头窗口抽取的 Harr微特征的种类数量可任意设定；Harr微特征中黑色区域或者白色区域的 长、宽可以任意选择，只需不超过候选人头窗口的尺寸即可；Harr微特征中 的位置也可任意选择；
灰度归一化子模块523,用于对第一级检测过滤后剩余的候选人头窗口 进行灰度归一化处理；
利用预先通过若干人头正样本和反样本训练得到的第二级分类器524, 用于从灰度归一化处理后的所有候选人头窗口分别抽取Haar微特征，并根 据抽取的Haar微特征对灰度归一化处理后的所有候选人头窗口进行第二级 检测过滤；其中，第二级分类器524从每个候选人头窗口抽取的Harr微特 征的种类数量可任意设定；Harr微特征中黑色区域或者白色区域的长、宽可 以任意选择，只需不超过候选人头窗口的尺寸即可；Harr微特征中的位置也 可任意选择；
窗口合并子模块525，用于将第二级检测过滤后剩余的所有候选人头窗 口中，相邻的多个候选人头窗口进行合并；其中，这里所述的相邻可以是指相互之间的尺寸差异小于预设尺寸差异阔值、和/或位置差异小于预设位置
差异阈值、和/或重叠面积大于预设重叠面积阈值；且，窗口合并子模块525 为可选的；
相似性计算子模块526,用于计算合并得到的所有候选人头窗口与预设 人头特征规则的相似性；其中，对于不包含窗口合并子模块525的情况，相 似性计算子模块526可以计算第二级检测过滤后剩余的所有候选人头窗口 与预设人头特征规则的相似性；且，相似性计算子模块526计算相似性的具 体处理过程可以包括先按照现有人脸检测中抽取轮廓点的方式，抽取候选 人头窗口中的各轮廓点；然后利用现有的Sobel算子计算候选人头窗口中各 轮廓点在X方向的边界值Wge —x 、以及在y方向的边界值ec/ge —此后，再
利用公式如ge — x)2+, j)2计算候选人头窗口中各轮廓点的边界幅度、利 用公式arctan^^计算候选人头窗口中各轮廓点的边界方向；最后，计算
候选人头窗口中各轮廓点的边界幅度和边界方向与标准人头边界的各轮廓 点的边界幅度和边界方向的相似性，得到候选人头窗口与预设人头特征规则
的相似性；
结果判定子模块527,用于将相似性大于预设第一阈值的候选人头窗口 确定为人头。
对于如图5所示系统中的运动估计模块504,如果其基于本实施例方法 部分所提供的像素匹配方式的工作原理实现运动估计，则该运动估计模块 504将前一帧图像中的各人头与当前图像中各人头进行像素匹配，并根据像 素匹配的人头在前一帧图像与当前图像中的位置差，估算出前一帧图像中各 人头的平移矢量速度。
对于如图5所示系统中的预测跟踪模块505，如果其基于本实施例中方 法部分所提供的基于位置匹配方式的工作原理来实现预测跟踪，则该预测跟 踪模块505需要根据估算出的前一帧图像中各人头的平移矢量速度确定前 一帧图像中各人头的预测跟踪位置，并将前一帧图像中各人头的预测跟踪位置与当前图像中各人头的实际位置进行匹配，以确定前一帧图像中各人头在 当前图像中分别对应的人头、以及新出现在当前图像中的人头。其中，如果 前一帧图像中的任意人头，在当前图像中存在位置匹配的人头，则可确定前 一帧图像中的该人头在当前图像中对应与其位置匹配的人头；如果前一帧图 像中的任意人头，在当前图像中不存在位置匹配的人头，则确定前一帧图像 中的该人头暂时消失；如果当前图像中的任意人头没有与之匹配的前一帧图 像中的人头，则确定当前图像中的该人头为新出现在当前图像中的人头。
例如，预测跟踪模块505在前一帧图像中各人头的预测跟踪位置处设置 相应的预测矩形框，并在当前图像中各人头的实际位置处设置相应的检测矩 形框；然后分别计算各预测矩形框与每个检测矩形框的重叠面积，重叠面积 越大，则表示对应的检测矩形框所在位置越有可能是该预测矩形框所对应人 头在当前图像中的位置，因此，将与每个预测矩形框重叠面积最大的一个检 测矩形框，分别确定为该预测矩形框位置匹配的检测矩形框，然后依据位置 匹配的预测矩形框和检测矩形框，确定前一巾贞图像中各人头在当前图像中分 别对应的人头。即，预测跟踪模块505将与前一帧图像中每个人头的预测矩 形框重叠面积最大的检测矩形框所对应的当前图像中的人头，分别确定为前 一帧图像中人头的在当前图像中分别对应的人头；预测跟踪模块505将当前 图像中，未在前 一 帧图像中找到重叠预测矩形框的检测矩形框所对应的人 头，确定为在当前图像中新出现的人头。
此外，前一帧图像中的每个人头通常只能对应一个检测矩形框， 一个检 测矩形框通常也只能对应前一帧图像中的一个人头。那么如前一帧图像中的 某个人头未对应任何一个检测矩形框、即该人头的预测矩形框与当前图像中 的所有监测矩形框均无重叠，则预测跟踪模块505认为前一帧图像中的该人 头在当前图像中暂时消失。但是，在本实施例中并不立即删除该人头、而是 仍然跟踪前 一 帧图像中的该人头，在将后续的每帧图像作为当前图像执行本 步骤时，根据该人头的平移速度继续更新该人头的预测矩形框，如连续P帧 图像中该预测矩形都没重叠的检测矩形框，P为大于l的正整数，再确定该
31人头已经消失，否则认为该人头重新出现。
对于如图5所示系统中的数量确定模块506,如何确定当前图像中的人 数，可以根据监控场景的实际情况和需要来任意设定。具体请参见方法部分 所举的实例，例如数量确定模块506可进一步根据所述运动估计模块得到的 平移矢量速度，分别确定当前图像中在不同运动方向的人数，其他所有可能 的实例在此不再赘述。
需要说明的是，较佳地，为了避免虚景，数量确定模块506确定的当前 图像中的人数仅包括在连续N帧图像中均出现的人头的数量，其中，N为 大于等于2的正整数；且，可选地，用户可根据监控场景的实际情况任意设 置用于表示仅对该区预内人头计数有效的计数子区域，那么此时，数量确定 模块506所确定的当前图像中的人数仅为预设计数子区域的位置、尺寸和形 状内的人头数量。
当然，对于基于如图7所示结构的人头检测模块502，数量确定模块506 所确定的当前图像中的人数仅包括在连续N帧图像中均出现、且在连续N 巾贞图像中的所述相似性总合大于预设第二阈值的人头的数量，其中，N为大 于等于2的正整数。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范 围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等， 均应包含在本发明的保护范围之内。
权利要求
1、一种基于视频监控的人数统计方法，其特征在于，该方法包括a1、在当前图像中进行人头检测，确定当前图像中的各人头；a2、利用当前图像、以及当前图像中各人头的位置，估算出前一帧图像中各人头的平移矢量速度；a3、根据前一帧图像中各人头的平移矢量速度，对前一帧图像中各人头进行预测跟踪，确定前一帧图像中各人头在当前图像中分别对应的人头，同时还确定新出现在当前图像中的人头、以供对下一帧图像执行所述步骤a2和a3时使用；a4、根据前一帧图像中各人头的数量、和/或前一帧图像中各人头在当前图像中分别对应的人头的数量，确定当前图像中的人数。
2、 如权利要求l所述的方法，其特征在于，所述步骤al之前，该方法 进一步包括a0、利用前一帧图像的背景区域，从当前图像中检测包含运动 物体的前景区域；且，所述步骤al中仅在当前图像的前景区域中检测人头。
3、 如权利要求2所述的方法，其特征在于，从当前图像中检测包含运 动物体的前景区域之后，所述步骤aO进一步包括a01、将前一帧图像中的各运动物体与当前图像中各运动物体进行像素 匹配，并根据像素匹配的运动物体在前一帧图像与当前图像中的位置差，估 算出前一帧图像中各运动物体的平移矢量速度；a02、根据估算出的前一帧图像中各运动物体的平移矢量速度确定前一 帧图像中各运动物体的预测跟踪位置，并将前一帧图像中各运动物体的预测 跟踪位置与当前图像中各运动物体的实际位置进行匹配，以确定前一帧图像 中各运动物体在当前图像中分别对应的运动物体、以及新出现在当前图像中 的运动物体；a03、将当前图像中在前几帧图像中均未移动的运动物体设置为当前图像的背景，以供从下 一帧图像中检测包含运动物体的前景区域时使用。
4、 如权利要求2所迷的方法，其特征在于，所述步骤al包括 all、在当前图像的前景区域中搜索得到候选人头窗口；a12、利用预先通过若干人头正样本和反样本训练得到的第一级分类器， 从搜索得到的所有候选人头窗口分别抽取Haar微特征和灰度均值特征，并 根据抽取的Haar微特征和灰度均值特征对搜索得到的所有候选人头窗口进 行第一级检测过滤；a13、对第 一级检测过滤后剩余的候选人头窗口进行灰度归一化处理； a14、利用预先通过若干人头正样本和反样本训练得到的第二级分类器， 从灰度归一化处理后的所有候选人头窗口分别抽取Haar微特征，并根据抽 取的Haar微特征对灰度归一化处理后的所有候选人头窗口进行第二级检测 过滤；a15、将第二级检测过滤后剩余的所有候选人头窗口中，相邻的多个候 选人头窗口进行合并；a16、计算合并得到的所有候选人头窗口与预设人头特征规则的相似性； a17、将相似性大于预设第一阈值的候选人头窗口确定为人头。
5、 如权利要求4所述的方法，其特征在于，所述步骤all中，按照预 设计数子区域的位置、尺寸和形状仅在当前图像的部分前景区域中执行所述 搜索，和/或在执行所述搜索时仅搜索预设人头尺寸的候选人头窗口 。
6、 如权利要求1至5中任一项所述的方法，其特征在于，所述步骤a2 包括将前一帧图像中的各人头与当前图像中各人头进行像素匹配，并根据 像素匹配的人头在前一帧图像与当前图像中的位置差，估算出前一帧图像中 各人头的平移矢量速度。
7、 如权利要求1至5中任一项所述的方法，其特征在于，所述步骤a3 包括根据估算出的前一帧图像中各人头的平移矢量速度确定前一帧图像中 各人头的预测跟踪位置，并将前一帧图像中各人头的预测跟踪位置与当前图 像中各人头的实际位置进行匹配，以确定前一帧图像中各人头在当前图像中分别对应的人头、以及新出现在当前图像中的人头。
8、 如权利要求1至5中任一项所述的方法，其特征在于，在所述步骤a4中，所确定的当前图像中的人数仅包括在连续N帧图像中均出现的人 头的数量，其中，N为大于等于2的正整数；和/或，所确定的当前图像中的人数仅为预设计数子区域的位置、尺寸 和形状内的人数。
9、 如权利要求4所述的方法，其特征在于，在所述步骤a4中，所确定 的当前图像中的人数仅包括在连续N帧图像中均出现、且在连续N帧图 像中的所述相似性总合大于预设第二阈值的人头的数量，其中，N为大于等 于2的正整数。
10、 如权利要求1至5中任一项所述的方法，其特征在于，在所述步骤 a4中，进一步根据所述步骤a2得到的平移矢量速度，分别确定当前图像中 在不同运动方向的人数。
11、 一种基于视频监控的人数统计系统，其特征在于，包括 人头检测模块，用于在当前图像中进行人头检测，确定当前图像中的各人头；图像存储模块，用于存储前一帧图像、以及表示前一帧图像中各人头的 人头检测结果；运动估计模块，用于利用当前图像、以及当前图像中各人头的位置，估 算出前一帧图像中各人头的平移矢量速度；预测跟踪模块，用于根据前一帧图像中各人头的平移矢量速度，对前一 帧图像中各人头进行预测跟踪，确定前一帧图像中各人头在当前图像中分别 对应的人头，同时还确定新出现在当前图像中的人头、以供所述速度估计模 块和所述预测跟踪模块处理下一帧图像时使用；数量确定模块，用于根据前一帧图像中各人头的数量、和/或前一帧图 像中各人头在当前图像中分别对应的人头的数量，确定当前图像中的人数。
12、 如权利要求11所述的系统，其特征在于，该系统进一步包括前景检测模块，用于利用前一帧图像的背景区域，从当前图像中检测包含运动物体的前景区域；且，所述人头检测模块仅在当前图像的前景区域中检测人头。
13、 如权利要求12所述的系统，其特征在于，所述前景检测模块包括 前景提取子模块，用于从当前图像中检测包含运动物体的前景区域；且，所述前景检测模块进一步包括运动估计子模块，用于将前一帧图像中的各运动物体与当前图像中各运 动物体进行像素匹配，并根据像素匹配的运动物体在前一帧图像与当前图像 中的位置差，估算出前一帧图像中各运动物体的平移矢量速度；预测跟踪子模块，用于根据估算出的前 一 帧图像中各运动物体的平移矢 量速度确定前一帧图像中各运动物体的预测跟踪位置，并将前一帧图像中各 运动物体的预测跟踪位置与当前图像中各运动物体的实际位置进行匹配，以 确定前 一 帧图像中各运动物体在当前图像中分別对应的运动物体、以及新出 现在当前图像中的运动物体；背景更新子模块，用于将当前图像中在前几帧图像中均未移动的运动物 体设置为当前图像的背景，以供所述前景提取子模块从下一帧图像中检测包 含运动物体的前景区域时使用。
14、 如权利要求12所述的系统，其特征在于，所述人头检测模块包括 窗口搜索子模块，用于在当前图像的前景区域中搜索得到候选人头窗口 ；利用预先通过若干人头正样本和反样本训练得到的第 一级分类器，用于 从搜索得到的所有候选人头窗口分别抽取Haar微特征和灰度均值特征，并 根据抽取的Haar微特征和灰度均值特征对搜索得到的所有候选人头窗口进 行第一级才企测过滤；灰度归一化子模块，用于对第一级检测过滤后剩余的候选人头窗口进行 灰度归一化处理；利用预先通过若干人头正样本和反样本训练得到的第二级分类器，用于从灰度归一化处理后的所有候选人头窗口分别抽取Haar微特征，并根据抽 取的Haar微特征对灰度归一化处理后的所有候选人头窗口进行第二级检测 过滤；窗口合并子模块，用于将第二级检测过滤后剩余的所有候选人头窗口中，相邻的多个候选人头窗口进行合并；相似性计算子模块，用于计算合并得到的所有候选人头窗口与预设人头 特征规则的相似性；结果判定子模块，用于将相似性大于预设第 一 阈值的候选人头窗口确定 为人头。
15、 如权利要求14所述的系统，其特征在于，所述窗口搜索子模块按 照预设计数子区域的位置、尺寸和形状仅在当前图像的部分前景区域中执行 所述搜索，和/或在执行所述搜索时仅搜索预设人头尺寸的候选人头窗口 。
16、 如权利要求11至15中任一项所述的系统，其特征在于，所述运动 估计模块将前一 帧图像中的各人头与当前图像中各人头进行像素匹配，并根 据像素匹配的人头在前一帧图像与当前图像中的位置差，估算出前一帧图像 中各人头的平移矢量速度。
17、 如权利要求11至15中任一项所述的系统，其特征在于，所述预测 跟踪模块根据估算出的前一帧图像中各人头的平移矢量速度确定前一帧图 像中各人头的预测跟踪位置，并将前一帧图像中各人头的预测跟踪位置与当 前图像中各人头的实际位置进行匹配，以确定前一帧图像中各人头在当前图 像中分别对应的人头、以及新出现在当前图像中的人头。
18、 如权利要求11至15中任一项所述的系统，其特征在于，所述数量 确定模块所确定的当前图像中的人数仅包括在连续N帧图像中均出现的 人头的数量，其中，N为大于等于2的正整数；和/或，所确定的当前图像中的人数仅为预设计数子区域的位置、尺寸 和形状内的人数。
19、 如权利要求14所述的系统，其特征在于，所述数量确定模块所确定的当前图像中的人数仅包括在连续N帧图像中均出现、且在连续N帧图像中的所述相似性总合大于预设第二阈值的人头的数量，其中，N为大于 等于2的正整数。
20、如权利要求11至15中任一项所述的系统，其特征在于，所述数量 确定模块进一 步根据所述运动估计模块得到的平移矢量速度，分别确定当前 图像中在不同运动方向的人数。
全文摘要
本发明公开了一种基于视频监控的人数统计方法和系统。本发明基于视频监控，并通过人头检测、以及对人头的运动估计和跟踪来实现人数统计，以避免由人实现人数统计时、由于难以保持足够的精力而造成的计数误差，且考虑到视频监控摄像机按照在监控场景中通常设置在比较高的位置、并斜向下获取视频，因而即使场景中人流密集，所有的人头基本上也都是可见的，可实时检测到所有这些人头，并在视频中进行连续的跟踪以实现精确的计数，这样能够避免由人实现人数统计时由于人流密集而造成的漏计人数。
文档编号G06M11/00GK101477641SQ20091007625
公开日2009年7月8日 申请日期2009年1月7日 优先权日2009年1月7日
发明者英 黄 申请人:北京中星微电子有限公司