用于检测视频中的对象的方法、设备和系统的制作方法
【专利说明】
[0001] 相关专利申请的交叉引用
[0002] 本申请要求于2013年3月15日提交的美国申请第13/838,511号以及于2012年 9月12日提交的美国临时专利申请第61/700, 033号的优先权，以上两个申请的每一个的内 容通过引用方式全文并入本文中。
技术领域
[0003] 本公开涉及视频监控，例如，视频监控方法和系统以及视频查证方法和系统。公开 了可以检测人物的视频监控系统、设备和方法。视频监控系统、设备和方法可以统计人数并 且/或者监测视频流中的人群场景。
【背景技术】
[0004] 智能视频监控（IVS)系统可以用于（例如，通过回顾此前记录并存储的视频）实 时或离线检测视频中感兴趣的事件。通常，该任务通过检测并跟踪感兴趣的目标来完成。当 场景不拥挤时，这通常很好地发挥作用。然而，这种系统的性能在拥挤场景中会显著降低。 实际上，这种拥挤的场景频繁发生，因此，对能检测人群中的人物具有极大兴趣。这种检测 人物可以用于统计以及其他人群分析，例如，人群密度、人群形成和人群分散。
[0005] 此前的人群分析工作处理一些具体的极端拥挤的场景，例如某些体育运动或宗教 活动。然而，还需要关注偶尔会形成大量人群的更普通的监控场景。这些场景包括公共场 所，例如，街道、购物中心、机场、公共汽车站和火车站等。
[0006] 最近，人群密度评估或统计人群中的人物的问题越来越得到研宄社群以及行业的 高度关注。现有的方法主要包括基于映射（间接）的方法和/或基于检测（直接）的方法。
[0007] 基于映射的方法可以尝试将人物目标的数量映射到提取的图像特征，例如，运动 像素的数量、前景斑点（foregroundblob)的大小、前景边缘、前景角落的群以及其他图像 特征。基于映射的方法通常要求针对不同类型的视频场景进行训练。研宄主要集中在查找 与人数良好对应的可靠特征以及如何处理一些特殊问题，例如，阴影和摄像机视图透视。在 许多场景中，在提供足够训练视频的情况下，基于映射的方法可以提供相当精确的人数估 计。然而，效果通常与场景有关系，并且每个个体的实际位置可能难以获得。
[0008] 基于检测的方法可以通过识别每个单独的人物目标来对场景中的人数进行计数。 研宄已经集中在人物检测、人体部位检测以及检测与跟踪的结合考量。这些方法可以在稍 微拥挤的场景中提供更加精确的检测和计数。如果使得每个个体的位置可以获得，那么就 可能能够计算局部人群密度。这些方法的关键挑战是更高的计算成本、依赖视角的知识以 及较大的人物图像大小要求。
[0009] 本发明所述的实施例解决了现有系统的这样一些问题。
【发明内容】
[0010] 所公开的实施例提供了用于对视频图像进行智能分析以检测对象（例如人物对 象）的方法、设备和系统。
[0011] 在某些实施例中，一种检测视频中的人物对象的方法包括：确定作为前景像素的 视频图像的某些像素，前景像素的组构成一个或多个前景斑点的前景斑点集；对于视频图 像中N个位置的每个位置，其中N是整数（integer)，将预定形状与前景斑点集进行比较以 获得人物在该位置的相应概率，从而获得与N个位置对应的N个概率；并且使用N个概率， 确定由前景斑点集代表的X个人物，其中X是整数（wholenumber)。
[0012] 一种检测视频中的人物对象的方法可以包括：将真实世界场景的视频图像的像素 确定为前景像素，前景像素的组构成一个或多个前景斑点的前景斑点集；对于视频图像中 N个位置的每个位置，其中N是整数，将预定形状与前景斑点集进行比较以确定由所述前景 斑点集代表的X个人物，其中X是整数。
[0013] 方法可以包括确定X个人物的每个人物的位置。X个人物的每个人物的位置可以 确定为真实世界的水平面上的位置，例如，真实世界的物理地平面上的位置。
[0014] 检测人物对象可以用于对人物进行计数，用于人群分析和其他事件检测。
[0015] 公开了可以被配置成执行这些方法的系统和设备。
[0016] 包括可用于配置计算机以执行本发明所述操作的软件的计算机可读介质进一步 包括本发明的实施例。
【附图说明】
[0017] 结合附图，从以下详细描述可以更加清晰地理解示例性实施例。附图代表本发明 描述的非限制性示例性实施例。
[0018]图1图示了根据本发明的示例性实施例的示例性视频监控系统。
[0019]图2图示了根据本发明的示例性实施例的示例性视频监控系统的视频流的示例 性帧。
[0020] 图3A图示了根据本发明的示例性实施例的用于目标检测和计数的示例性流程 图。
[0021] 图3B图示了几个人物模型占用二维视频图像的实例，每个人物模型相对于二维 视频图像与不同的位置对应。
[0022] 图3C图示了一行（x，y)识别坐标321，每个识别坐标与对应的人物模型320相关 联。
[0023] 图3D图示了用于计算人物概率映射（humanprobabilitymap)的示例性方法。
[0024] 图3E图示了执行单次扫过（pass)概率映射的示例性方法，该方法是找到视频图 像内人物模型的最佳数量的一部分。
[0025] 图3F图示了执行多次扫过概率映射的方法，该方法用于找到视频图像内人物模 型的最佳数量。
[0026] 图4图示了一般人物模型，包括三维圆柱体模型及其对应的二维凸壳（convex hull)模型。
[0027]图5图示了可以使用几个人物图像样本进行校正的一般平地摄像机模型。
[0028] 图6A、图6B和图6C示出了示例性检测结果。
[0029] 图7A、图7B和图7C图示了关于基于人物检测结果的人群密度的实例。
[0030] 图8图示了用于检测各种人群相关事件的示例性实施方式。
[0031] 图9图示了如何定义并检测拥挤区域的示例性方法。
[0032] 图10图示了对每个检测的人物目标的示例性处理。
[0033] 图11图示了对每个拥挤区域的示例性处理。
[0034] 图12图示了可用于定义并检测人群"聚集"和"分散"事件的方法。
[0035] 图13图示了定义人群聚集点的一个实例。
[0036] 图14A和图14B示出了人群聚集点的一个实例。
[0037] 图15图示了检测人群聚集点的示例性方法。
[0038]图16图示了更新人群聚集点并检测人群"聚集"和"分散"事件的示例性方法。
[0039] 图17图示了使用多个摄像机的示例性实施方式。
【具体实施方式】
[0040] 以下将参照附图更全面地描述各个示例性实施例，附图图示了一些示例性实施 例。然而，本发明能够以许多不同的方式来实施并且不应当被理解为限于本发明所述的示 例性实施例。这些示例性实施例仅仅是实例，并且不要求本发明提供的细节的许多实施方 式和变型是可行的。还应当强调的是，本公开提供替代实例的细节，但是这种替代方式的列 举不是详尽的。此外，多个实例之间的任何细节一致不应当理解成要求这种细节，因为无法 针对本发明描述的每种特征列举每种可行的变型。在确定本发明的要求时应当参照权利要 求书的语言。在附图中，为了清晰起见，可以夸大层和区域的大小和相对大小。在整篇文中 相同的附图标记指代相同的元件。
[0041] 应当理解，虽然术语"第一"、"第二"、"第三"等可以在本文中用于描述多种元件， 但是这些元件应当不受这些术语的限制。这些术语用于使一个元件与另一个元件区分开。 因此，在不脱离本发明构思的教导的情况下，以下讨论的第一元件可以称为第二元件。本发 明中使用的术语"和/或"包括一个或多个相关的所列项目的任何和所有组合。
[0042] 应当理解，当元件被称为与另一个元件"连接上"或"耦接上"时，它可以与另一个 元件直接连接上或親接上，或者可以存在中间元件。反之，当元件被称为与另一个元件上 "直接连接上"、"直接耦接上"时，不存在中间元件。用于描述元件之间的关系的其他词语应 当用相同的方式进行理解（例如，与...之间"与直接在..与...之间"，"相邻" 与"直接相邻"等）。
[0043] 本发明中使用的术语仅仅用于描述特定示例性实施例的目的，并且并非旨在限制 本发明的发明构思。本发明中单数形式"一个"、"一种"和"所述"旨在还包括复数形式，除 非上下文另有清晰的表示。还将进一步理解，当在本说明书中使用时，术语"包含"和/或 "包括"指的是存在所述的特征、整数、步骤、操作、要素和/或元件，但是不排除存在或增加 一个或多个其他的特征、整数、步骤、操作、要素、元件和/或它们的组合。
[0044] 除非另有说明，包括本发明中使用的技术术语和科技术语的所有术语具有与本发 明构思所属的技术领域的普通技术人员通常理解的意思相同意思。还应当理解的是，术语， 例如常用的字典中定义的术语，应当被理解为具有与相关领域上下文中的意思相一致的意 思，并且不应当以理想化或过于正式意义上的方式来进行理解，除非本发明中特别作出了 如此定义。
[0045] 定义：在描述本发明时，以下定义通篇适用（包括以上定义）。
[0046] "视频"可以指以模拟和/或数字形式呈现的动画。视频的实例可以包括：电视；电 影；来自摄像机或其他观测器的图像序列；来自实时输入的图像序列；计算机生成的图像 序列；来自计