使用深度传感器计数人的方法和系统的制作方法
【专利说明】使用深度传感器计数人的方法和系统
[0001] 相关申请
[0002] 本申请是2012年11月21日提交的美国申请第13/683,886号的继续申请。
[0003] 以上申请的完整教导通过引用合并于本文中。
【背景技术】
[0004] 许多应用受益于场景内的人的精确计数。这些应用中的一些可以与加热通风和空 气调节（HVAC)控制系统、视频监控系统、零售系统和其他领域组合使用。例如，人的精确计 数可以为零售商提供统计信息以判断他们的广告效果，并且其他应用可以使用计数来检测 安全检查点处的尾随。市政当局也可以使用精确的场景人口计数来确定特定设施处的游客 的数量。通过使用可见光谱和热感照相机计数人会导致不精确计数。
【发明内容】
[0005] 当阴影呈现类似的形状和尺寸时，可见光谱照相机难以检测场景中的物体。热感 照相机依赖于温度变化来确定或检测场景中的运动。当温度与移动物体的温度相同或接近 时，热感照相机在检测移动物体中遇到问题。精确地计数人的深度传感器的应用被描述。深 度信息可以用于导出头部尺寸，并且使用该信息，确定头部的检测窗口的性质。其他物体检 测方法应用（一个或多个）多尺度（scale)检测器。通过经由相对物体尺寸计算去除多尺 度检测，所述的技术通过单尺度检测明显地改善检测率，提供具有减小计算复杂性的增加 精度。
[0006] 本文中所述的实施例包括一种用于计数人的方法，其从深度传感器获得深度数 据，从深度数据内从背景物体辨别前景物体，并且基于深度数据从前景物体中确定匹配目 标物体的参考模型的前景物体。
[0007] 在一个实施例中，深度传感器可以安装成提供场景的俯视图。深度传感器可以与 可见光谱照相机组合使用以从辨别的前景物体进一步确定场景人口计数。根据一个实施 例，传感器（深度或可见光谱）可以在帧之间跟踪从前景物体中被确定为匹配参考模型的 一个或多个前景物体。实施例也可以包括在场景内持续预定时间段没有运动的情况下将场 景人口计数重置为零。计数人的方法也可以包括从可见光谱照相机获得可见图像并且使用 可见光谱照相机中的信息来检查计数的精度。
[0008] 来自可见光谱照相机的信息可以包括运动信息、时间属性、位置和特征。在一个实 施例中，传感器可以将元数据传送到数据中心。方法还可以包括使用深度传感器成像场景 并且报告人的数量、统计结果或补充数据。在一个实施例中，从前景物体中确定背景物体匹 配人头部的参考模型。
[0009] 实施例可以包含或使用具有存储在其上的程序指令的计算机可读介质，所述程序 指令可加载并且由处理器可执行，并且当由处理器执行时，导致处理器从深度传感器获得 深度数据，从深度数据识别前景物体，并且应用机器学习应用程序以生成前景物体的分类 确定，并且保持分类确定计数。程序指令还可以导致处理器从深度数据减去背景信息以识 别前景物体，从可见光谱照相机获得图像数据，分析图像数据以产生图像分析结果，并且组 合来自产生的图像分析结果的信息和深度数据信息以增加识别前景物体的精度。在一个实 施例中，机器学习应用程序的实施例可以包括神经网络、支持向量机和/或聚类技术。程序 指令可以用训练数据集训练机器学习应用程序并且在机器学习应用程序的优化中选择一 个或多个特征以产生选择性特征向量。
[0010] -种用于计数人的系统可以包括接收深度数据的深度传感器、与深度传感器通 信、存储深度数据的存储器。系统还可以包括与存储器通信、执行程序指令的处理器。程序 指令可以配置成从深度数据减去背景信息以辨别前景物体，应用机器学习应用程序以生成 前景物体的分类确定，并且保持分类确定计数。处理器还可以配置成从照相机接收视频数 据并且在生成分类确定中使用来自照相机的视频数据增加机器学习应用程序的精度。
[0011] 尽管本领域的普通技术人员将领会多个滤波器，但是一个实施例可以将高斯滤波 器应用于来自深度数据的背景信息。系统也可以产生识别选择性特征以分析来自深度传感 器的深度数据的深度特征集并且产生识别选择性特征以分析来自照相机的视频数据的视 频特征集。在一个实施例中，处理器可以配置成将特征集应用于深度数据以确定深度分类 和视频分类。另外，系统可以用来自深度分类和视频分类的信息计算前景物体的分类确定 并且更新分类确定计数。
【附图说明】
[0012] 从附图中示出的实施例的以下更特别描述将显而易见前述内容，其中在不同视图 中相似的附图标记始终表示相同的部分。附图不一定按比例，而是强调示出的实施例。
[0013] 图1是示意图，示出用于计数人的基于深度传感器的系统；
[0014] 图2是方块图，示出根据一个实施例的基于深度传感器计数的软件架构的一个实 施例；
[0015] 图3是流程图，示出根据一个实施例的基于深度传感器计数的方法；
[0016] 图4是流程图，示出根据一个实施例的基于深度传感器和可见光谱照相机计数的 方法；
[0017] 图5是根据一个实施例的表示从深度传感器接收的深度数据的样本帧的集合；
[0018] 图6是方块图，示出根据一个实施例的深度传感器系统；以及
[0019] 图7是根据一个实施例的深度传感器系统的示意图。
【具体实施方式】
[0020] 下面是实施例的描述。
[0021] 图1示出基于深度传感器110计数的系统的一个实施例的示意图。如图1中所 示，提供基于深度传感器Iio计数的系统100。系统100包括场景105,场景是传感器/照 相机可检测的视觉的范围。如场景中所示，一个或多个人可以位于诸如深度传感器110和 (一个或多个）可见光谱照相机115的照相机或成像设备的一个或多个视场112、117内。 可见光谱照相机115和深度传感器110可以分别包括关联视场117、112。深度传感器110 和/或照相机可以与数据存储装置131关联，所述数据存储装置可以是本地的，例如在公共 网络上或经由广域网120可访问。
[0022] 深度传感器110从一个或多个场景采集深度数据。深度数据可以被处理以去除背 景信息并且提供对在场景内具有运动的物体的聚焦。在一个实施例中，检测为在场景内具 有运动的物体被传送到一个或多个部件以便分析。分析的结果可以包括将被检测物体分 类为类别，例如人或非人。基于深度数据的分析一般不易受到与由于如热数据所示的温度 变化引起的误报关联的误差或由于如可见光谱图像所示的阴影引起的误报关联的误差。所 以，深度数据可以返回更精确的分类，其中与所述误报关联的误差的易受性是关注点。此 外，通过将经滤波的数据集和目标物体的选择性特征提供给用于计数人的分类器，深度数 据检测可以减小计算复杂性。
[0023] 继续参考图1，数据存储装置131可以是任何合适类型的数据存储设备，例如包括 存储芯片、硬盘驱动器、USB闪盘驱动器、远程可访问数据库、高速缓冲存储器和/或类似 物。数据存储装置可以与深度传感器110或照相机115通信或使其与通信网络120通信并 且可以包括有线和无线网络。
[0024] 通信网络可以是以下的任何一种或组合：直接互连；互联网；局域网（LAN);城域 网（MAN);互联网上的操作任务节点（OMNI);安全定制连接；广域网（WAN);无线网络（例 如，使用协议，例如但不限于无线应用协议，和I模式；和/或类似物）。网络接口可以被视 为输入/输出接口的特定形式。此外，多个网络接口可以用于与各种通信网络类型接合。例 如，多个网络接口可以用于允许在广播、多播和/或单播网络上通信。
[0025] 在图1中也示出与网络可操作通信的数据中心125。数据中心可以接收来自深度 传感器和/或可见照相机的数据。在一个实施例中，可见照相机可以将一个或多个预定格 式的图像数据经由网络120传输到数据中心125。类似地，深度传感器可以将深度数据发送 到数据中心125以便处理和/或分析。在一个实施例中，数据中心125可以包括分布在网 络上的一个或多个计算机系统（客户端/服务器）（未显示）。这些计算机系统可以负责接 收、处理、分析、传输和/或存储：图像数据、视频数据、深度数据和/或类似数据。在一个实 施例中，数据中心125可以包括、存储、实例化、运行和/或访问（例如，通过应用程序编程 接口（API))下面进一步详细所述的检测引擎。
[0026] 图2是方块图，示出根据一个实施例的软件架构。如图2