用于人检测和计数的在线学习系统的制作方法
【专利说明】用于人检测和计数的在线学习系统
[0001]相关申请
[0002]本申请要求2013年3月15日提交的第13/839，410号美国申请的优先权，该申请的全部教导通过引用被合并于此。
【背景技术】
[0003]关于人的习惯、移动和模式的数据在商界中可能是无价的。正经常地收集和开发这样的数据。能够使用像耦合到旋转式栅门的计数器一样简单的设备来收集该数据。尽管这样的数据简单地局限于穿过特定点的人的计数，但即使如此该数据也不是没有价值。例如，其能够用于识别一星期中按时间或特定日子的到场的趋向。该数据也可以用于影响商业的许多方面。例如，如果人们在购买时考虑度量，则在诸如租用和订货之类的事务中能够考虑该信息。
[0004]在生成该数据最前面的是检测人。该数据仅仅和用于确定人的存在和/或不存在的方法几乎一样。
【发明内容】
[0005]本发明的实施例提供用于在图像中检测人的方法。该方法包括通过使用被配置为检测人的对象分类器来输出关于视频帧的流内的视频帧中的人的度量。该方法进一步包括使用至少在视频帧的流中的视频帧的子集中的数据自动地更新对象分类器。在本发明的实施例中，定期地更新对象分类器。此外，根据本发明的实施例的原理，以无监督的方式更新对象分类器。
[0006]在图像的流中检测人的方法的实施例进一步包括以足以允许照相机捕捉可用于识别人和背景的特征之间的区别的视频帧的流的角度来定位照相机.尽管本发明的实施例包括输出度量，但又一个实施例进一步包括在捕捉视频帧的流的照相机处计算度量。本发明的替换实施例包括在捕捉视频帧的流的照相机外部计算度量。
[0007]该方法的又一个实施例进一步包括处理度量以产生信息并且一次地、定期地，或非定期地向顾客提供该信息。
[0008]在本发明的替换实施例中，更新对象分类器进一步包括关于度量确定置信水平。如在上文所描述的，本发明的实施例使用至少在视频帧的子集中的数据来更新对象分类器。在又一个实施例中，该数据指出人的存在或不存在。在替换实施例中，对象分类器根据方向梯度直方图(H0G)特征和可调整的系数来检测人。在这样的实施例中，更新分类器包括调整系数。
[0009]本发明的实施例涉及用于在图像的流中检测人的系统。在实施例中，系统包括输出模块，其被配置为通过使用被配置为检测人的对象分类器来输出关于视频帧的流内的视频帧中的人的度量。系统进一步包括更新模块，其被配置为使用至少在视频帧的流中的视频帧的子集中的数据自动地更新对象分类器。系统的替换实施例进一步包括以足以允许照相机捕捉用于识别人和背景的特征之间的区别的视频帧的流的角度被定位的照相机。在又一个实施例中，系统进一步包括处理模块，其被配置为处理度量以产生一次地、定期地，或非定期地被提供给顾客的信息。
[0010]在系统的另外的实施例中，系统和其各种组件可以被配置为执行以上描述的方法。
[0011]附图的简要说明
[0012]根据实施例的以下更特定描述，上文将是明显的，如其中相同附图标记指代贯穿不同的视图的部分的附图中所图示的。附图不一定是按比例的，代之以将重点置于说明实施例。
[0013]图1是可以实施本发明的实施例的零售场景的简化图示。
[0014]图2是描绘根据本发明的原理的在图像的流中检测人的方法的流程图。
[0015]图3是描绘根据本发明的实施例的检测人的方法的流程图。
[0016]图4是用于检测人的系统的简化框图。
[0017]图5是可以由本发明的实施例利用的网络环境的简图。
[0018]图6是可以体现本发明的实施例的计算机系统的简化框图。
【具体实施方式】
[0019]以下是本发明的示例实施例的描述。
[0020]美国专利申请第13/683,977号的教导通过引用以其整体被合并于本文。
[0021]如在本文呈现的，关于人的数据依靠对人的检测。在例如零售店的场景中对人进行检测和计数的任务是有挑战的。已经开发了各种方式来对人进行检测和计数，并且这些各种方式通常依靠各种传感器，例如机械传感器、红外传感器和照相机；然而，现有的解决方案仍然不足。
[0022]使用照相机的许多方式采用一对照相机来通过立体视觉计算对象距照相机的距离。该深度数据进而用于确定多少人出现在一对照相机前面。通常必须将这样的系统安装在高处以便捕捉自顶向下的视图，例如将其安装在建筑物的入口或出口上方的天花板或屋顶上。这些安装约束限制这样的系统的应用。
[0023]本发明的实施例提供用于检测人的方法，其使用来自以向下向前定向布置的照相机的视频流。可以在零售店中使用这样的方法，以用于检测人的存在或不存在和/或多少人是在向下向前照相机前面。这是尤其有利的，因为零售店中的许多照相机是以向下向前定向安装的，使得照相机能够捕捉人的头部和肩部的一部分。典型地定向在向下向前位置中的照相机的示例可以是察看入口通道或收银员的服务台的照相机。
[0024]图1是可以实施本发明的实施例的零售场景100的简化图示。零售场景100图示出消费者在他们的日常生活中可能遇到的典型的零售环境。如上所述，使所述零售机构的所有者具有关于在她的机构中的人的度量，将是有用的。具有入口 109的零售场景100进一步包括收银台区域111。可以由雇员108来站位收银台区域111。雇员108很可能在收银台区域111与顾客107a-n交互。尽管已经在场景100中图示出了单个雇员108，但本发明的实施例可以被配置为检测多个人。场景100可以包括任何数量的顾客107a-n，并且本发明的实施例可以被配置为在具有变化的密度的人群的场景中检测人。零售场景100进一步包括其中顾客107a-n可以为了购买而浏览产品并且选择产品的典型的产品安置区域110 和 112。
[0025]场景100进一步包括照相机102a_n。场景100可以包括任何数量的照相机，并且可以通过本领域普通技术人员来确定要在环境中利用的照相机的数量。照相机102a-n具有相应视场104a-n。可以将这些照相机102a_n定向为使得相应视场104a_n处于向下向前定向中，使得照相机102a-n可以捕捉顾客107a_n和雇员108的头部和肩部区域。可以在足以允许照相机捕捉用于在诸如顾客107a-n和雇员108之类的人和背景的特征之间识别区别的视频帧的流的角度安置照相机102a-n。
[0026]照相机102a_n进一步包括相应的更新人分类器103a_n。更新人分类器103a_n被配置为基于由照相机102a-n捕捉的至少在视频帧的流中的视频帧的子集中的数据被自动地更新。尽管图示出分类器103a-n在照相机102a_n内部，但本发明的实施例也可以使用相对于照相机102a-n在本地或远程的、位于外部的分类器。如所图示出的，每个照相机102a-n具有相应的分类器103a_n。本发明的替换实施例可以利用可以位于通信地连接到照相机102a-n的任一点的单个分类器。
[0027]照相机102a_n经由互连105连接到度量服务器106。可以使用现有技术中已知的任何种类的技术、诸如经由以太网电缆来实施互连105。此外，尽管照相机102a-n被图示为经由互连105被互连，但本发明的实施例也提供没有彼此互连的照相机102a-n。在本发明的其他的实施例中，照相机102a-n是经由无线网络与度量服务器106进行通信的无线照相机。
[0028]度量服务器106是被配置为存储关于由照相机102a_n捕捉的视频帧的流内的视频帧中的人的度量113a-n的服务器。可以通过人分类器103a_n来确定这些度量113a_n。尽管度量服务器106被图示出在场景100中，但本发明的实施例可以将度量113a-n存储在位置远离场景100的度量服务器上。本发明的替换实施例可以在没有度量服务器的情况下进行操作。在这样的实施例中，诸如度量113a-n之类的度量可以直接地被存储在相应照相机102a-n上并且进一步被直接访问。
[0029]尽管已经图示出特定照相机网络，但对本领域普通技术人员应当清楚的是，可以在场景100中使用任何种类的网络配置。
[0030]本发明的替换实施例进一步处理度量113a_n以产生信息。该信息可以包括可以使用人检测导出的任何这样的信息。例如，该信息可以包括在一天的不同时间通过门109的人数。通过使用人跟踪，本发明的实施例可以提供去往收银处111的顾客107a-n的数量的信息。也可以关于顾客107a-n在各种产品安置110和112所逗留或浏览的时间来导出信息。可以对该信息进行分析以确定有效的销售实践和采购趋向。本发明的实施例可以进一步考虑雇员108监视。这样的实施例可以用于确定雇员花费在收银处111或与遍布零售空间100的顾客交互的时间量。
[0031]在下文描述关于场景100的本发明的实施例的