专利名称：用于人员检测的技术的制作方法
用于人员检测的技术
背景技术：
自动检测真实世界环境中人的存在变得日益重要。而且，期望确定所检测的人的特性。这种特性可包括性别和年龄。另外，这种特性可包括这些人进行的活动(例如，烹饪、 做家庭作业、在房间之间行走等等)。然而，这些任务的执行是有挑战性的。当在诸如家庭的特定场所中有多个人时尤其是这种情况。目前，存在主动和被动的人员检测技术。这些技术包括故意的用户动作(例如，登录、在生物测定读取器上刷手指等)。相反，被动的人员技术不包括这些故意动作。当前在被动人员检测中的尝试一般使用经由高分辨率相机系统的面貌识别或经由高保真音频的扬声器识别。然而，这种当前的被动检测技术引起隐私顾虑。这是因为这些技术收集不仅能够检测人员的存在而且能够揭示特定人员的身份的信息。这些当前技术还存在其他缺点。例如，面貌识别错误可由照明或头部位置的变化引起。同样，扬声器识别错误可由多人交谈、至麦克风距离、背景噪声以及附近媒体源产生的语音或声音引起。因此，这种被动人员检测技术不可靠。
在附图中，相似的附图标记一般指示相同、功能类似和/或结构类似的元件。其中元件第一次出现的附图由附图标记中最左面的数字指示。将参考附图描述本发明，附图中图1是示例性操作环境的图；图2是示例性实现的图；图3是图像处理模块内的示例性实现的图；以及图4是逻辑流程图。
具体实施例方式实施例提供包括检测人员的存在的技术。例如，实施例可从图像传感器接收检测空间的一个或多个图像(例如，热图像、红外图像、可见光图像、三维图像等)。至少基于一个或多个图像，实施例可检测该检测空间中人员的存在。而且，实施例可确定这些所检测到的人员的一个或多个特性。示例性特性包括(但不限于)一个或多个人口统计学范畴中的成员资格和/或这些人员的活动。此外，至少基于这些人员检测和特性确定，实施例可控制内容对输出设备的传送。这些技术可提供优于常规的收集观众数据的方法的优点，该常规方法依赖于用于针对特定节目评估观众的电话或邮件调查(例如，尼尔森评估，Nielsen ratings) 0这种常规方法可能非常不准确。此外，这些常规方法不提供更准确的基于时间的观察的指示符 (例如，程序内的广告、以及在特定部分通风期间人离开房间还是存在)。此外，实施例提供的人员检测技术具有优于常规传感器方法的优点，常规传感器方法可能是非常有限制性的。常规方法可包括使人穿戴某种形式的电池供电标签，然后经由无线电信号主动地跟踪该电池供电标签。其它常规方法采用指示人员何时穿过一路径的运动传感器。然而，这种运动传感器方法不确定人员的特性(例如，人口统计学范畴中的成员资格)。而且，如果人是不动的(例如，坐着或站着不动)，这种运动传感器方法可能不能检测到他/她是否仍然在房间内。这些运动传感器还可能被宠物而非人触发。另一些常规方法采用短程无线电技术(例如，蓝牙)来检测诸如蜂窝电话之类的邻近设备，其中假设这些设备是其所有者存在性的准确代表(通常不是在住宅内对这些手持设备进行充电的情况)。贯穿此说明书，对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包含于至少一个实施例中。因此，在本说明书通篇中的多个位置中短语“在一个实施例中”或“在实施例中”的出现不一定全部指的是同一实施例。而且， 特定特征、结构、或特性可按照任何合适的方式在一个或多个实施例中组合。可参考以下附图和所附示例进一步描述各实施例的操作。一些附图可包括逻辑流程。尽管此处呈现的这些附图可包括特定的逻辑流程，但可以认识到，该逻辑流程仅仅提供如何实现此处所述的一般功能的示例。此外，除非另外指出，不一定必须按照所呈现的顺序执行给定的逻辑流程。另外，给定的逻辑流程可由硬件元件、由处理器执行的软件元件或其任意组合来实现。各实施例不限于此上下文。图1是示出示例性操作环境100的俯视图的图。操作环境100可处于各种位置。 示例性位置包括住宅内的一个或多个房间、企业或机构内的空间等等。如图1所示，操作环境100包括输出设备102.输出设备102可以是向一个或多个用户提供视觉和/或视听输出的各种设备类型。例如，在实施例中，内容输出设备102可以是电视、个人计算机或其它适当设备。图1示出观察空间104。在观察空间104内，一个或多个人能够观察到设备102输出的内容。各种静态对象存在于观察空间104内。具体地，图1示出沙发106、椅子108和咖啡桌110。这些对象被示出用于例示的目的而非限制。人还可以在观察空间104内。例如，在一段时间内，一个或多个人可进入和/或离开观察空间104。因此，在时间的任何给定时刻，观察空间104内可有任何数量的人(零或更多个人)。此外，每个人可在各种人口统计学范畴中(例如，儿童、成年人、女性、男性等)。此外， 这些人中的每一个可从事各种活动。示例性活动包括观察设备102输出的内容、走过观察空间104、锻炼等等。实施例可确定诸如观察空间104之类的空间内人员的存在。而且，实施例可确定这些人员的一个或多个特性。这些特性可包括人口统计学范畴中的成员资格和/或活动。根据这些确定，实施例可控制设备(诸如输出设备10 输出的内容。这可包括定制或指定特定内容用于输出(在本文中也称为内容目标化)和/或阻挡特定内容的输出。图2是可在实施例中采用的示例性实现200的图。实现200可包括各种元件。例如，图2示出实现200，其包括输出设备202、图像传感器203、存储介质204、图像处理模块 206以及应用模块208。这些元件可以硬件和/或软件的任何组合实现。输出设备202输出视觉和/或视听内容。该内容可被观察空间201内的一个或多个人观察到。观察空间201可与图1的观察空间104类似或相似。然而，实施例不限于该
5上下文。由输出设备202输出的内容的示例包括视频和/或图形。因此，在实施例中，输出设备202可以是电视、个人计算机或其它适当设备。图像传感器203生成检测空间205的图像。检测空间205可对应于观察空间201. 例如，检测空间205可以是观察空间201的子集或超集。作为示例，图2示出包含观察空间 201的检测空间205。然而，各实施例不限于该示例。基于这些图像，图像传感器203生成对应的图像数据220。在实施例中，图像数据 220包括多个图像。例如，图像数据220可包括以周期间隔收集的图像序列。如图2所示， 图像数据220被发送到存储介质204。图像传感器203可按各种方式实现。例如，图像传感器203可以是热或红外相机。 这种相机将热变化编码成颜色数据。在实施例中，可采用敏感度足以穿透墙壁的红外相机。 采用这种相机允许检测空间205覆盖多个房间(因此超出输出设备202的观察空间)。该特征可有利地利用较少相机提供多房间人员定位。结果，可收集更多的上下文数据用于活动推理操作。或者，图像传感器203可以是三维(3D)成像相机。这种相机编码每个像素的深度差并且将这些深度值呈现为颜色数据。作为另一个选择，图像传感器203可以是二维QD) 可见光相机(通常称为RGB——红绿蓝——相机)。然而，各实施例不限于这些示例。例如， 实施例可采用任何数量或组合的各种类型的相机或图像传感器。存储介质204将图像数据220存储为一个或多个图像以供图像处理模块206处理。存储介质204可按各种方式实现。例如，存储介质204可包括各种类型的存储器，诸如随机存取存储器(RAM)、闪存、磁存储(例如，盘驱动器)等等的任意组合。然而，各实施例不限于这些示例。图像处理模块206执行涉及存储介质204中存储的图像的各种操作。例如，图像处理模块206可检测到检测空间205内的一个或多个人(如果有的话)的存在。而且，图像处理器模块206可确定任意所检测到的人的特性。在实施例中，人员检测可包括确定背景图像以及从当前图像减去背景图像。这种减法得到分析图像。利用该分析图像，可执行各种算法和/或操作以确定一个或多个人的存在。以下提供关于这些技术的细节。在实施例中，图像处理模块206可基于图像数据220确定背景图像。这可包括标识图像数据220内的图像相对静止的时间段。从这一时段，图像处理模块206可选择特定图像作为背景图像。或者，图像处理模块206可基于这一时段内的一个或多个图像生成背景图像。此外，在实施例中，可随时间采用不同的背景图像。例如，图像处理模块206可例行公事地确定新的背景图像。例如，这可发生在图像数据220内具有相对静止图像的时间间隔的任何时候。该特征有利地提供照明条件的变化以及检测空间205内对象(例如，家具)的重新安排。如上所述，图像处理模块206可确定其检测的任何人员的特性。例如，图像处理模块206可确定所检测的人(如果有的话)是否从事于特定活动(例如，行走、锻炼等)。这种活动确定可包括图像处理模块206确定覆盖时间间隔的多个图像内相应对象的运动特性。
除此之外或作为替代，这种特性确定可包括图像处理模块206确定所检测的人是否属于特定的人口统计学范畴(例如，成年人、儿童、男性、女性等)。这可使图像处理模块 206将所检测的人的形状和尺寸与一个或多个模板进行比较。然而，各实施例不限于这些技术。如图2所示，图像处理模块206向应用模块208提供结论数据222。结论数据222 指示由图像处理模块206执行的人员检测操作的结果。而且，结论数据222可指示由图像处理模块206执行的特性确定操作(如果有的话)的结果。在实施例中，由图像处理模块206执行的检测操作可包括统计推断(结论)。因此，可能性概率可对应于人员检测(或缺少检测)和/或特性确定。这种推断和可能性概率可从图像处理模块206传送到应用模块208作为结论数据222。如本文描述的，内容提供者可发起由输出设备202输出的内容。作为非限制性示例，图2示出通过通信介质210传送内容的内容提供者212。基于结论数据222，应用模块208执行影响这种内容至输出设备202的传送的操作。例如，应用模块208可提供将特定内容定向至输出设备202和/或阻断特定内容至输出设备202的传送。实施例可提供以各种方式的定向和/或阻断。例如，在上游内容控制方法中，应用模块208可向一个或多个内容提供者(例如，内容提供者21 提供有关结论数据222的信息。进而，内容提供者可至少基于该信息将特定内容传送到输出设备202或避免将特定内容传送到输出设备202。 除此之外或作为替代，在定位内容控制方法中，应用模块208可执行传送和/或阻断。在这种情况下，应用模块208可从一个或多个内容提供者接收内容并确定是否将该内容提供给输出设备202。利用这种定位方法，应用模块208可按各种方式向输出设备202提供这种内容。 例如，应用模块208可从内容提供者接收这种内容并且将其实况地转发至输出设备202.或者，应用模块208可从内容提供者接收这种内容并将其存储(例如，在存储介质204中)。 进而，应用模块208可至少基于结论数据222访问该存储的内容并将其传送至输出设备 202(例如，在稍后的时间)。根据这些方法，图2示出内容传送路径250a和250b。内容传送路径250a将内容直接从内容提供者212提供给输出设备202。可结合上述上游内容控制方法采用该路径。 相反，内容传送路径250b提供应用模块208作为内容提供者212和输出设备202之间的媒介。可结合上述定位内容控制方法采用该路径。通信介质210可包括(但不限于)有线和/或无线资源的任意组合。例如，通信介质210可包括由有线电视网络、直接视频广播网络、卫星网络、蜂窝网络、有线电话网络、 无线数据网络、因特网等等的任意组合提供的资源。内容提供者212可包括能够提供供用户设备消耗的内容的任何实体。内容提供者 212的示例包括(但不限于)电视广播站、服务器、对等联网实体(例如，对等设备)等等。如本文所述，图2的实现从图像数据220生成结论数据222。更具体地，图像处理模块206可检测人员的存在并且可确定所检测的人员的特性。在实施例中，图像处理模块 206通过仅向应用模块208提供结论数据222来保护与这些人有关的信息。
此外，在实施例中，某些元件(例如，图像处理模块206和/或存储介质204)可实现为单独的片上系统(SOC)以形成其它处理实体不可用的原始数据(例如，图像数据220) 以及其中间处理结果。这种其它处理实体可包括(但不限于)执行应用模块208的特征的任何处理器和存储介质，包括属于内容提供者212的特征。图3是示出图像处理模块206的示例性实现300的图。如图3所示，实现300包括背景确定模块302、背景比较模块303、背景减法模块304、对象提取模块306、对象分类模块308、对象数据库309、特性确定模块310以及输出接口模块312。这些元件可以硬件和/ 或软件的任何组合实现。如图3所示，实现300接收图像序列320。可从图像传感器(诸如图像传感器203) 接收该序列。或者，可从存储介质(诸如存储介质204)接收该序列。图像序列320包括提供给背景确定模块302的多个图像。根据该序列，背景确定模块302确定背景图像322。在实施例中，背景确定模块302 可标识图像序列320内的图像相对静止的时间间隔。从这一时间间隔，背景确定模块302 可选择特定图像作为背景图像322.或者，背景确定模块302可基于这一时段内的一个或多个图像生成背景图像322。背景比较模块303接收背景图像322并将其与图像序列320内的当前图像进行比较。如果该比较揭示当前图像和背景图像基本相似，则断定在当前图像中没有检测到人。可按各种方式实现这种比较。然而，如果该比较揭示当前图像和背景图像显著不同，则指示差别(如由差别指示符323所示)。据此，背景减法模块304从当前图像中减去背景图像322。图3示出该减法得到分析图像324，该分析图像3M被提供给对象提取模块306。对象提取模块306执行各种操作以增强分析图像3M内的图案。这种操作可包括 (但不限于)对分析图像3M执行颜色滤波和/或边缘增强操作。这些操作产生增强的图像326，该增强的图像3 被提供给对象分类模块308。对象分类模块308标识增强图像326内的对象。这可包括从非人对象(例如，小枕头等等)提取人的形状匹配操作的执行。这种形状匹配操作可包括增强图像326内的对象与预定对象模板的比较。在实施例中，这种对象模板可存储在对象数据库309中。作为这些操作的结果，对象分类模块308生成对象数据328。对象数据3 描述分析图像324内标识的对象。例如，对象数据3 可将提取的对象指示为人，对象数据3 还可提供与这些对象有关的其它数据，包括(但不限于)形状、尺寸和/或位置。另外，对象数据3 可包括告知这些结果的精确度的置信余量(似然估计)。如图3所示，对象数据 328被发送至对象数据库309、特性确定模块310和输出接口模块312。接收后，对象数据库309存储对象数据328。通过该特征，对象数据库309可随时间提供与特定对象有关的信息。例如，这种信息可指示对象随时间的运动。在实施例中，对象数据库309可包括存储介质。以下描述示例性存储介质。特性确定模块310确定所检测的人的特性。如本文所述，特性可包括人在一个或多个人口统计学范畴中的成员资格。这种特性还可包括这些人所从事的活动。这些特性确定可基于对象数据3 和/或从对象数据库309存取的存储数据330。特性确定还可基于参数和/或模板(可存储在对象数据库309中)。结果，特性确定模块310生成特性数据
8332，该特性数据332被发送到输出接口模块312。输出接口模块312生成结论数据334，该结论数据334可指示零或多个人的检测。 结论数据334还可指示任何所检测到的人的特性。此外，结论数据334可提供与这种检测和特性相关联的似然概率。因此，结论数据334可类似于如上参考图2描述的结论数据222。图4示出示例性逻辑流程400，它表示由本文描述的一个或多个实施例执行的操作。因此，该流程可用于图1-3的情境。然而，各实施例不限于这些情境。而且，尽管图4 示出特定顺序，但可采用其他顺序。此外，可按各种并行和/或顺序的组合执行所描述的操作。在框402，图像传感器生成图像序列。这些图像属于检测空间。在实施例中，检测空间可对应于输出设备的观察空间。在图2中示出这种对应关系的示例。然而，各实施例不限于该示例。在框404，这些图像可存储在存储介质中。例如，在图2的情境下，图像可存储在存储介质204中。然而，各实施例不限于该示例。在框406，检测是否有任何人存在于检测空间中。该检测至少基于一个或多个图像。例如，如本文所述，框406可包括将当前图像与背景图像进行比较。可从一个或多个图像选择背景图像或从一个或多个图像生成背景图像。基于通过这种比较得到的任何差别，框406可进一步包括各种操作以提取对象和推断他们是否对应于人。这种操作可包括(但不限于)边缘增强、模板匹配等。在框408，可确定所检测到的任何人的一个或多个特性。特性的示例包括在一个或多个人口统计学范畴中的成员资格，以及这些人所从事的各种活动。在框410，控制内容向输出设备的传送。该控制至少基于在框406执行的人员检测。而且，该控制可基于在框408执行的特性确定。可根据本地和/或上游方法执行这种控制。如本文所述，各实施例可利用硬件元件、软件元件或其任何组合实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器， 等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微型芯片、芯片组，等等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、进程、软件接口、 应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、数值、符号，或其任意组合。一些实施例可例如利用机器可读的存储介质或制品来实现。存储介质可存储指令或指令集，该指令或指令集在被机器执行时可导致机器执行根据实施例的方法和/或操作。例如，这类机器可以包括任何合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器或类似物，并且所述机器可以通过使用硬件和/或软件的任何合适的组合来实现。如本文所述，实施例可包括存储介质或机器可读制品。例如，这些可包括任何合适类型的存储器单元、存储器设备、存储器制品、存储器介质、存储设备、存储制品、存储介质和/或存储单元，例如，存储器、可移动或不可移动介质、可擦除或不可擦除介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、压缩盘只读存储器(CD-ROM)、可录压缩盘(CD-R)、 可重写压缩盘(CD-RW)、光盘、磁性介质、磁光介质、可移动存储卡或盘、各种类型的数字通用盘(DVD)、带、带盒等。所述指令可以包括任何合适类型的代码，诸如源代码、经编译的代码、经解释的代码、可执行代码、静态代码、动态代码、经加密的代码，和类似物，这些代码通过使用任何合适的高级、低级、面向对象的、可视的、经编译的和/或经解释的编程语言来实现。尽管以上已经描述了本发明的各个实施例，但应当理解，它们是作为示例而非限定给出的。因此，对相关领域技术人员显而易见的是，在不背离本发明的精神和范围的情况下可在形式和细节方面作出各种变化。因此，本发明的宽度和范围不应由上述示例性实施例中的任何一个来限制，而应当只根据所附权利要求书及其等效物来限定。
权利要求
1.一种方法，包括从图像传感器接收一个或多个图像，所述一个或多个图像是检测空间的； 至少基于所述一个或多个图像，检测所述检测空间中人员的存在；以及确定所述人员的特性。
2.如权利要求1所述的方法，其特征在于，还包括 至少基于所述检测和所述确定控制内容向输出设备的传送。
3.如权利要求2所述的方法，其特征在于，所述控制包括将内容定向到所述输出设备。
4.如权利要求2所述的方法，其特征在于，所述控制包括阻断来自所述输出设备的内容。
5.如权利要求2所述的方法，其特征在于，所述检测空间对应于所述输出设备的观察空间。
6.如权利要求1所述的方法，其特征在于，所述检测包括基于所述一个或多个图像中的图像与背景图像之间的差确定分析图像；以及标识所述分析图像中的对象，其中所述对象指示人员；其中所述背景图像基于所述一个或多个所接收的图像中的至少一个。
7.如权利要求1所述的方法，其特征在于，所述确定人员的特性包括确定所述人员是否属于一人口统计学范畴。
8.如权利要求1所述的方法，其特征在于，所述确定人员的特性包括确定所述人员是否从事于特定活动。
9.如权利要求1所述的方法，其特征在于，来自图像传感器的一个或多个图像是三维热图像。
10.一种装置，包括图像传感器，用于生成检测空间的一个或多个图像；图像处理模块，用于基于所述一个或多个图像检测是否有任何人存在于所述检测空间中；输出设备，用于显示内容；以及应用模块，用于针对输出设备做出一个或多个内容确定，其中所述一个或多个内容确定至少基于所述是否有任何人存在于所述检测空间中的检测。
11.如权利要求10所述的装置，其特征在于，所述检测空间的一个或多个图像是三维热图像。
12.如权利要求10所述的装置，其特征在于，所述图像处理模块确定所述检测空间中所检测到的人员的一个或多个特性。
13.如权利要求12所述的装置，其特征在于，针对输出设备的一个或多个内容确定还至少基于所检测到的人员的一个或多个特性。
14.如权利要求12所述的装置，其特征在于，所述一个或多个特性包括所检测到的人员的活动。
15.如权利要求12所述的装置，其特征在于，所述一个或多个特性包括所检测到的人员在一人口统计学范畴中的成员资格。
16.如权利要求10所述的装置，其特征在于，还包括内容提供者；其中所述一个或多个内容确定包括所述内容提供者从应用模块接收信息并且基于所述信息确定是否向输出设备传送特定内容；其中所述信息指示任何人员在所述检测空间中的存在。
17.如权利要求16所述的装置，其特征在于，所述信息指示所述检测空间中所检测到的人员的一个或多个特性。
18.如权利要求10所述的装置，其特征在于，所述一个或多个内容确定包括所述应用模块从内容提供者接收内容以及所述应用模块确定是否将所接收的内容提供给所述输出设备。
19.一种包括机器可访问介质的制品，所述机器可访问介质上存储指令，当所述指令被机器执行时导致机器从图像传感器接收一个或多个图像，所述一个或多个图像是检测空间的；至少基于所述一个或多个图像，检测所述检测空间中人员的存在；确定所述人员的特性。
20.如权利要求18所述的制品，其特征在于，当所述指令被机器执行时导致所述机器至少基于所述检测和所述确定控制内容向输出设备的传送。
全文摘要
公开了包括人员检测的技术。例如，实施例可从图像传感器接收检测空间的一个或多个图像(例如，热图像、红外图像、可见光图像、三维图像等)。至少基于一个或多个图像，实施例可检测该检测空间中人员的存在。而且，实施例可确定所检测的人员的一个或多个特性。示例性特性包括(但不限于)一个或多个人口统计学范畴中的成员资格和/或这些人员的活动。此外，至少基于这些人员检测和特性确定，实施例可控制内容对输出设备的传送。
文档编号G06K9/00GK102339380SQ20111012796
公开日2012年2月1日 申请日期2011年5月10日 优先权日2010年5月11日
发明者B·哈里森 申请人:英特尔公司