专利名称：面部朝向识别驱动显示控制的制作方法
技术领域：
本申请涉及显示控制方法，更具体地涉及一种用于根据人的面部移动来控制显示屏中的显示内容的方法。
背景技术：
如今，存在许多广告方式来吸引人们购买产品、商品、食品等。例如，当人们正在购物中心享受浏览橱窗时，他们的眼睛不停地四处移动，他们通常扫视特定产品。他们的扫视时段可能只是一秒或更短。为了广告的目的，以某种方式展示任何有意向的产品，从而在很短的时间内吸引顾客的注意至关重要。此外，取决于季节、时间、性别、年龄、工作等，人们的兴趣和关注点不同，将这些因素考虑在内，为了及时地向人们提供有吸引力的广告是非常有挑战性的任务。自适应地控制显示屏幕被认为是最有效的方式之一。例如，"Person Aware Advertising Displays:Emotional,Cognitive,PhysicalAdaptation Capabilities for Contract Exploitation" ,Gilbert Beyer ^,PervasiveAdvertising Proceedings from the 1st WorkshopOPervasive2OO9,第 I3-17 页(可以通过访问http://www.pervasiveadvertising.0rg/index.php 获得)提出，广告显不可以按照自适应的方式对精神生理状态做出反应。根据该文章，广告显示控制采用两种自适应:(I)对活跃环境的自适应；以及(2)对单独用户的自适应。更具体地，取决于在显示器前有多少过路者，改变显示的内容。取决于用户对内容的知晓和用户的面部表情,改变显示的内容。
这样，当用户以特定方式看显示器时，作为结果改变显示的内容。当前，上述传统系统仅用于控制单独的显示。此外，系统仅作为控制机制工作，即，用户必须明确地与显示器交互以实现动作。然而，在普通广告环境中，用户通常不会如上面那样在足够长的时间内观看显示器。" Overcoming Assumptions and Uncovering Practices:When does the PublicReally Look at Public Displays " , Elaine M.Huang等，the Proceedings of the6thInternational Conference (2008) on Pervasive Computing Sydney, Australia (可通过访问http://www.elainehuang.com/huang-koster-borchers-perv2008.pdf 获得)报
生I=I:(I)当人们转头扫视显示器时，他们通常只在显示器方向看一两秒钟。除此之外，在极少的情况下，人们在经过显示器时放慢脚步，以及在更罕见的情况下，人们实际上停下或改变他们的行走路径来观看显示内容。在非常罕见的场合，人们愿意停下观看长达7、8秒的时间；
(2)展示视频内容的显示器倾向于以稍长时间捕获眼球；尽管过路者没有频繁停下观看视频，许多人确实在他们路过时持续观看显示器再多几秒。先前的实验室研究认为，多于800ms的扫视表明该扫视对于部分过路者来说是有意识的；(3)许多显示器每次以产品描述、有趣的事实、服务描述和相应URL或即将到来的事件的描述的形式每次展示出一些文本句子。过路者不可能实际阅读其全部内容。似乎在看显示器时，人们极快地做出关于大显示内容的值和相关性的判断，并且需要多几秒才能被理解的内容可能会被过路者拒绝或忽略；(4)这种显示器本身不吸引观看者凝视；而是其他内容吸引了观看者，才由显示器捕获。例如，书店窗口显示器包含具有广告、一些足球商品和一些球员照片的海报的大显示器。扫视了该显示器的大约80位过路者中的几乎所有人都来自同一方向；他们在路过时通过观看项目开始，然后最终扫视显示器。这表明，大显示器可能不像通常设想的那样俘获眼球，在其它对象附近时，所起的只是吸引注意力的次要角色。例如，在百货公司中，放置了一组人体模型，以使要出售的服装大约位于眼睛高度处，但是直接放置在其上的显示器(展示时尚视频和广告服务和商店特价品)并不会被看服装的人观看；以及(5)在一家百货商店中，自动扶梯两端的一些显示器确实接收到偶尔的延长扫视。这些是示出安全性视频内容(即，该特定自动扶梯的实时视频)的小黑白显示器。这表明小显示器可能比大显示器更能激励或获得在公共空间内延长的观看，可能是由于人们更习惯于在延长时段内观看小屏幕或在延长时段内观看小屏幕更舒服。较小显示器的使用还可以在较大的公共区域中营造更为私密或隐私的环境，使观看者感觉更为不易暴露，因而激励了与公共空间内的显示器的更长时间的交互，也更为舒适。然而，凝视跟踪设备昂贵且难以控制。另一方面，存在使用移动电话摄像头的面部识别方案(例如，参见https //labs. ericsson. com/apis/face-detector),如果不期望主动控制该设备，这些方案便宜且能实现相同效果。综上，本发明要解决的问题如下(I)检测多个屏幕中的哪一个使观看者的凝视保持多于800ms，并使用它以比眼球跟踪更为经济的方式构建兴趣简档，而无需专用设备；(2)控制组中的多个显示器(尤其是，小显示器)，以便将它们协调到针对特定组的显示器而构建的兴趣简档；以及(3)从外部源(例如，移动电话)接收信息，并使该信息与显示器和从简档构建的兴趣简档相关。
发明内容
因而，针对传统技术中的上述缺点，构想本发明。本发明通过将对顾客面部朝向的监视、从她/他的移动电话导出的统计、以及根据商店控制设置的活动引导相结合，实现对在商店、购物中心或市场中显示器的优化，以将顾客吸引到商店、购物中心或市场的特定部分。此外，面部识别和摄像头分析的使用有利于在顾客观看特定屏幕上的显示时，捕获顾客观看的内容和顾客的观看时长，并用于内容选择。
更具体地，为了解决上述问题，根据本发明的一方面，提供了一种广告系统，包括本地服务器；与所述本地服务器连接的控制器；以及与控制器连接并由控制器控制的多个显示器和摄像头，其中所述多个显示器和摄像头布置在进行广告的展示产品附近。更具体地，本地服务器包括主内容存储器，被配置为存储表示与广告内容相对应的多个图像的图像数据。所述控制器包括接收机单元，被配置为接收多个摄像头所捕获的图像信号；处理单元，被配置为处理由所述接收机单元接收的图像信号，以确定人是否在通过图像信号表示的图像中，如果该人在所述图像中，则识别该人正在观看的位置和时长，并基于所识别的信息来分析该人的兴趣；本地内容存储器，被配置为存储图像数据，所述图像数据是存储于本地服务器的主内容存储器中的图像数据的一部分，并所述图像数据从本地服务器的主内容存储器传递到本地内容存储器；显示输出管理器单元，被配置为基于从处理单元中获得的分析结果，从本地内容存储器或主内容存储器中选择适于显示的图像数据；以及显示驱动器单元，被配置为向该人附近的多个显示器中的任何一个发送所述显示输出管理器单元所选择的图像数据，以根据该人的兴趣动态地改变所显示图像中的任何一个。根据本发明的另一方面，提供了一种用于控制广告系统中的图像显示的方法，所述广告系统包括本地服务器；与所述本地服务器连接的控制器；以及与控制器连接并由控制器控制的多个显示器和摄像头，其中所述多个显示器和摄像头布置在进行广告的展示产品附近。更具体地，所述方法包括以下步骤在本地服务器中提供的主内容图像数据库中存储表示与广告内容相对应的多个图像的图像数据；在控制器中提供的本地内容存储器中存储图像数据，所述图像数据是存储于主内容存储器中的图像数据的一部分，并所述图像数据从本地服务器的主内容存储器传递到本地内容存储器；在控制器提供的接收单元处接收多个摄像头所捕获的图像信号；在控制器中提供的处理单元处处理接收到的图像信号，以确定人是否在通过图像信号表示的图像中，如果该人在所述图像中，则识别该人正在观看的位置和时长，并基于所识别的信息来分析该人的兴趣；在控制器中提供的显示输出管理器单元处，基于从处理单元获得的分析结果，从本地内容存储器或主内容存储器中选择适于显示的图像数据；以及通过在控制器中提供的显示驱动器单元向该人附近的多个显示器中的任何一个发送所选图像数据，以根据该人的兴趣动态地改变所显示图像中的任何一个。根据本发明的另一方面，提供了一种广告系统中用于控制要在显示器中显示的图像的显示的控制器，所述广告系统包括与控制器连接的服务器，用于存储表示与广告内容相对应的多个图像的图像数据；以及与控制器连接并由控制器控制的多个显示器和摄像头，其中所述多个显示器和摄像头布置在进行广告的展示产品附近。更具体地，所述控制器包括接收机单元，被配置为接收多个摄像头所捕获的图像信号；处理单元，被配置为处理接收机单元接收到的图像信号，以确定人是否在通过图像信号表示的图像中，如果该人在所述图像中，则识别该人正在观看的位置和时长，并基于所识别的信息来分析该人的兴趣；内容存储器，被配置为存储图像数据，所述图像数据是存储于服务器的图像数据的一部分，并所述图像数据从服务器传递到内容存储器；显示输出管理器单元，被配置为基于从处理单元中获得的分析结果，从内容存储器或服务器中选择适于显示的图像数据；以及显示驱动器单元，被配置为向该人附近的多个显示器中的任何一个发送所述显示输出管理器单元所选择的图像数据，以根据该人的兴趣动态地改变所显示图像中的任何一个。根据本发明的另一方面，提供了一种广告系统中的服务器，所述广告系统包括与所述本地服务器连接的控制器；以及与控制器连接并由控制器控制的多个显示器和摄像头，其中所述多个显示器和摄像头布置在进行广告的展示产品附近。更具体地，所述服务器包括内容储存器，被配置为存储表示与广告内容相对应的多个图像的图像数据，其中所述图像数据传递给控制器；简档聚集单元，被配置为聚集各个人的兴趣简档，并构建各个人的聚集兴趣简档；以及兴趣简档数据库，被配置为存储各个人的聚集兴趣简档，其中各个人的聚集兴趣简档基于从控制器发送的信息，所述控制器接收多个摄像头所捕获的图像信号，处理图像信号，识别出现在由图像信号表示的图像中的人，分析该人的兴趣，并创建该人的兴趣简档。本发明可以使显示器上所呈现的材料与顾客兴趣持续适配，而不明确要求任何交互动作。使用来自移动终端(在该部署附近使用)的统计信息还能够进一步精细化所呈现的媒体对象。本发明还有助于实现对商店、购物中心或市场的市场营销投资的更好效果，因而有助于实现更高的销售量。本发明的其它特征和优点将通过结合附图的以下描述显而易见，在整个附图中，相似的参考符号表不相同或相似部分。
并入说明书并构成说明书一部分的附图示出了本发明的实施例，与说明书一起用于解释本发明的原理图1是根据本发明的示例性实施例的广告显示系统的示意概念图；图2是在显示器的屏幕上最初显示的商品的示例；图3是在显示器的屏幕上最新显示的商品的另一示例；图4是示出了控制器功能的方框图；图5是示出了本地服务器的功能的方框图；图6是系统部署的示意性总体图的示例；图7示出了操作系统流；图8是示出了组件之间关系的方框图和导出要显示和调度的图像的信息流；图9和10是示出了要在单个集合中的多个显示器中显示的图像的显示控制的流程图。
具体实施例方式现在，将根据附图详细描述本发明的优选实施例。根据本发明的优选实施例的显示系统的核心特征如下。(I)基于来自与显示器附接的摄像头的输入，基于顾客的隐式输入(顾客凝视的持续时间和方向)来选择合适的图像的能力。(2)管理显示器和摄像头的控制能力。
(3)基于对与显示器附接的摄像头所拍摄的图片或视频的处理结果的输入来动态选择图像的能力，其中控制器中的处理器用于分析顾客的凝视，推断顾客凝视的对象和那些分析的(在所定义的时间段内的)历史。(4)组合来自位于目标区域内的移动电话的统计信息，以实现进一步个性化。在本说明书中，以通用术语“媒体对象”讨论要显示的内容。这些内容可以是静态图像、视频、声音、文本或可以呈现的这些或其它类型的媒体中的任意组合。此外，这些媒体对象具有描述它们的内容、类型、兴趣数据、内容提供商的注释等的元数据。这些元数据是公知的，不再在这里展开讨论。图1是根据本发明的示例性实施例的广告显示系统100的示意性概念图。系统100包括以下组件显示器101-105 ;分别与显示器101-105附接的数字摄像头111-115 ;用于控制多个显示器101-105和数字摄像头111-115的控制器121 ;与控制器121连接的本地服务器131，用于控制至/自控制器121的输入和输出，并用作针对元数据、简档和要显示的内容的本地高速缓存器；和与本地服务器131连接的中心服务器141，用于控制分发到本地服务器131的数据，例如内容和针对内容的元数据。中心服务器141具有图像数据库，用于存储与进行广告的各种产品和商品的各种图像相对应的各种图像数据。换言之，中心服务器141用作数据中心。如图1所示，显示器101-105和摄像头111-115布置在所展示的产品(在这种情况下，人体模型106)周围。依据要展示的产品，可以靠近产品、在产品之间或在产品上布置显示器101-105和摄像头111-115。尽管图1示出了单个控制器121和单个本地服务器131，但是系统100可以包含多个本地服务器131、多个控制器121，每个控制器121控制多个显示器和数字摄像头。在这种情况下，单个控制器及其关联摄像头和显示器(安装在同一地点)形成集合。并且，由单个本地服务器控制的多个集合可以部署在不同地点。注意，尽管图1所示的一个控制器处理五(5)个显示器和五(5)个数字摄像头，但是每个控制器121可以根据硬件和软件能力来处理有限数量的显示器和数字摄像头。例如，考虑一家五层楼的百货公司。在该建筑中，食品部在地下层，化妆品和珠宝部在一层，女装和商品部在二层，男装和商品部在三层，儿童装部在四层，以及体育用品和业余爱好部在五层。那么，将每一个本地服务器安装在每一层，在同一层但根据所展示项目的不同地点，部署同一本地服务器控制下的多个集合，单个中心服务器控制所有本地服务器。当然，系统配置不限于该示例。可以有各种部署和系统配置。可以按照不同的方式执行控制器121和本地服务器131之间的通信，例如，使用诸如WARP (参见https //labs. ericsson. com/apis/web-connectivity)或 SIP 订户通知之类的松散耦连事件通信协议。在任一情况下，假设要在这些两两组件之间建立永久关系，使其可以容易地传送发生的事件。例如，这些事件可以是任一显示器的特定屏幕的用户视图或内容高速缓存器中的改变。相同的协议还可以用于控制高速缓存器的更新，从而主动地预先填充最流行的媒体对象(即，在其它地点最频繁被观看的媒体对象)。显示器101-105具有传统的被动屏幕(passive screen),仅显示从控制器接收到的内容。控制器121可以寻址到屏幕，使得可以单独更新每个屏幕。
数字摄像头111可单独寻址，使得来自这些摄像头的输入可以与屏幕相关。摄像头彼此朝向之间的角度是已知的，或者可以通过控制器121中的图像处理软件进行分析，使得不同的角度可以用作三维图像组成的基础。如图1所示，该系统可以可选地与移动运营商的服务器151连接，使得系统100可以获得多个移动电话171、172的位置信息，所述多个移动电话171、172的用户经由移动通信网络161访问系统部署地点。移动运营商服务器151用作移动运营商与系统100之间的接口。它等同于位置应用服务器，但提供关于移动电话及其用户的附加数据。可以根据运营商的通用设置、或基于用户的个人设置，例如基于GE0PRIV标准(RFC5491)，对所提供的信息等级进行过滤。移动运营商151不提供个性化数据，而是聚集针对在系统部署地点周围移动的用户的统计信息。移动通信网络161提供由移动运营商服务器151使用的信息。移动电话171、172可以具有GPS功能，并经由移动通信网络161向移动运营商服务器151发送它们的位置信息。如果在移动运营商与系统所有者之间签订有特定的合同，且在本地服务器131与移动运营商服务器151之间已经建立了预定的通信协议，则系统100(具体地，本地服务器131)可以与移动运营商服务器151通信，并获得其用户访问系统部署地点的移动电话的位置信息。换言之，本地服务器131从部署区域内的移动电话接收统计信息。如图1所示，尽管可以从单个运营商得到统计信息，但是如果从多于一个运营商获得，则这些统计信息将会更加可靠。在运营商具有有着不同兴趣简档的顾客(例如，存在面向年轻人、老年人、女孩、冰球爱好者等的MVN0(移动虚拟网络运营商))的区域中尤其如此。为了从多于一个运营商接收统计信息，必须具有与它们相接口的实体。它可以是代理程序，向数字标志图样的所有者转售从网络得到的统计信息。在这种情况下，例如，移动运营商服务器151将使用由BPEL控制来下载数据的XML文档，与代理程序服务器相接□。尽管在图1中示出了彼此分开的中心服务器和本地服务器，但是中心服务器和其中一个本地服务器可以安装在同一地点，并且可以集成到单个单元中。可选地，例如，可以将中心服务器本身安装在远离所有本地服务器的百货商店的总部。中心服务器和每个本地服务器有时分别被称为节点。此外，如图1所示，系统100(具体地，每个集合)采用多个具有小尺寸屏幕(例如，17、19、21或23英寸)的显示器。协同定位于同一位置(例如，在服饰的显示器中)的多个具有小屏幕的显示器的这种协调有助于向顾客提供更有吸引力的显示。此外，这种协调允许向这些所显示的图像添加特定效果。例如，考虑如上所述在百货商店的地下层(食品部位于此处)安装多个集合。使用本说明书中讨论的机制，在蔬菜、肉类或其它产品中放置许多小显示器；这些显示器有时候向观看者示出混有广告的有吸引力的图像，保持他们的注意力。通过先前描述的机制来确定捕获并保持观看者兴趣的显示图像的比例。当商店(即，商店的管理者(系统运营商))期望使人们向不同部门移动，以例如在闭店时间前卖完做好的食物时，在有更多人的地段，显示器将会增加捕获观看者兴趣的图像(如其自身图像)，并将这些图像与针对更多做好的食物的广告混合。通过检测检测顾客的面部朝向，能够通过将期望商品的图像与顾客自身图像(例如，通过远远地显示顾客图像，使他们移动到该图像来进行观看)以及被示出以捕获他们的兴趣的其它图像混合来实现沿期望方向的任何移动。同样的机制可以用于诱使顾客从一个部门移动到另一部门。因而，图像的控制可以用于指引顾客在整个店内的移动。还可以利用其它显示器顺序显示图像，使得观看者在整个商店中的移动交错(staggered),获得例如盒饭部在下一地点的感觉。相同机制也可以应用于紧急情况，通过协调显示器将顾客指引到合适的出口或聚集点。图2是在显示器101-104的屏幕101a、102a、103a和104a上显示的商品的示例。如图2所示，四个屏幕最初分别显示鞋、T恤、女帽和领带。如果顾客在某一时刻观看显示器102的屏幕102a，并且没有扫视显示器103的屏幕103a，则屏幕103a中所显示的项目从当前显示的图像转变为合适的图像。这一转变可以基于正在进行的活动，用于确定观看者是否是女性(基于姿态、体型等)的图像分析，和/或观看者显示出在可靠的持续时间内的兴趣的屏幕。将在之后描述这一转变。图3是在显示器101-104的屏幕101a、102a、103a和104a上显示的商品的另一示例。如从图2和图3之间的比较中显而易见的，图3示出了新的显示配置。具体地，屏幕103a示出了与图2中不同的新图像。注意，尽管所显示的图像在图2和3中是静态图像，但是也可以显示视频和其它多媒体格式。图4是示出了控制器121的功能的方框图。如上所述，控制器121可以处理有限数量的显示器和数字摄像头。随着控制器121中设备和处理器能力的提高，控制器121可以处理更多数量的显示器和数字摄像头。此外，专用硬件实现也是可以的。在本说明书中，不对每个控制器可以管理的显示器和数字摄像头的数量做出假设。如图4所示，每个控制器包括多个逻辑功能组件，可以由硬件或软件实现。这些组件是摄像头信号接收机201 ;图像处理器202 ;显示驱动器203 ;兴趣简档构建器204 ;3D合成器205 ;输出管理器206 ;本地内容高速缓存器(存储器)207 ;兴趣简档高速缓存器(存储器)208 ;元数据解析器209 ;以及聚集兴趣简档构建器210。因此，控制器包括CPU(未示出)和存储器。CPU访问存储器，读出存储在存储器或存储设备中的目标软件，并执行该软件。摄像头信号接收机201从摄像头111-115接收信号，并将该信号发送到图像处理器202。典型地，针对每个摄像头激活摄像头信号接收机201。图像处理器202从摄像头信号接收机201接收图像数据，并对它们进行核对。如果没有从摄像头信号接收机201提供摄像头角度(相对于其它摄像头)，可以使用公共参考对象(如项目和当前显示的产品，因为控制器121知道它们，因而可以用作参考对象)，根据接收到的图像来确定这些角度。显示驱动器203管理来自控制器121的到显示器101-105的输出。典型地，针对每个显示器激活显示驱动器203。兴趣简档构建器204从3D合成器205接收图像，并分析人脸是否出现在图像中、正在看哪里、以及沿该方向看的持续时间。这与显示图像相关，以确定哪个显示图像是兴趣焦点、或正在观看商店中的哪部分。然后，将该信息反馈到输出管理器206，也存储在兴趣简档高速缓存器208中。3D合成器205获取从图像处理器202接收到的图形，并使用已知参考点和/或摄像头角度，将它们组合为3D图像。由于摄像头正在从不同角度观察顾客，3D合成器205可以合成顾客的脸及(可能地)身体的3D图像。顾客的3D图像还可以用于确定顾客的生理条件(是男性还是女性观看、这个人是超重还是苗条等)。基本颜色识别还可以应用于基于启发(例如，棕色头发的用户穿米色毛衣效果不会好)来确定针对特定顾客的合适颜色。颜色识别也可以应用于顾客拿起或试穿的衣服。输出管理器206考虑到用户兴趣和在从移动运营商接收到的本地区域中的用户通用兴趣简档(作为统计信息)，确定应当在哪个屏幕上显示来自本地内容高速缓存器207的哪个媒体对象，以及在所选显示器上显示所选图像的调度和屏幕上的相对位置。它使用来自元数据解析器209的输入。本地内容高速缓存器207与本地服务器131中的内容存储器同步，并包含要在屏幕上显示的媒体对象及其元数据。兴趣简档高速缓存器208包含从兴趣简档构建器204中得到的兴趣简档。持续更新兴趣简档。兴趣简档高速缓存器208在定义的时间段(例如，自用户进入商店的时间)内保持用户的兴趣简档，使得可以在该时段内提供过去兴趣简档(历史)的收集。元数据解析器209包含简档解析器、统计解析器、媒体元数据解析器。如最初提及的媒体对象与元数据相关联。此外，兴趣简档可以视为针对用户的元数据、以及从与部署系统100的区域相关的移动运营商接收到的统计信息。这些元数据(其中一些将会是标准化格式的)将通过相关解析器解析，并将解析结果输入输出管理器206。聚集兴趣简档构建器210接收由兴趣简档构建器204创建的各个顾客的兴趣简档，并构建顾客的聚集兴趣简档。将顾客的构建聚集兴趣简档发送给本地服务器131。聚集简档的最简单示例之一是共同兴趣集或根据特定标准较为接近的兴趣集。图5是示出了本地服务器131的功能的方框图。如图5所示，本地服务器131包含以下组件简档聚集器211 ;移动统计功能212 ;元数据解析器213 ;内容选择器214 ;简档存储器215和内容存储器216。简档聚集器211从控制器121接收并聚集兴趣简档，使得每个部署地点具有与商店中的哪些媒体对象和/或其它对象最有吸引人有关的更新简档。移动统计功能212接收针对部署了本地服务器131的位置的统计信息。假设这些统计信息以可与内容元数据核对的格式接收；或通过该功能变换为这种格式。该功能还使用诸如WARP或SIP之类的相关协议，管理与移动运营商服务器151的通信。换言之，移动统计功能212用于与移动运营商服务器151相接口。元数据解析器213解析内容元数据、统计信息和简档，并将结果提供给内容选择器214。内容选择器214基于来自元数据解析器213的输入，选择要填充到控制器121中的本地内容高速缓存器207内的内容(来自内容存储器216)。这意味着，所选内容表示商店访问者的通用简档，并且将随着用户隐式地表达其兴趣而持续精细化。当通过中心服务器141设置时，内容还可以基于销售活动(通过元数据)。简档存储器215存储来自控制器121的聚集简档，即，商店顾客的聚集兴趣。简档存储器215还存储来自移动通信网络161的接收统计信息，这意味着，它将持续构建每个商店的精细化简档。内容存储器216处理从中心服务器141接收到的媒体对象的存储，使内容选择器214能够选择哪些对象应当分发到控制器121中的本地内容高速缓存器207。如前所述，在商店、购物中心或市场中部署该系统。图6是系统部署的示意总体图的示例。如图6所示，设计摄像头300a-300c的视角，使其覆盖显示器、和控制器所管理的集合中摄像头前方的区域(图6中未示出)。典型的布置还将覆盖商店内的其它兴趣点，如其它显示器301-303、门(An ) 304和试衣间305-306。接下来，将参照图1、2、3和7来描述上述系统的一般操作。图7示出了操作系统流。假设在顾客进入商店之前，内容已提供给显示器。然后，系统100如下使用a.顾客10查看任一显示器101-105的屏幕上的广告；b.摄像头111-115从不同角度分别捕获查看广告的顾客；c.将来自不同角度的顾客的观看经由摄像头11-115传递到控制器121 ；d.控制器121基于顾客观看(时间、屏幕)来更新在屏幕上显示的内容；[在顾客手持移动电话且移动电话开机的情况下，]e.顾客10在与“a”相同的时间进入她/他的移动电话171的可通信位置；f.将移动电话的位置数据自动发送到移动通信网络161 ；g.将位置数据及其关联移动电话数据(如订户号码和ID)从移动通信网络161发送到移动运营商服务器151。移动运营商服务器151可以过滤顾客信息，使得仅可以向系统100发送系统必需信息。h.移动运营商服务器151向本地服务器131报告关于在可通信区域内移动电话使用的统计；1.本地服务器131从中心服务器141接收内容(注意，可以独立开始该事件)；j.控制器12更新本地服务器131上的顾客简档；以及k.本地服务器131更新控制器121上的内容，使得控制器121可以确定要显示的图像并进行调度。然后重复以上过程，持续精细化简档。图8是示出了组件之间关系的方框图和得到要显示并调度的图形的信息流。注意，使用来自聚集兴趣简档构建器210的输入可以是可选的，即，这种输入可以仅在需要时使用。此外，自适应地确定其兴趣简档同时输入的各个顾客。最简单的情况是仅有一位顾客被选择为目标用户，向该目标用户分配有一个安装地点中的显示器的屏幕集，以在这些屏幕上显示所选图像。在这种情况下，安装地点中的摄像头101-115捕获顾客动作，尤其面部朝向(即，顾客正在观看的地点和时长)。将显示了顾客当前兴趣的信息作为用户凝视数据从每个摄像头发送给控制器121。然后，控制器121中的兴趣简档构建器204编辑该信息并创建/更新用户简档，并在预定时段内在兴趣简档高速缓存器208中存储/保持用户简档。同时，向输出管理器206发送用户简档，使得可以运行用于确定并调度要在显示器101-105中显示的图像的程序。一旦确定并调度了要在显示器101-105中显示的图像，输出管理器206可以可选地从聚集兴趣简档构建器210接收聚集兴趣简档和/或从移动统计功能212接收位置统计数据，并加以考虑。
图9和图10是示出了要在单个集合中的多个显示器中显示的图像的显示控制的流程图。注意，为了使说明简单，以下描述和流程图假设只有一人站在显示器101-105的前方。然而，本发明也可应用于多于一人站在这些显示器前方且他们正在观看不同显示器的情况。在步骤S100，如图2所示，在显示器101-105中显示初始图像。在步骤S110，控制器121间歇或持续地从摄像头111-115中接收图像数据，并在步骤S120从接收到的图像数据中检查人是否站在任一显示器101-105或人体模型106的前方。如果在步骤S120识别出人站在那里，则过程进行到步骤S130。另一方面，如果在步骤S120识别出没有人在那里，则过程进行到步骤S100。注意，由于这种识别算法是公知的，在此省略详细描述。在步骤S130，基于接收到的图像数据，执行与识别出的人相关的图像处理。注意，由于这种图像处理也是公知的，在此不再进行详细说明。如图10所示，通过图像处理，在步骤S210识别面部朝向。并在步骤S220确定她/他正在观看的位置。该确定基于相对于识别出的人的每个摄像头的相对角度和相对位置。当部署了集合时，系统获得关于每个摄像头的位置和角度和每个显示器的位置和角度的信息。因此，图像处理器202可以基于这些数据，计算她/他正在观看的位置。此外，在步骤S230确定她/他观看的时长。该确定基于对来自不同角度的显示器的在一段时间内的多个连续图像的分析。图像处理器202、兴趣简档构建器204和3D合成器205用于上述图像处理。返回图9，在步骤S140，根据图像处理来确定是否识别出的人仍在那里。如果确定了识别出的人仍在那里，则该过程进行到步骤S150。另一方面，确定识别出的人已经不在那里，该过程返回步骤S100，以保持初始显示。根据该图像处理，系统获知这个人正在观看的内容。在步骤S150，兴趣简档构建器204分析这个人感兴趣的内容，并创建这个人的个人兴趣简档。例如，如果识别出的人正在观看在如图2所示的屏幕103a上显示的女帽，则兴趣简档构建器204基于以上图像处理推断这个人最可能是女性。另一方面，如图2所示，其它三个图像广告男性商品，这表明该集合部署在男装部。如结合图8所说明，向输出管理器206发送创建后的个人简档。在步骤S160，输出管理器206根据最初显示图像与创建后的个人简档的核对，确定初始/当前显示的图像是否合适于观看者(识别出的人)。由于识别出的人在男装部，看似她正在观看的广告图像不合适于她所在的地点。如果合适，该过程简单地返回步骤S100。然而，如果不合适，该过程进行到步骤S170，从本地内容高速缓存器207中选择更合适的图像。如果本地内容高速缓存器207中不存在合适的图像内容，则控制器121与本地服务器131通信，使控制器121可以从本地服务器131的内容存储器216中下载合适的图像内容。一旦选择了更合适的图像，输出管理器206可以可选地考虑i)从本地服务器131的简档存储器215下载的通用兴趣简档；ii)来自聚集兴趣简档构建器210的共同兴趣；以及iii)来自本地服务器131的移动统计功能212的位置统计数据。在步骤S180，输出管理器206和频率驱动器彼此协作，并发送对应于所选图像内容的图像数据，使得显示器可以改变显示图像，如图3所示。在图3中，在屏幕103a处显示新的广告数据，吸引人(更可能是女性)购买产品。在步骤S190，根据图像处理确定是否识别出的人仍在那里，如果确定了识别出的人仍在那里，则该过程进行到步骤S200，以保持显示图像。另一方面，确定识别出的人已经不在那里，该过程返回步骤S100，以显示初始图像。根据如上所述的实施例，通过将对定位在整个商店内的显示器处的显示图像的控制与访问者通过商店的位置和方向进行协调，并通过对这些图像应用特定效果，并向观看者重新显示这些图像，可以向顾客呈现更有吸引力的广告图像。广告图像的选择还基于与商店系统(例如，收银机)的交互及访问者的移动电话而已知的关于商店访问者的信息。可以根据移动电话来确定通用区域中顾客的统计信息，例如年龄，这可以进一步输入广告图像的部分。由于可以在不偏离本发明的精神和范围的情况下，得到本发明的多种显而易见的不同实施例，应当理解，本发明并不限于特定实施例而仅由所附权利要求限定。
权利要求
1.一种广告系统(100)，包括:本地服务器(131);与所述本地服务器连接的控制器(121);以及与控制器连接并由控制器控制的多个显示器(101-105)和摄像头(111-115)，其中所述多个显示器和摄像头布置在进行广告的展示产品附近，其特征在于 所述本地服务器包括: 主内容存储器(216)，被配置为存储表示与广告内容相对应的多个图像的图像数据，以及 所述控制器包括: 接收机单元(201)，被配置为接收多个摄像头所捕获的图像信号； 处理单元(202，204，205)，被配置为处理由所述接收机单元接收的图像信号，以确定人是否在通过图像信号表示的图像中，如果该人在所述图像中，则识别该人正在观看的位置和时长，并基于所识别的信息来分析该人的兴趣； 本地内容存储器(207)，被配置为存储图像数据，所述图像数据是存储于本地服务器的主内容存储器中的图像数 据的一部分，所述图像数据从本地服务器的主内容存储器传递到本地内容存储器； 显示输出管理器单元(206)，被配置为基于从处理单元中获得的分析结果，从本地内容存储器或主内容存储器中选择适于显示的图像数据；以及 显示驱动器单元(203)，被配置为向该人附近的多个显示器中的任何一个发送所述显示输出管理器单元所选择的图像数据，以根据该人的兴趣动态地改变所显示图像中的任何一个。
2.根据权利要求1所述的系统，其中所述本地服务器还包括:接口单元(212)，被配置为与外部移动网络服务器(151)通信，所述外部移动网络服务器与同多个移动电话(171，172)通信的移动通信网络(161)连接。
3.根据权利要求2所述的系统，其中多个移动电话中的每一个具有GPS功能，并向移动通信网络发送其自身的位置信息。
4.根据权利要求3所述的系统，其中所述接口单元从外部移动网络服务器接收关于多个移动电话中的每一个的位置信息的统计信息。
5.根据权利要求4所述的系统，其中所述显示输出管理器单元在选择合适于显示的图像数据时考虑所述统计信息。
6.根据权利要求1-5中任一项所述的系统，还包括:用作数据中心的中心服务器(141)，用于向本地服务器分发图像数据。
7.根据权利要求1-6中任一项所述的系统，其中多个本地服务器与中心服务器连接。
8.根据权利要求1-7中任一项所述的系统，其中所述本地服务器能够与多个集合连接，每个集合包括多个显示器和摄像头，以及 在不同地点部署所述多个集合，使得所述多个集合分别布置在不同的进行广告的展示产品附近。
9.根据权利要求8所述的系统，其中所述显示输出管理器控制对要在每个集合中显示的图像的选择，从而激励图像的观看者移动到系统运营商的意向地点。
10.根据权利要求9所述的系统，其中对图像的选择基于以下至少一项:显示图像的时间；进行广告的展示产品；以及意向地点。
11.根据权利要求1-5中任一项所述的系统，其中多个显示器最初显示与展示产品相关的相应图像， 多个摄像头布置在不同位置，使得多个摄像头从不同角度捕获展示产品附近的人，作为多个图像，以及 所述处理单元包括: 图像处理器单元(202)，被配置为输入接收机单元所接收的图像信号，并核对由多个摄像头从不同角度拍摄的图像信号； 3D合成单元(205)，被配置为合成核对后的图像信号，并创建三维3D图像； 本地兴趣简档构建器单元(204)，被配置为基于3D图像来确定该人的面部朝向，并推断该人的兴趣；以及 兴趣简档存储器(208)，被配置为将推断出的该人的兴趣存储为各个人的兴趣简档。
12.根据权利要求11所述的系统，其中所述本地兴趣简档构建器还基于3D图像来确定该人的生理条件，如果3D图像是彩色图像，还基于颜色识别来确定该人的物理特征。
13.根据权利要求12所述的系统，其中所述本地兴趣简档构建器基于该人的生理条件和颜色识别结果来推断该人的兴趣。
14.根据权利要求11所述的系统，其中所述显示输出管理器单元(206)将显示图像与推断出的该人的兴趣进行比较，并确定最初显示的图像是否合适于该人。
15.根据权利要求11 所述的系统，其中所述本地服务器还包括:简档聚集单元(211)，被配置为聚集各个人的兴趣简档，并构建各个人的聚集兴趣简档；以及 兴趣简档数据库(215)，被配置为存储各个人的聚集兴趣简档。
16.根据权利要求15所述的系统，其中所述控制器还包括:聚集兴趣简档构建器单元(210)，被配置为接收推断出的该人的兴趣，聚集各个人的兴趣简档，并向本地服务器发送各个人的聚集兴趣简档；以及 简档聚集单元从控制器接收各个人的聚集兴趣简档，并更新兴趣简档数据库中的各个人的聚集兴趣简档。
17.一种用于控制广告系统(100)中的图像显示的方法，所述广告系统包括:本地服务器(131);与所述本地服务器连接的控制器(121);以及与控制器连接并由控制器控制的多个显示器(101-105)和摄像头(111-115)，其中所述多个显示器和摄像头布置在进行广告的展示产品附近，其特征在于，所述方法包括以下步骤: 在本地服务器中提供的主内容图像数据库(216)中存储表示与广告内容相对应的多个图像的图像数据； 在控制器中提供的本地内容存储器(207)中存储图像数据，所述图像数据是存储于主内容存储器中的图像数据的一部分，所述图像数据从本地服务器的主内容存储器传递到本地内容存储器； 在控制器提供的接收单元(201)处接收多个摄像头所捕获的图像信号； 在控制器中提供的处理单元(202，204，205)处处理接收到的图像信号，以确定人是否在通过图像信号表示的图像中，如果该人在所述图像中，则识别该人正在观看的位置和时长，并基于所识别的信息来分析该人的兴趣； 在控制器中提供的显示输出管理器单元(206)处，基于从处理单元获得的分析结果，从本地内容存储器或主内容存储器中选择适于显示的图像数据；以及 通过在控制器中提供的显示驱动器单元(203)向该人附近的多个显示器中的任何一个发送所选图像数据，以根据该人的兴趣动态地改变所显示图像中的任何一个。
18.一种广告系统(100)中用于控制要在显示器中显示的图像的显示的控制器(121)，所述广告系统包括:与控制器连接的服务器(131)，用于存储表示与广告内容相对应的多个图像的图像数据；以及与控制器连接并由控制器控制的多个显示器(101-105)和摄像头(111-115)，其中所述多个显示器和摄像头布置在进行广告的展示产品附近，其特征在于，所述控制器包括: 接收机单元(201)，被配置为接收多个摄像头所捕获的图像信号； 处理单元(202，204，205)，被配置为处理接收机单元接收到的图像信号，以确定人是否在通过图像信号表示的图像中，如果该人在所述图像中，则识别该人正在观看的位置和时长，并基于所识别的信息来分析该人的兴趣； 内容存储器(207)，被配置为存储图像数据，所述图像数据是存储于服务器的图像数据的一部分，所述图像数据从服务器传递到内容存储器； 显示输出管理器单元(206)，被配置为基于从处理单元中获得的分析结果，从内容存储器或服务器中选择适于显示的图像数据；以及 显示驱动器单元(203)，被 配置为向该人附近的多个显示器中的任何一个发送所述显示输出管理器单元所选择的图像数据，以根据该人的兴趣动态地改变所显示图像中的任何一个。
19.一种广告系统(100)中的服务器(131)，所述广告系统包括:与所述本地服务器连接的控制器(121);以及与控制器连接并由控制器控制的多个显示器(101-105)和摄像头(111-115)，其中所述多个显示器和摄像头布置在进行广告的展示产品附近，其特征在于，所述服务器包括: 内容储存器(216)，被配置为存储表示与广告内容相对应的多个图像的图像数据，其中所述图像数据传递给控制器； 简档聚集单元(211)，被配置为聚集各个人的兴趣简档，并构建各个人的聚集兴趣简档；以及 兴趣简档数据库(215)，被配置为存储各个人的聚集兴趣简档， 其中各个人的聚集兴趣简档基于从控制器发送的信息，所述控制器接收多个摄像头所捕获的图像信号，处理图像信号，识别出现在由图像信号表示的图像中的人，分析该人的兴趣，并创建该人的兴趣简档。
全文摘要
为了在顾客面前呈现显示产品的更具吸引力的图像以进行广告，提供了一种显示控制系统。提出该系统部署在商店、店铺或购物中心的不同地点。该系统包括服务器，用于存储表示与广告内容相对应的多个图像的图像数据；与服务器连接的控制器；以及多个显示器和摄像头，其中所述多个显示器和摄像头布置在进行广告的展示产品附近。当人在展示产品附近时，多个摄像头从不同角度捕获该人，将捕获的图像数据发送到控制器并通过控制器进行处理和分析。然后，控制器推断该人的兴趣，基于该人的兴趣选择对于该人更合适的图像，并向任一显示器发送图像数据，以根据该人的兴趣改变显示图像。
文档编号G06Q30/02GK103080963SQ201080068570
公开日2013年5月1日 申请日期2010年8月11日 优先权日2010年8月11日
发明者约翰·吉尔姆, 小田稔周, 村上慎吾 申请人:瑞典爱立信有限公司