专利名称：用于调整呈现给观众的信息内容的方法和装置的制作方法
技术领域：
本发明涉及将信息呈现给观众的方法和装置，具体而言，涉及用于变换诸如在大的显示屏幕上或信息亭上提供给观众的信息内容的方法和装置。
背景技术：
假如广告和其它提供的信息能适应给定目标观众，则它的影响会明显增大。例如，任何广告活动的成功都要求该广告能影响其目标观众。通常，一种特殊的广告或信息式消息是瞄准一块或多块人群的，而媒体策划者决定影响目标观众的最佳方式。
典型地，在进行广告活动之前，媒体策划者要预测能影响目标观众的最佳媒体方案。另外，在一特定的广告活动期间，估量目标观众受该广告信息的影响是有益的，因为媒体策划者可以进行改正以达到媒体计划的最佳效果。同样，在一特定的广告活动之后，媒体策划者通常要对广告活动加以分析以确认该广告信息影响了目标观众。
尽管与多数媒体工具相关联的观众人口统计是意义明确的，但某些媒体工具的动态性质使之提前预测观众的人口统计，即使不是不可能，也是困难的。例如，在公众场合采用诸如信息亭的大屏幕显示将广告和其它信息提供给显示屏附近过往的人们。典型地，在这种显示上呈现给公众的内容通常适合于该显示屏所安装的位置。例如，机场和其他交通运输总站常用这种显示向旅客提供他们感兴趣的时刻表和其他信息。
因此，使广告的内容适合于动态观众是不容易的。尽管这类显示和信息亭在将一般信息呈现给大群观众方面已经是有成效的，但它们受到一系列限制，而如果能将它们加以克服，则可以大大扩大它们的利用率和效果。特别是，因为在这种公众场合下无法提前预测观众的人数，所以呈现的任何内容都必须对广大人群具有吸引力。
因此，有必要寻求一种方法和装置，用于实时自动地评估观众人数和变换在大显示屏幕或信息亭上呈现给当前观众的信息内容。还有必要寻求一种方法和装置，用于实时评估观众对所呈现的内容的反应。也有必要寻求一种方法和装置，用于实时估计观众的多少。最后，有必要寻求一种方法和装置，用于产生有关不同人群体受所呈现的内容的影响的报告。这样，该报告提供一种反馈机制，使内容提供者和广告商以有效的方式捕捉其目标观众。
发明概述总的来说，公开一种方法和装置，它用于变换诸如在大的显示屏幕或信息亭上呈现给观众的信息内容。公开的内容选择和驱动系统(I)提取有关观众的特征，(II)分析其特征，(III)根据该分析修改所呈现的内容，和(IV)记录用于报告的相关统计数据。
内容选择和驱动系统对显示在显示屏上的广告或信息的影响加以评估。视/听分析器通过分析音频或视频信息，或二者，推导出有关对所呈现的广告或信息的公众反应的观众特征和其他信息。在一种示意性实施方案中，该视/听分析器可以推导出(I)各种人口统计的统计数据，包括性别，种族或年令的统计资料；(II)当前观众的多少；(III)观众变化有多快；和(IV)观众对呈现的广告或信息给予多大注意力。
该导出特征被动态内容选择器用于调整所呈现的广告或内容使之适合当前观众的特点。该动态内容选择器利用导出的观众统计数据，和有关局部环境的任选脱机统计数据以便从内容数据库选择适合于当前观众的内容。
公开的报告部件接收来自视/听分析器的实时观众统计数据和对选自该动态内容选择器的内容的指示。可以给内容提供者，如广告商制作报告，表明不同人群体对所呈现的内容的影响和观众对所呈现的内容的反应，因此提供一种反馈机制使内容提供者和广告商能有效地获取目标观众。
附图简述
图1示出按照本发明的内容选择和驱动系统；图2是图1的视/听分析器的原理方块图；图3是图1的动态内容选择器的原理方块图；图4是展示图1内容数据库的一种示意性实例表；图5是说明图2的视/听分析器所采用的一种示意性观众人数分析方法和实现本发明原理的流程图；图6是说明图2的视/听分析器所采用的一种示意性观众计数方法和实现本发明原理的流程图；图7是说明图2的视/听分析器所采用的一种示意性观众变化评估方法和实现本发明原理的流程图；图8是说明图2的视/听分析器所采用的一种示意性观众注意力评估方法和实现本发明原理的流程图；图9是说明图3动态内容选择器所采用的一种示意性内容选择和驱动方法以及实现本发明原理的流程图；图10展示按照本发明所制作的一种示意性报告，表明不同的人群块受到所呈现的内容的影响以及观众对所呈现的内容的反应。
详述图1示出依照本发明的一种内容选择和驱动系统100。总的来说，该内容选择和驱动系统100(I)提取有关观众的相关特征；(II)分析这种特征；(III)根据该分析修改所呈现的内容；和(IV)记录用于报告的相关统计数据。
如图1所示，1个或多个视/听捕获设备120-1至120-N(以下总称为视/听捕获设备120)集中于正观看诸如大屏幕显示或信息亭的显示器110的观众130。在一个实施方案中，该显示器110可以用Access PointTM的信息亭实现，它可以从Philips Electronics，N.A公司买到。典型地，可以将显示器110安装在公众场所，如机场，交通总站，购物中心，博物馆等。视/听设备120可以包括诸如平面-摇动-变焦(PTZ)摄相机用于捕获视频信息。或一组麦克风用于捕获音频信息，或者两者均用。
注意，观众130的组成可以随时间变化，至少部分取决于该显示器110所安装的地理位置。在下面结合图7会讨论到，本发明的一个特点是评估观众130的变化率。因此，如果观众变化不是很快，则内容选择和驱动系统100可以选择较长的广告消息或节目，或者比较详细的信息。如果内容选择和驱动系统100测定到观众在流动并且随时间变化较快，则可以提供较短的广告消息或节目，或比较简略的信息。
内容选择和驱动系统100评估显示在显示器110上的广告或信息的影响。如图1所示，内容选择和驱动系统100包括视/听分析器200，在下面结合图2讨论，通过分析音频或视频信息，或两种信息，该分析器200就公众对所呈现的广告或信息的反应提取观众特性和其他信息。如在结合图5至图8所进一步讨论的那样，该视/听分析器200从音频或视频，或同时从二者提取有关观众的不同类型的信息。在示意性的实施方案中，该视/听分析器200可以提取(I)各种人口统计的统计数据，包括性别、种族或年龄的统计数据；(II)当前观众的多少；(III)观众变化的快慢；和(IV)观众对所呈现的广告或信息的注意力程度。
所提取的特征可以由动态内容分析器300采用，下面结合图3讨论，以变换所呈现的广告或信息内容以适合当前观众的特点。例如，内容选择和驱动系统100可以对一种产品储存两种不同版本的广告，一种版本瞄准对象为男人，而第二种瞄准对象为妇女。根据对观众130当前性别组成的动态判断，内容选择和驱动系统100可以动态选取这个版本而不用另一个版本。如图1总的所示和以下进一步讨论的那样，该动态内容选择器300利用所推导出来的观众统计数据和有关当地环境的脱机统计数据，如观众人口统计的历史资料，或航班或火车时刻表，从内容数据库400选取适合当前观众的内容。
此外，该内容选择和驱动系统100包括报告部件150，它从视/听分析器200接收实时观众统计数据以及从动态内容选择器300所选内容的指示。该报告部件150包括给诸如广告商的内容提供者产生报告，下面结合图10进一步讨论。一般地，该报告说明各种人口块受所呈现的内容的影响以及观众对所呈现的内容的反应，因而提供一种反馈机制使内容提供者和广告商有效地捕捉观众。例如，由报告部件150所产生的报告可以说明观众的多少和变化率，以及观众的各种人口统计数据，如年龄，种族和性别。如下面结合图2进一步讨论的那样，这些观众统计数据是用视/听分析器200产生的。
图2是展示按本发明的一种视/听分析器200的结构方块图。该视/听分析器200可用通用型的计算系统实现。如图2所示的通用型计算系统。如图2所示，该视/听分析器200最好包括处理器210和相关的存储器，如数据存储设备220，它可以是分布式的或本机型的。该处理器210可以是单一处理器，也可以是并行操作的一组本机或分布式处理器。数据存储设备220和/或只读式存储器(ROM)(未示出)可加以操作以储存一条或多条指令，处理器210可以提取，中断和执行这些指令。视/听分析器200接收来自视/听捕获设备120的音频或视频信号，或两种信号。由视/听分析器200从音频/视频信息提取的观众特征被提供给动态内容选择器300用于进一步处理。
如下面结合图5至8进一步讨论的那样，数据存储设备220包括观众人数分析处理器500，观众计数处理600，观众变化评估处理700和观众注意力评估处理800。一般地，观众人数分析处理500根据一项或多项所希望的人口统计参数，如年龄，种族，或性别，对观众的面部和身体特征加以评估以便将观众分块。观众计数处理600对视频图像加以分析以识别明显的人类特征，如体，头和面部特征体系，然后对图像中的个体计数以估计观众的多少。观众变化评估处理700对观众的变化快慢产生评估。观众注意力评估处理800对音频或视频信息，或同时二者加以评估以识别观众的行为，如读报、玩游戏、说话，或面向显示屏，从而提示观众是否注意所呈现的广告或信息。
图3所示是按照本发明的一种展示性动态内容选择器300的方块图。该动态内容选择器300可以是一种通用型的计算系统，如图3所示的那种通用型计算系统。动态内容选择器300包括某些标准硬件，如处理器310和相关的存储器，如在上面结合视/听分析器200(图2)所讨论的数据存储设备320。注意，视/听分析器200和动态内容分析器300可选用单个通用型计算系统加以集成。
如图3所示，数据存储设备320包括脱机统计数据库340，内容选择和驱动系统900和动态内容评估器处理1000。一般地，该脱机统计数据库340包括与安装显示器110的局部环境相关的信息。例如，脱机统计数据库340可以包括有关该地区观众人口统计的历史信息。因此，在没有瞬时信息时可以根据这类历史信息选择要呈现的内容。还有一种不同的是，假如显示器110是安装在交通总站，该脱机统计数据库340可以包括航班，汽车或火车的时刻表信息。因此，利用旅客可能的去向判断可以对动态内容的选择加以补充。
如下面结合图9进一步讨论的那样，内容选择和驱动系统900依据观众的当前特性或脱机信息或两者结合，选择呈现给观众130的广告或其他信息。
图4所示是内容数据库400的一种实例，它将可以呈现给观众130的有关广告的信息和其他信息加以保存。该内容数据库400保存有多种记录，如记录405至420，每种记录同不同的内容选择相关联。对在区域430内列举的每种内容识别符，该内容数据库400包括在区域440内的简单说明，并分别在区域450和460内说明相应的目标观众及内容的长度。因此，内容选择和驱动处理900，根据包括在区域450或460内的信息，可以在内容数据库400内选择适合于当前观众的内容。
处理如前所示，视/听分析器200执行图5中所示的观众人口统计分析处理500，通过评估按照一个或多个所希望的人口统计参数，如年龄，种族或性别，将观众分块。如图5所示，该观众人口统计分析处理500接收一幅或多幅视频图像并在步骤510期间识别面部特征。尔后，在步骤520，该观众人口统计分析处理500对图像中的个体的面部特征或身高加以分析，根据一个或多个所希望的人口统计参数，如年龄，种族或性别，将观众加以分块。
例如利用序号为5,781,650，颁发给Lobo等人的美国专利所提供的技术，可以按年龄将观众分块。而且，通过评估身高信息可以得到年龄的平均分布，这种评估可以按以下参考文献提供的方式进行Antonio Criminisi等人的，“A New Approach to obtain HeightMeasurements from Video，”Proc.of SPIE，Boston，MA，3576卷(11月1-6，1998)。例如可以利用由Face Guardian在文献“Real-Time Face Verification Software that Recognizes Who You Are，http//www.keywareusa.com/300 Products/face fs.html”中提供的技术，按种族将观众分块。例如可以利用由Baback Moghaddam andMing-Hsuan Yang在文献“Gender Classification with SupportVector Machinics，Proc.of the fourth IEEE InternationalConference on Automatic Face and Gesture Recognition，306-11，Grenoble，France(March，2000)”中提供的技术，按性别对观众加以分块。注意，也可以从身高信息推导出性别和年龄的信息。
最后，该观众人口统计分析处理500在程序终止前的步骤530产生一种当前观众的轮廓图。
如前所示，该视/听分析器200执行图6所示的观众计数处理600，对视频图像加以分析，从而识别如体，头和面部特征结构的明显人类特征，然后对图像中的个体(如头)加以计数以估计观众的多少。如图6所示，观众计数处理600最初接收一幅或多幅图像并在步骤610内识别人的体部、头部、和/或面部特征。
此后，在步骤620，该观众计数处理600，对例如图像中的头进行计数。例如，利用下列专利中提供的技术可以完成对体/头的计数专利WO9932959，题目为“Method and System for Gesture Based onOption Selection”，指定给本发明的受益人Damian Lyons and DanielPelletier，“A Line-Scan Computer Vision Algorithm forIdent ifying Human Body Features，”Gesture ′99，85-86France(1999)，Ming-Hsuan Yang and Narendra Ahuja，“DetectingProcessing(ICIP 98)，VOL.1，127-130，(October，1998)；I，Haritaoglu，D.Harwood，L，Davis，HydraMultiple PeopleDetection and Tracking Using Silhouettes，”Computer Vision andPattern Recognition，Second Workshop of VideoSurveillance(CVPR，1999)。最后，观众计数处理600在程序控制终止之前的步骤630对观众的多少加以大致估计。
如前所示，视/听分析器200执行如图7中所示的观众变化评估处理700，对观众变化的快慢进行评估。该观众变化评估处理700最初执行流动率程序以分析视频信息并判断在给定时间间期内在显示器110前面通过的个体数目。利用在本文前面段落中相同参考文献中所提供的体/头计数技术跟踪头并计算有多少人在规定时间内经过显示屏，可以完成流动程序。
随后，观众变化评估处理700对观众130的变化率，例如经过显示屏的个体数，产生一种评估。
如前所说明的那样，该视/听分析器200执行在图8中所示的观众注意力评估处理800，对音频或视频信息，或两种信息同时加以评估以识别诸如读报，玩游戏，说话，或面朝显示屏的行为，这些行为提示观众是否正注意所呈现的广告或信息。
如图8所示，该观众注意力评估处理800最初在步骤810进行测试，例如根据由观众变化评估处理700发生的观众130的变化率评估结果，判断观众是否是静态的。如果在步骤810中判断的结果其观众总的来说不是静态的，则程序控制返回至步骤810直到观众总的为静态为止。因此，本发明假定如果观众的变化率超出预定阈值，则观众没有给予足够的注意而无法确保进一步评估的质量。
但是，如果在步骤810判断观众一般不是静态的，则观众注意力评估处理800在步骤820对音频或视频信息(或两者)加以评估和识别。例如，如果有人在读报，玩游戏，说话，或者没有面向显示屏幕，则该人一般是不可能正注意所呈现的内容。
因此，本发明对特殊的行为加以识别用于推断观众是否正留意所呈现的内容。例如，如下行为提示其个体可能正注意所呈现的内容面朝显示屏幕，改变体姿使之朝向显示屏幕，改变体部表现(视觉，身体特征的踪迹)，当消息显示时改变面部表情，突然变成安静(音响信号电平下降)，或因为呈现的内容(音响改变)而开始发笑/注意力集中。
例如，使用如下文献描述的技术，观众注意力评估处理800可以识别面部表情J.F.Cchn and G.S.Katz，“Bimodal Expression ofEmotion by face and Voice，”Workshop on Face/GestureRecognition and Their Applications，6″ACM InternationalMultimedia Conference(Sept.，1998)。例如使用由S.Baker和T.Kanade在关于自动面部和姿势识别的第4次国际会议(March，2000)上发表的文章“Hallucinating Faces”中所阐述的技术，观众注意力评估处理800可以识别幻觉面部，例如使用在下面文献中描述的技术，观众注意力评估处理800可以识别被隐蔽的面部和面部表情Antonio Colmenarez等人，“Embedded Face and FacialExpression Recognition，”Int′1 Conf.on Image Processing，Kobe，Japan(1999)。
例如利用下面文献中描述的技术，观众注意力评估处理800可以识别体姿/体态D.Anderson，“Occupational Biometrics”JohnWiley and Son(2d Edition，1991)，and S.Iwasawa et al.，“Real-time，3D Estimation of Human Body Postures fromTrinocular Images，”ICCV′99，Workshop on Modeling People，Corfu，Greece(1999)。例如利用下面文献描述的技术，观众注意力评估处理800可以识别身体特征(如头，手或脚)以探测体部表情的变化DamianLyons and Daniel Pelletier，“A Line-Scan Computer VisionAlgorithm forIdentifying Human Body Features，”Gesture′99France(1999)。
最后，在程序控制终止之前的步骤830，观众注意力评估处理800对观众的注意力产生评估。
如前所示，动态内容选择器300执行在图9中所示的内容选择和驱动处理900，以根据观众的当前特性选择呈现给观众130的广告或其他信息。这里只对内容选择和驱动处理900做了介绍以展示对示范性规则的一种以规则为依据的实施情况。实际上，每种规则可以适合于一种特定的应用，这一点对普通技术人员应是清楚的。
如图9所示，内容选择和驱动处理900最初在步骤910接收来自视/听分析器200的观众统计数据。然后，该内容选择和驱动处理900在步骤920进行测试以判断是否该统计数据提示当前的观众主要由确定的块(或人口统计)所组成。假如在步骤920判断的结果是当前的观众主要由确定的块(或人口统计)所组成，则依照目标观众区域450，在步骤930从内容数据库400选取适合于已被识别的观众块的内容。但是，假如在步骤920得出的判断结果其当前观众不是主要由确定的块(人口统计)所组成，则在步骤940进行进一步的测试以判断是否观众改变率提示其观众的组成正在缓慢改变。
假如在步骤940判断其变化率提示观众的组成正在缓慢改变，则在步骤950，如内容数据库400的区域460中所示的那样，选择具有较长时间的内容。但是，如果在步骤940作出的变化率的判断并不提示观众的组成正在缓慢改变，则在步骤940从内容数据库选取具有平均时间长度的一般内容。随后程序控制结束。如前所示，按照本发明的一个特点，其报告部件150接收来自视/听分析器200的实时的观众统计数据和来自动态内容选择器300的所选内容的指示。该报告部件150产生报告，说明各人口块受所呈现的内容的影响和观众对所呈现的内容的影响，因而提供一种反馈机制使内容提供者和广告商有效地捕捉到目标观众。
一般地，利用上面结合图5至图8分别加以讨论的观众人口统计分析处理500，观众计数处理600，观众变化评估处理700和观众注意力评估处理800，可以按照特定内容提供者的需要产生报告和包括由视/听分析器200所产生的任何统计数据。
图10示出了按照本发明所产生的一种报告实例1000，说明不同人口块受所呈现的内容的影响和观众对所呈现内容的反应。该示意性报告1000包括多行，如行1005至1013，每行与不同的统计数据相关联。此外，该报告1000包括多列，如列1051至1053，每列同不同的时间期T相关联。该时间间期T可以根据内容的长短选择性加以改变。例如，对5分钟长度的内容T可以是30秒，而对于1分钟长度的内容T可以是5秒。
有关得到在行1005至1013中所列出的实例性统计数据的方式，上面结合图5至图8已进行了讨论。
当然，此处所展示和说明的实施方案和变更只是为了阐明本发明的原理，本领域的普通技术人员可以完成各种修改而不会偏离本发明的范围和精神。
权利要求
1.一种将信息呈现给观众(130)的方法，所说的方法包括步骤处理至少音频和视频信号之一以提取有关所说观众(130)的特征，该音频和视频信号是由集中于所说观众(130)上的视/听捕获设备(120)产生的；分析所说的被提取的特征；和根据该分析修改所呈现的信息。
2.权利要求1的方法，其中该提取的特征包括一个或多个人口统计数据。
3.权利要求1的方法，其中所说的被提取的信息包括至少下列数据之一观众(130)的当前数量，对该观众(130)随时间变化快慢的评估，和观众对所呈现的内容的注意力程度的评估。
4.对呈现给观众(130)的信息加以评估的方法，该方法包括步骤处理至少一个音频和视频信号以提取有关所说观众(130)的相关特征，该音频和视频信号是由集中于该观众(130)上的视/听捕获设备(120)产生的；和产生报告(1000)，表明有关该观众(130)的被提取的相关特征。
5.权利要求4的方法，其中所说的被提取的特征表明至少有如下数据之一所说的观众(130)的多少，至少一种人口统计块的观众(130)的多少，至少一种人口统计块的观众(130)的变化率，至少一种人口统计块的观众(130)的注意力水平。
6.一种用于将信息呈现给观众(130)的系统(100)，包括集中于所说的观众(130)上的视/听捕获设备(120)；用于储存计算机可读代码的存储器(220)；和操作上与所述存储器(220)相耦合的处理器(210)，该处理器被配置成处理至少一种音频和视频信号以提取有关所说的观众(130)的相关特征，该音频和视频信号是由所说的视/听捕获设备(120)产生的；分析所提取的特征；和根据所说的分析对所呈现的信息加以修改。
7.权利要求6的系统，其中所说的被提取的特征包括至少一种或多种人口统计的统计数据。
8.权利要求6的系统，其中所说的被提取的特征包括至少下列数据之一对所说观众(130)随时间变化快慢的判断；和观众(130)对所呈现的信息的注意力程度的评估。
9.一种用于评估呈现给观众(130)的信息的系统，包括集中于所说观众(130)上的视/听捕获设备(120)；用于储存计算机可读代码的存储器(220)；和操作上与所说的存储器(220)相耦合的处理器(210)，该处理器(210)被配置成处理至少一种音频和视频信号以提取有关观众(130)的相关特征，该音频/视频信号是由所说的视/听捕获设备(120)产生的；和产生报告(1000)，表明所提取的关于观众(130)的相关特征。
全文摘要
公开一种用于变换诸如在大显示屏幕或信息亭上呈现给观众的信息内容的方法和装置。公开的内容选择和驱动系统(I)提取有关观众的相关特征，(II)分析该特征，(III)根据该分析修改呈现给观众的内容，和(IV)记录用于报告的相关统计数据。通过分析音频或视频信息，或同时分析二者，视/听分析器提取关于公众对所呈现的广告或信息的反应的观众特征或其他信息。所提取的特征被用于变换所呈现的广告或信息的内容以适合于当前观众的特点。报告部件接收实时的观众统计数据和所选内容的指示。给内容提供者，如广告商产生报告，说明不同人口块受所呈现内容的影响和观众对所呈现内容的反应。
文档编号G09F27/00GK1478239SQ01802480
公开日2004年2月25日 申请日期2001年6月12日 优先权日2000年6月27日
发明者E·科亨－索拉, D·莱安斯, E 科亨-索拉, 菜 申请人:皇家菲利浦电子有限公司