专利名称：在推荐系统中获得听觉和手势反馈的方法和装置的制作方法
技术领域：
本发明涉及推荐系统，如用于电视节目或其它内容的推荐器，更具体地说，涉及一种根据来自用户的听觉和手势反馈来更新这种推荐系统中的一个或多个简档的方法和装置。
背景技术：
个人可得到的媒体选择的数量正在以指数级的速度增加。例如，随着电视观众可观看的频道数量的增加，以及这些频道上出现的节目内容的多样化，对电视观众来说，确定感兴趣的电视节目变得越来越复杂。在以往，电视观众通过分析印刷的电视节目指南来确定感兴趣的电视节目。通常来说，这种印刷的电视节目指南包含有列出了所能得到的电视节目的时间、日期、频道和标题的表格。随着电视节目的数量增加，采用这种印刷的指南来有效地确定所希望观看的电视节目变得愈加困难。
最近，可以得到电子格式的电视节目指南，它通常被称为电子节目指南(EPG)。如同印刷的电视节目指南一样，EPG包含有列出了所能得到的电视节目的时间、日期、频道和标题的表格。然而一些EPG允许电视观众根据个人喜好来拣选或查找可得到的电视节目。另外，EPG提供可得到的电视节目的在屏显示。
与传统的印刷指南相比，尽管EPG允许观众更有效地确定希望观看的节目，但是它们还是具有许多局限性，如果能克服这些局限性的话，就可以进一步地提高观众确定所希望的电视节目的能力。例如，许多观众对一定类型的节目，如动作片节目或体育节目，具有特殊的喜好或偏见。因此，可以将观众的喜好应用到EPG中，以获得可能会引起特定观众兴趣的一组推荐节目。
因此，已经提出或建议了多种工具来推荐电视节目。例如，可从加利福尼亚州Sunnyvale的Tivo公司(Tivo，Inc.，of Sunnyvale，California)买到的TivoTM系统允许观众采用“赞同和反对”特征来对节目进行评分，从而分别表示观众喜欢和不喜欢的节目。在这种方式中，TivoTM系统隐含地从之前观众喜欢或不喜欢的电视节目中得到观众的喜好。之后，TiVo接收器将所记录的观众喜好与所收到的诸如EPG的节目数据相匹配，从而作出适合各个观众的推荐。
隐式电视节目推荐器根据从观众的观看历史得到的信息以不引人注目的方式产生电视节目推荐。另一方面，显式电视节目推荐器明确地询问观众有关他们对节目特征，如标题、类型、演员、频道和日期/时间的喜好，从而得到观众简档并产生推荐。
尽管这种电视节目推荐器可确定给定观众可能感兴趣的节目，但是它们还存在若干局限性，如果能克服这些局限性，就可以进一步地提高所产生的节目推荐的质量。例如，TivoTM系统从观众那里得到其喜欢或不喜欢给定的观看节目的明确表示，然后利用这种表示来得到用户的收看喜好。利用“赞同”或“反对”指示符，TivoTM系统根据用户的肯定行动来表示给定的观看节目受欢迎或不受欢迎。
如果用户没有肯定地表示给定的观看节目受欢迎或不受欢迎，那么TivoTM系统将假定用户不喜欢所观看的节目。因此，TivoTM系统会做出关于与收看期间有关的观看喜好信息的错误假设。另外，TivoTM系统通常需要用户利用遥控或机顶盒来输入“赞同”或“反对”指示符，这些都可能不容易拿到或不方便。
因此，需要一种用于从用户得到反馈并根据该用户行为来确定或推断给定用户喜欢或不喜欢某些内容的方法和装置。还需要一种用于实时地评估观众对所显示内容的反应并用于推论观众喜欢或不喜欢所显示内容的方法和装置。还需要一种用于允许用户表示用户喜好强度的推荐系统的方法和装置。最后，需要一种评估观众对所显示内容的反应并从音频或视频信息或两者中推论用户的观看喜好，而不需要采用特定装置来进行人工输入的方法和装置。
发明内容
本发明一般地公开了一种方法和装置，用于根据用户提供的听觉或手势反馈信息来更新特定用户的推荐系统中的用户简档。将一个或多个音频/视频获取装置集中在用户身上，以检测听觉或手势反馈。所检测到的听觉或手势反馈可包括例如预定的(i)听觉命令，(ii)手势命令，(iii)面部表情，或(iv)上述的组合，这些被统称为“预定行为反馈”。
一般来说，预定行为反馈提供了表示用户喜好、例如对给定节目或节目特征的喜好强度的得分。另外，反馈可以是显式的，例如表示用户喜好(喜欢或不喜欢)的预定听觉或手势命令，或者是隐式的，例如可从暗示用户喜好的面部表情或其它行为中得出的信息。一旦确定预定行为反馈，本发明就以适当的方式来更新相应的用户简档。
通过参考下面的详细描述和附图，可以得到对本发明以及本发明的其它特征和优点更完整的理解。
图1显示了根据本发明的电视节目推荐器；图2显示了图1所示节目数据库的样板表格；图3A显示了图1所示观众简档的贝叶斯实现的样板表格；图3B显示了由决策树(DT)推荐器所用的观看历史的样板表格；图3C显示了决策树(DT)推荐器根据图3B所示观看历史产生的观众简档的样板表格；以及图4是描述实施本发明原理的例示听觉和手势反馈分析处理的流程图。
具体描述图1显示了根据本发明的电视节目推荐器100。如图1所示，电视节目推荐器100评估电子节目指南(EGP)130中的各个节目，以确定一个或多个观众140所感兴趣的节目。例如可利用众所周知的在屏显示技术采用机顶盒/电视机160将推荐节目组显示给观众140。尽管在这里本发明是在电视节目推荐器的环境下进行说明的，但是本发明也可应用于任何基于用户行为、如观看历史或购买历史的评估而自动产生的推荐。
根据本发明的一个特征，电视节目推荐器100根据来自观众140的听觉或手势反馈来确定观众喜欢或不喜欢给定的节目。来自观众140的听觉或手势反馈可以是(i)显式的，例如表示观众喜欢或不喜欢节目的预定听觉或手势命令(以及可选择的，观众喜欢或不喜欢节目的程度)，或者是(ii)隐式的，例如可从通常表示观众喜欢或不喜欢节目的面部表情中得出的信息。给定节目可以是观众140当前正在收看的节目，或者是由电视节目推荐器100例如在询问或调查中所指定的节目或节目特征。
通过这种方式，由于没有限制用户使用遥控或机顶盒作为输入装置，因此本发明提供了一种允许用户表示观众喜欢或不喜欢节目的灵活机制。另外，电视节目推荐器100可通过对观众行为动作的评估来确认观众喜欢或不喜欢给定的观看节目，而不是仅因为观众观看了节目就假定观众喜欢此节目。
如图1所示，电视节目推荐器100包括一个或多个集中在观众140上的音频/视频获取装置150-1到150-N(下文中统称为音频/视频获取装置150)。音频/视频获取装置150可包括例如用于获取视频信息的随动-俯仰-变焦(PTZ)拍摄摄像机或用于获取音频信息的麦克风阵列，或者两者。
由电视节目推荐器100对音频/视频获取装置150产生的音频或视频图像(或两者)进行处理，处理方式将结合图4在下文中讨论，从而识别一个或多个来自观众140的预定(i)听觉命令，(ii)手势命令，(iii)面部表情，或(iv)上述的组合(下文中统称为“预定行为反馈”)。
一旦识别到预定行为反馈，电视节目推荐器100以适当的方式更新一个或多个观众简档300，这一点将结合图3A和3C在下文中讨论。所检测到的观众提供的听觉或手势反馈可以对应于例如表示观众喜欢或不喜欢节目或节目特征的强度的得分。另外，电视节目推荐器100利用所检测到的听觉或手势反馈来更新相应的观众简档300。
如图1所示，电视节目推荐器100包括节目数据库200、一个或多个观众简档300，以及听觉和手势反馈分析处理400，它们分别在下文中结合图2到4进行讨论。通常，节目数据库200记录在给定时段内可得到的各个节目的信息。如图3A所示，一个示例性观众简档300通常是根据提供对各节目特征的评分的观众调查在对应于“厌恶”和“热爱”之间的各个兴趣程度的数值刻度上产生的显式观众简档，表示给定观众是否观看了各节目特征。在图3C中显示了另一例示观众简档300’，它由决策树推荐器根据图3B所示的例示观看记录360产生。本发明允许在观众简档300中记录的可能有的调查反应信息中补充所检测到的听觉或手势反馈信息。
听觉和手势反馈分析处理400分析由音频/视频获取装置150所产生的音频或视频图像(或两者)，从而识别出预定的听觉或手势反馈。一旦识别到预定的听觉或手势反馈，听觉和手势反馈分析处理400就以适当的方式更新观众简档300。
电视节目推荐器100可被实施为任何计算装置，比如个人计算机或工作站，它包括诸如中央处理单元(CPU)的处理器120和诸如RAM(随机存取存贮器)和/或ROM(只读存储器)的存储器110。另外，电视节目推荐器100可被实施为任何现有的电视节目推荐器，例如可从加利福尼亚州Sunnyvale的Tivo公司买到的TivoTM系统，或者在1999年12月17日提交的题为“利用决策树推荐电视节目的方法和装置”(代理人档案号No.700772)的美国专利申请序号No.09/466406、2000年2月4日提交的题为“贝叶斯电视节目推荐器”(代理人档案号No.700690)的美国专利中请序号No.09/498271、2000年7月27日提交的题为“三路媒体推荐方法和系统”(代理人档案号No.700913)的美国专利申请序号No.09/627139中所描述的电视节目推荐器，或者是它们的任何组合，这些推荐器在这里进行了修改，以实现本发明的特征和功能。
图2是图1所示节目数据库200的样板表格，它记录了在给定时段内可得到的各个节目的信息。如图2所示，节目数据库200包含多个记录，如记录205到220，其中每个记录与一个给定节目有关。对于各节目来说，节目数据库200在字段240和245中分别表示与节目有关的日期/时间和频道。另外，在字段250、255和270中分别标识了各节目的标题、类型和演员。其它的众所周知的特征(未示出)如持续时间和节目介绍也可包括在节目数据库200中。
图3A是显示可由贝叶斯电视推荐器利用的例示显式观众简档300的表格。如图3A所示，显式观众简档300包含多个记录305-313，其中各个记录与某个不同的节目特征有关。另外，对于栏340中所列的各个特征，观众简档300在栏350中提供数值表示，以表示观众对相应特征的兴趣的相对程度。如下面将讨论的，在图3A所示的示例性显式观众简档300中，采用了1(“讨厌”)和7(“热爱”)之间的数值刻度。例如，图3A所示的显式观众简档300具有表示用户特别喜欢体育频道的节目和下午晚些时候的节目的数值表示。
在例示实施例中，显式观众简档300中的数值表示包括了强度标，例如
图3B是表示由决策树电视推荐器所维护的例示观看历史360的表格。如图3B所示，观看历史360包括多个记录361-369，其中每个记录与一个不同节目有关。另外，对于各个节目来说，观看历史360在字段370-379中标识各个节目特征。字段370-379中所列的值通常可从电子节目指南130中得到。应注意的是，如果电子节目指南130没有为给定节目指定给定特征，那么在观看历史360中利用“？”指定这个值。
图3C是表示由决策树电视推荐器根据图3B所示的观看历史360产生的例示观众简档300’的表格。如图3C所示，决策树观众简档300’包含多个记录381-384，其中每个记录与指定观众喜好的不同规则有关。另外，对于栏390中所标识的各规则，观众简档300’在字段391中标识与规则有关的条件并在字段392中标识相应的推荐。
有关在决策树推荐系统中产生观众简档的更详细讨论可参见例如1999年12月17日提交的题为“利用决策树推荐电视节目的方法和装置”(代理人档案号No.700772)的美国专利申请序号No.09/466406，此专利通过引用结合于本文中。
图4是描述例示听觉和手势反馈分析处理400的流程图。听觉和手势反馈分析处理400可在预定事件发生时在例如步骤410中启动，预定事件的发生可以是例如所观看的节目结束、选择新频道、或者检测到预定的听觉或手势反馈命令。
因此，在步骤410执行测试，以确定是否发生了启动处理400的预定事件。在听觉和手势反馈分析处理400的示例性实现中，预定事件可以由系统启动，例如响应于所观看节目的结束或选择新频道，或者可以由用户启动，例如响应于主动提供的听觉或手势反馈信息。还应该注意的是，用户启动的听觉或手势反馈行为可以是肯定的，例如用户向系统100表示他喜欢或不喜欢特定节目；或者可以是被动的，例如系统通过用户的面部表情推论喜欢或不喜欢特定节目。
如果在步骤410确定未发生预定的启动事件，那么程序控制返回到步骤410，直到这样的预定事件发生。然而，如果在步骤410确定预定的启动事件已发生，那么在步骤420进行进一步的测试，确定所检测到的预定事件是否对应于所观看节目的结束或选择新频道。换句话说，在步骤420中进行的例示性测试确定预定事件是由系统启动的还是由用户启动的。
如果在步骤420中确定所检测到的预定事件对应于所观看节目的结束或选择新频道(或另一由系统启动的事件)，那么就在步骤430中询问用户对刚刚收看的节目所希望的反馈。例如，询问可请求用户对刚刚收看的节目或者与所收看的节目有关的某一节目特征进行评分。之后，听觉和手势反馈分析处理400在步骤440中接收用户的听觉或手势反馈响应。
但是，如果在步骤420中确定所检测到的预定事件不对应于所观看节目的结束或选择新频道(或另一系统启动的事件)，那么所检测到的预定事件一定是由用户启动的反馈事件。
在步骤450中对系统启动的听觉或手势反馈或者是用户启动的听觉或手势反馈进行处理，以将听觉或手势反馈转换为表示用户喜欢或不喜欢所示节目(或节目特征)的强度的数值表示。之后，在节目控制结束前，在步骤460中用表示用户喜欢或不喜欢的强度的数值表示来更新观众简档300，其更新方式将在下文中讨论。
如上所述，听觉或手势反馈可包括(i)听觉命令，(ii)手势命令，(iii)面部表情，或(iv)上述的组合。由听觉和手势反馈分析处理400处理的听觉命令可包括例如若干听觉声音，如鼓掌、口哨或敲击声，其中的各个声音对应于1(“讨厌”)和7(“热爱”)之间的示例性数值刻度。在另一变型中，听觉命令可包括对应于识别1(“讨厌”)和7(“热爱”)之间示例性数值刻度的所说的文字(或相应数字)。
类似的，手势命令可包括若干手势动作，例如将手指、手或手臂举到不同的位置、或将用户在向上或向下位置的手指数调整到各种设置，其中每种设置对应于1(“讨厌”)和7(“热爱”)之间的示例性数值刻度。在另一变型中，手势命令可包括识别用户指向显示160上显示的1(“讨厌”)和7(“热爱”)之间的示例性数值刻度表中的选项。
还可对用户的面部表情进行处理，以推论观众喜欢或不喜欢给定的节目。例如，用户在观看节目时肯定或否定的面部表情通常表示观众喜欢或不喜欢该节目。在另一变型中，可以确定面部表情的强度，同时面部表情的变化程度可以对应于1(“讨厌”)和7(“热爱”)之间的示例性数值刻度。例如，可以根据在“根据连续视频的面部分析以及到人机接口的应用”(1999)(Ph.D Dissertation，University ofIllinois at Urbana-Champaign)或者Antonio Colmenarez等人的“用于嵌入的面孔和面部表情识别的概率框架”(Proc.of the Int’l Conf.onComputer Vision and Pattern Recognition，Vol.I，592-97，Fort Collins，Colorado(1999))中描述的技术来得到面部表情，这些文献通过引用结合于本文中。例如，可以根据2000年11月3日提交的题为“利用双向星形布局隐式马尔可夫模型估计面部表情强度”的美国专利申请序号09/705666(代理人档案号No.701253)中描述的技术来得到面部表情的强度，此专利已转让给本发明的受让人，并通过引用结合于本文中。
如上所述，可以在听觉和手势反馈分析处理400的步骤460中用表示用户喜欢或不喜欢的强度的数值表示来更新观众简档300或300’。更具体地说，例如通过用新得到的表示用户喜欢或不喜欢的强度的数值表示来替换之前的记录值，可以更新图3A所示的显式观众简档300。或者，可用预定时间窗口的移动平均或者利用将更大的权分配给更近的得分的平均方案来替换之前的记录值。在一种决策树实现中，图3C所示的观众简档300’可通过将所观看的节目加上观看历史360并重建简档300’来更新。或者，可以通过识别新节目满足的各个规则并以下述方式调整相应的规则得分来将用户喜欢或不喜欢的强度直接加入到观众简档300’中 在隐式贝叶斯推荐器系统中，隐式观众简档(未示出)可通过将来自用户的肯定反馈处理为观众观看了节目并增加肯定特征计数来更新。类似的，来自用户的否定反馈可以被处理为观众未观看节目并增加否定特征计数。
应该理解，这里给出并描述的实施例和变型仅是对本发明原理的说明，本领域的技术人员可以对本发明进行各种修改，并不背离本发明的范围和精神。
权利要求
1.一种用于更新用户简档(300)的方法，它包括以下步骤得到表示用户喜好的所述用户简档(300)；分析集中在所述用户上的音频和视频信息中的至少一种，以识别表示所述用户喜好的预定行为反馈；以及根据所述预定行为反馈更新所述用户简档(300)。
2.如权利要求1所述的方法，其特征在于，所述用户简档(300)与节目内容推荐器(100)有关。
3.如权利要求1所述的方法，其特征在于，所述预定行为反馈包括听觉命令。
4.如权利要求3所述的方法，其特征在于，所述听觉命令包括若干听觉声音中的一种，所述各个声音对应于与所述用户的所述喜好的强度相对应的数值刻度。
5.如权利要求1所述的方法，其特征在于，所述预定行为反馈包括手势命令。
6.如权利要求5所述的方法，其特征在于，所述手势命令包括若干手势动作中的一种，所述各个手势动作对应于与所述用户的所述喜好的强度相对应的数值刻度。
7.如权利要求5所述的方法，其特征在于，所述手势命令包括指向在显示器上显示的1(“讨厌”)和7(“热爱”)之间的示例性数值刻度表中的选项。
8.如权利要求1所述的方法，其特征在于，所述预定行为反馈包括从所述用户的面部表情推论所述用户喜好。
9.如权利要求1所述的方法，其特征在于还包括请求来自所述用户的反馈信息的步骤。
10.一种用于更新用户简档(300)的系统(100)，它包括存储器(110)，用于存储计算机可读代码和所述用户简档(300)；以及处理器(120)，它在操作上耦合到所述存储器(110)，所述处理器(120)被设置成得到表示用户喜好的所述用户简档(300)；分析集中在所述用户上的音频和视频信息中的至少一种，以识别表示所述用户喜好的预定行为反馈；以及根据所述预定行为反馈来更新所述用户简档(300)。
11.一种具有在其上实施了计算机可读代码工具的计算机可读媒体，所述计算机可读程序代码工具包括得到表示用户的观看喜好的用户简档(300)的步骤；分析集中在所述用户上的音频和视频信息中的至少一种，以识别表示所述用户喜好的预定行为反馈的步骤；以及根据所述预定行为反馈来更新所述用户简档(300)的步骤。
全文摘要
公开了一种方法和装置，用于根据用户提供的听觉或手势反馈信息来更新特定用户的推荐系统中的用户简档。采用音频或视频处理技术或两者来检测听觉或手势反馈，听觉或手势反馈包括例如听觉或手势命令或表示用户喜好的强度的面部表情。听觉或手势反馈可以是显式的或隐式的。一旦识别到预定的行为反馈，本发明就以适当的方式更新相应的用户简档。
文档编号H04N7/16GK1418341SQ01806746
公开日2003年5月14日 申请日期2001年11月16日 优先权日2000年11月22日
发明者M·特拉科维克, S·古塔, M·S·李 申请人:皇家菲利浦电子有限公司