专利名称：根据用户的当前心情产生推荐的方法和装置的制作方法
发明的领域本发明涉及推荐器，比如用于电视节目或其他内容的推荐器，并尤其涉及用于根据用户的当前心情产生诸如电视节目或其他内容的推荐的推荐方法和装置。
发明的背景可由个人获得的媒介选择的数量正在以指数速度增加。由于可由电视观众获得的频道数量已经增加，例如，随着在这些频道上可获得的节目内容的多样性，对电视观众来说确定感兴趣的电视节目已经成为一种增加的挑战。电视观众通过分析印制的电视节目指南来确定感兴趣的节目。典型地，这样的印制的电视节目指南包括通过时间和日期频道和标题列出的可获得的电视节目的表格。因为电视节目的数量已经增加，所以使用这样的印制的指南有效地确定想要的电视节目变得更加困难。
近来，电视节目指南已经可以以电子格式获得，通常称作电子节目指南(EPG)。像打印的电视节目指南一样，EPG包含通过时间和日期、频道和标题列出的可获得的电视节目表格。但是，一些EPG允许电视观众根据个人化喜好分类或搜索可获得的电视节目。另外，EPG允许可获得的电视节目的屏上显示。
尽管EPG允许观众比传统的印制的指南更有效地确定想要的节目，他们也要承受许多限制，如果克服这些限制，能够进一步增强观众确定想要的节目的能力。例如，很多观众具有对某种节目类型，比如动作节目或体育节目的特定喜好或偏见。因此，观众喜好能够被应用于EPG从而获得可以由特定观众感兴趣的一组推荐的节目。
因此，许多工具已经提出或建议用于推荐电视节目。例如，从加利福尼亚桑尼维尔的Tivo Inc.可商业上获得的TivoTM系统，允许观众使用“向上翻和向下翻”特征评价节目并从而分别表明观众喜欢和不喜欢的节目。以这种方式，TivoTM系统隐含地从以前观众喜欢和不喜欢的电视节目得出观众的喜好。因此，Tivo接收机使记录的观众喜好与接收的诸如EPG的电视数据匹配，从而使推荐适合每个观众。
隐含的电视节目推荐器以不强制的方式根据从观众的观看历史得出的信息产生电视节目推荐。直接电视节目推荐器，另一方面，直接询问观众关于他们对诸如题目、类型、演员、频道和日期/时间节目特征的喜好，从而得出观众档案并产生推荐。
尽管这样的电视节目推荐器确定被给定观众所感兴趣的节目，但是它们也承受许多限制，如果克服这些限制，则能够进一步改善产生节目推荐的质量。例如，当产生观众档案和电视节目推荐记录时，用于产生电视节目指南的传统工具把个人的观看历史作为一个整体来考虑。因此，确定的节目与观众的当前兴趣或心情没有特别的相互关系。因此，存在用于产生根据观众的当前心情的电视节目指南的方法和装置。
发明概述总的来说，公开了一种根据用户当前的心情在推荐系统中产生用户档案的方法和装置。本发明从而根据各种心情知道用户的喜好，并因此利用这些基于心情的喜好产生适合用户当前心情的推荐。
本发明通过处理音频或视频信息，比如用户的面部表情来检测用户的心情。一旦心情被检测到，与给定时间段相关的行为能够与观众当前的心情相关联。在一种设备中，本发明提供了一种根据他或她当前心情允许观众选择一个或多个观众很可能发现有吸引力的节目的电子节目指南。
本发明的更完全的理解以及本发明的进一步的特征和优点将参照随后的详细描述和附图获得。
附图的简要说明
图1根据本发明描述了电视节目推荐器；图2描述了来自图1的节目数据库的简表；图3A描述了来自图1的隐含的观众档案的Bayesian装置的简表；图3B描述了来自由决策树(DT)推荐器使用的观看历史的简表；图3C描述了又来自图3B的观看历史的决策树(DT)产生的观众档案的简表；
图4是描述体现本发明的原则的示例性心情检测和档案更新处理的流程图；以及图5是描述体现本发明的原则的示例性的基于心情的推荐处理的流程图。
详细描述图1描述了根据本发明的电视节目推荐器100。如图1所示，电视节目推荐器100评价电子节目指南(EPG)130中的每个节目以确定一个或多个观众140感兴趣的节目。一组推荐的节目能够用顶置终端/电视机160展示给观众140，例如，使用公知的屏上显示技术。尽管本发明在这里用电视节目推荐的角度描述，但是本发明也能够应用到根据行为历史，比如观看历史或购买历史自动产生的推荐中。
根据本发明的一个特征，电视节目推荐器100还根据观众的当前心情，除了根据观众的更传统的观看行为以下产生用户档案300，该档案在下文中与图3A和3C一起论述。尽管传统的推荐器在产生观众档案时把一个人的观看历史看作一个整体，但是本发明把观众的喜好看作多级问题，并使每个观看时段与观众的一个或多个当前心情相关联。因此，本发明根据各种心情得知观众的喜好，并利用这样的基于观看喜好来产生节目推荐。以这种方式，提供根据他或她的当前心情允许观众选择一个或多个观众最可能发现吸引力的节目的电子节目指南。
如图1所示，电视节目推荐器100包括一个和多个聚焦于观众140的音频/视频获取装置150-1到150-N(在下文中，共同称为音频/视频获取装置150)。音频/视频获取装置150可以包括例如用于获取视频信息的搖摄—角倾—变焦(PTZ)摄像机或用于获取音频信息的话筒阵列或都包括。
由音频/视频获取装置150产生的音频或视频图象(或都包括)由电视节目推荐器100处理，从而识别观众140的一个或多个预先确定的心情，以下文与图4和5一起论述的方式。如下文论述，面部表情处理技术可以被用来分析观众的表情用来检测观众是高兴还是悲伤。另外，音频处理技术可以被用来分析由观众发出的声音，用来检测观众是笑还是哭，这可以暗示当前观众的心情。例如在档案信息被记录时，或当一个推荐将被产生时(或两者同时发生时)观众的心情可以被检测。
如图1所示，电视节目推荐器100包含节目数据库200，一个或多个观众文件300，心情检测和档案更新处理400和基于心情的推荐处理500，每个部分下文分别与图2到5联系在一起论述。通常，节目数据库200记录在给定时间段可获得的每个节目的信息。如图3A所示，一个说明性观众档案300是隐含的观众档案，根据以前观众喜欢或不喜欢的节目组，该档案典型地从观众的观看历史得出。图3C所示，另一个示例性的观众档案300′由决策树推荐器产生，如图3B所示根据示例性的观看历史360。
心情检测和档案更新处理400处理由音频/视频获取装置150产生的视频或静止图象(或两者都包括)，从而感觉观众的当前心情并获知观众在这样的心情时的喜好。基于心情的推荐处理500利用由心情检测和档案更新处理400产生的基于心情的观看喜好，从而根据得出的观众的当前心情产生节目推荐。
电视节目推荐器100可以用任意计算装置，比如个人计算机或工作站实现，它包含诸如中心处理单元(CPU)的处理器120，和诸如RAM和/或ROM的存储器110。另外，电视节目推荐器100可以用任意加利福尼亚桑尼维尔的Tivo Inc.商业上获得的TivoTM系统或在1999年12月17日申请的题目为“使用决策树推荐电视节目的方法和装置”的美国专利申请序列号09/466,406(代理案号No.700772)，2000年2月4日申请的题目为“Bayesian电视节目推荐器”(代理卷号No.700690)以及2000年7月27日提交的美国专利申请第09/627,139，题目为“三种方式媒介推荐方法和系统”(代理卷号No.700913)描述的电视节目推荐器，或者它们的任意组合，在这里被改进以执行本发明的特征和功能。
图2是来自图1的节目数据库200的简表，它记录在给定时间段可获得的每个节目的信息。如图2所示，节目数据库200包含多个记录，比如记录205到220，每个记录与给定节目相关。对每个节目来说，节目数据库200表示分别与字段240和245中的节目相关联的日期/时间和频道。另外，每个节目的题目、类型和演员分别在字段250、255和270中确定。附加的公知特征(未示出)，比如持续时间和节目的说明也能够包含在节目数据库200中。
图3A是描述示例性的隐含观众档案300的表格。如图3所示，隐含观众档案300包含多个记录305-313，每个记录与不同的节目特征相关联。另外，对列330中出现的每个特征，隐含观众档案300提供在字段335到345中的对应的正计数和字段350中的负计数。根据本发明的一个特征，正计数被提供给每个由电视节目推荐器100检测的截然不同的表情。各种正计数表示观众在对应的心情时观看具有每个特征的节目的时间的数字。负计数表示观众不观看具有每个特征的节目的时间数字。
对每个正和负节目例子(即观看和不观看的节目)，节目特征的号码在用户档案300中被分类。例如，如果给定观众在下午较晚时在频道2观看给定体育节目十次，此时是高兴的心情，则与隐含观众档案300中的这些特征相关联的正计数(高兴)将在字段345中增加10，并且负计数将为0(零)。因为隐含观众档案300能够根据普通的或预定的档案，例如，根据他的或她的统计由用户选择。
图3B是描述示例性观看历史360的表格，它由决策树电视推荐器维持。如图3B所示，观看历史360包含多个记录361-369，每个与不同的节目相关联。另外，对每个节目，观看历史360确定字段370-379中的各种节目特征。在字段370-379中出现的值可以典型地从电子节目指南130获得。注意，如果电子节目指南130没有对给定节目特别指定一个给定特征，该值在观看历史360中用一个“？”表示。
图3C是描述示例性的观众档案300′的表，它可以从图3B中出现的观看历史360由决策树电视推荐器产生。如图3C所示，决策树观众档案300′包含多个记录381-384，每个与不同的确定观众喜好的规则相关联。另外，对在列390中定义的每个规则，观众档案300′识别与字段391中的规则和字段392中的对应推荐相关联的条件。
对在决策树推荐系统中的观众档案的产生的更详细的论述，见例如1999年12月17日申请的题目为“使用决策树推荐电视节目的方法和装置”的美国专利申请序列号09/466,406(代理卷号No.700772)，在这里引用作为参考。
图4是描述示例性心情检测和档案更新处理400的流程图。如图4所示，心情检测和档案更新处理400最初在步骤410执行测试来确定一个事件是否已经发生从而启动观众档案300的更新，比如在节目的末尾或新节目频道的选择。如果在步骤410确定事件还没有发生从而启动观众档案300的更新，则节目控制返回到步骤410直到这样的事件被检测到。
但是，如果在步骤410确定一个事件已经发生从而启动观众档案300的更新，则当前观众140的心情在步骤420用已知的面部表情分析技术被检测，比如University of Illinois at Urbana-Champaign(1999)，Ph.D.Dissertation的“具有人与计算机接口的应用程序的连续视频的面部分析”中描述的技术；或Proc.Of the Int’l Conf.on Computer Vision andPattern Recognition，Fort Collins，Colorado(1999)，Vol.I，592-97中Antonio Colmenarez等的“用于嵌入的面部和面部表情识别的统计结构”中描述的技术，它们在这里引用作为参考。可以获得面部表情的强度，例如，根据在2000年11月3日申请的美国专利申请序列号09/705,666题目为“使用双向星形拓扑马尔可夫模式的面部表情强度的估计”，(代理卷号701253)，转让给本发明的受让人并在这里引用作为参考。通常，面部表情分析检测在包含在音频/视频获取装置150中的摄像机的观看区域中的观众的面部，并识别由观众140展示的特别的面部表情，比如微笑或皱眉。面部表情被用于得出观众140的当前心情。
在步骤425期间执行测试从而确定电视节目推荐器100是贝叶斯推荐器还是决策树(DT)推荐器。如果在步骤425确定电视节目推荐器100是贝叶斯推荐器，则在步骤430期间对应于观众140的当前心情的正计数在观众档案300中被更新为于与前节目相关联的节目特征。另外，在步骤430观众档案300中负计数被选择性地更新为与一个或多个随意选择的没有观看的节目相关联的节目特征。
但是，如果在步骤425期间确定电视节目推荐器100是决策树(DT)推荐器，则在步骤450观众档案300′中的规则过滤从而只识别与当前心情相关联的规则。因此，剩下的规则(过滤后)进一步被处理从而识别满足当前节目的规则。在步骤470当前节目则被加入到识别规则中，如下所示 其中，强度对高兴的心情具有7的值，对悲伤的心情具有1的值，对中立的心情具有3的值。或者，图3C的观众档案300′能够在步骤470期间通过向观看历史360中加入观看的节目和重建档案300′来更新。因此，节目控制停止。
图5是描述体现本发明的原则的基于心情的推荐处理500的流程图。基于心情的推荐处理500利用由心情检测和档案更新处理400产生的基于心情的观看喜好来基于得出的观众当前心情产生节目推荐。
如图5所示，在步骤510期间，基于心情的推荐处理500最初获得对于感兴趣的时间段的电子节目指南(EPG)。因此，在步骤515期间对观众获得适当的观众档案300。在步骤520期间，基于心情的推荐处理500则以与前述心情检测和档案更新处理400相同的方式使用音频/视频获取装置获得观众的当前心情。
在步骤525期间，执行测试从而确定电视节目推荐器100是贝叶斯推荐器还是决策树(DT)推荐器。如果在步骤525确定电视节目推荐器100是贝叶斯推荐器，则在步骤530使用特征计数只对当前心情对每个节目计算推荐分数。
但是，如果在步骤525确定电视节目推荐器100是决策树(DT)推荐器，则在步骤540中观众档案300′中的规则被过滤，从而只识别那些与当前心情相关的规则。因此，在步骤550期间剩余的规则(过滤后)被应用到在感兴趣的时间段所有节目。对应于档案300′的顺序的列表中的第一个满足的规则，一个分数对来自档案300′的字段392的每个节目被恢复。
最终，在步骤570，在节目控制终止前，用户被提供以对每个节目计算的推荐分数。
应当理解到，这里示出的和描述的实施例和改进仅仅说明了本发明的原则，不脱离本发明的范围和宗旨，本领域技术人员可以实现各种修改。
权利要求
1.一种推荐一个或多个项目的方法，包括以下步骤得到可获得的项目列表(130)；确定用户(140)当前的心情；以及根据所述的当前的心情，产生对至少一个所述可获得的项目(130)的推荐分数。
2.权利要求1的方法，其中用面部表情处理技术确定所述当前心情。
3.权利要求1的方法，其中用音频和/或视频处理技术确定所述当前心情。
4.权利要求1的方法，其中通过询问所述用户(140)确定所述当前心情。
5.权利要求1的方法，其中所述一个或多个项目是节目、内容或产品。
6.一种产生表示用户(140)的喜好的用户档案(300)的方法，包括以下步骤监视由所述用户(140)选择的一个或多个项目；确定所述选择期间用户(140)的当前心情；以及在所述档案中用所述项目选择记录所述当前心情的表示。
7.权利要求6的方法，其中所述用户档案(300)与节目内容推荐器(100)相关联。
8.权利要求6的方法，其中所述记录所述项目选择的表示的步骤还包括与所述项目和所述当前心情相关联增加一个或多个正特征计数的步骤。
9.权利要求6的方法，其中通过询问所述用户(140)确定所述当前心情。
10.权利要求6的方法，其中所述一个或多个项目是节目、内容或产品。
11.一种用于推荐一个或多个项目的系统(100)，包括用于存储计算机可读代码的存储器(110)；以及工作时连接到所述存储器(110)的处理器(120)，所述处理器(120)被构造为得到可获得的项目列表(130)；确定用户(140)当前的心情；以及根据所述的当前的心情，产生对至少一个所述可获得的项目(130)的推荐分数。
12.权利要求11的系统(100)，其中用音频和/或视频处理技术确定所述的当前心情。
13.权利要求11的系统(100)，其中通过询问所述用户(140)确定所述当前心情。
14.一种用于产生表示用户(140)的喜好的用户档案(300)的系统(100)，包括用于存储计算机可读代码的存储器(110)；以及工作时连接到所述存储器(110)的处理器(120)，所述处理器(120)被构造为监视由所述用户(140)选择的一个或多个项目；确定所述选择期间用户(140)的当前心情；以及在所述档案中用所述项目选择记录所述当前心情的表示。
15.权利要求14的系统(100)，其中所述的处理器(120)进一步构造为与所述项目和所述当前心情相关联增加一个或多个正特征计数。
16.权利要求14的系统(100)，其中所述一个或多个项目是节目、内容或产品。
全文摘要
公开了一种根据用户的当前心情在推荐系统中产生用户档案的方法和装置。本发明将诸如观看时间的每个时间与用户的一种或多种当前心情相关联。本发明根据各种心情得知用户的喜好，并利用这样的基于心情的观看喜好来产生相应的推荐。在一种实施方式中，电子节目指南被提供，这允许用户根据他的或她的当前心情选择一个或多个观众最可能找到吸引力的节目。
文档编号H04N7/16GK1395798SQ01804012
公开日2003年2月5日 申请日期2001年11月16日 优先权日2000年11月22日
发明者S·古塔, M·特拉科维克, A·J·科尔梅纳雷兹 申请人:皇家菲利浦电子有限公司