专利名称：通过节目图像内容产生隐式tv推荐器的制作方法
技术领域：
本发明涉及一种用于推荐电视节目的系统和方法，尤其涉及一种用于基于根据用户偏好或简档产生的图像推荐来提供感兴趣的特定节目的系统和方法。
当今的大量多媒体给电视观众非常多样的选择范围。当前，存在超过500个不同的通过有线电视服务示出的节目频道。由于电视观众可获得的频道数目的增加，以及随着在这样的频道上可获得的节目内容的多样性，对于电视观众来说，确定电视节目或者检索他们感兴趣的信息变得日益复杂了。
存在不同类型的可获得的电视节目指南(即电子节目指南(EPG))，其允许电视观众根据个人的偏好对可获得的电视节目进行分类或搜索。该EPG比传统的印刷指南更有效地使观众确定想要的节目。由于许多观众对于某种类型的节目有特殊的偏好或者有偏见，因而可以将观众的偏好应用于该EPG以便获得一组可能是特定观众感兴趣的推荐节目。
这些TV节目推荐器帮助用户更好地管理大量选择。然而，用户不总是相信这些推荐器工作顺利或者它们最能体现用户的意图。因此，本发明提供一种增加推荐器信任度的新颖方法，这是通过使推荐器显得与用户“在同一方”以及通过就由用户和推荐器在过去观察到的相关节目或事件对用户进行提醒。
本发明涉及一种用于根据一个特定主题的过去观看历史来提供内容推荐的方法和系统。
根据本发明的一方面，提供推荐的方法包括以下步骤从多个频道接收多个节目；提取由用户观看的节目的关键帧和内容以便确定用户的偏好；基于所提取的节目的关键帧和内容产生用户简档；以及基于用户简档提供多个观看推荐。响应于用户的输入交互地执行特定节目的关键帧，并且用户简档的内容被更新以便反映所述用户偏好的改变。
根据本发明的另一方面，提供推荐的方法包括以下步骤基于视频图像内容和嵌入其中的该视频图像内容的电子节目指南(EPG)数据来产生至少一个指示用户对于特定节目的偏好的用户简档；将该用户简档与来自多个频道的输入节目作比较以便确定一个期望的节目；以及如果两者匹配的话，将该期望的节目推荐给观众。
根据本发明的另一方面，提供推荐的系统包括一个输入装置，用于提供用户的观看偏好；以及一个处理器，用于从多个频道接收多个节目、提取用户观看的节目的关键帧和内容以便确定用户偏好、基于所提取的节目的关键帧和内容产生用户简档、以及基于用户简档提供多个观看推荐。
根据本发明的另一方面，提供推荐的系统包括一个用于提供用户的观看偏好的输入装置以及一个处理器。该处理器用于基于视频图像内容和嵌入其中的该视频图像内容的电子节目指南(EPG)数据来产生至少一个指示用户对于特定节目的偏好的用户简档；将该用户简档与来自多个频道的输入节目作比较以便确定一个期望的节目；以及如果两者匹配的话，将该期望的节目推荐给观众。
图1示出根据本发明一个实施例的系统的简化框图。
图2示出根据本发明一个实施例的系统的各主要部件。
图3是解释根据本发明的用户简档产生过程的流程图。
在下面的说明中，处于说明而不是限制的目的，陈述诸如特定的结构、界面、技术等等具体的细节，以便提供对本发明的详尽的理解。然而，本领域的熟练技术人员将明白，本发明可以实施为脱离这些具体的细节之外其它的实施例。然而，为了简化的目的，省略了对公知的装置、电路和方法的详细说明，以便不以不必要的细节混淆本发明的说明。
图1示出可以应用本发明的优选实施例的传统电视系统2和接收机10。接收机10还可以包括其它的个人记录装置，诸如ReplayTV(加州Palo Alto的REPLAY NETWORKS公司的商标)和TiVo(加州Sunnyvale的TIVO公司的商标)，其给电视观众提供新的能力以获得和操纵来自他们的有线电视和卫星系统的电视节目流。
如图1中所示，接收机10被设置为从传统的电视(TV)广播以及其它种类的源(包括有线电视服务提供商、数字高清晰度电视(HDTV)和/或数字标准高清晰度电视(SDTV)信号、圆盘式卫星电视天线、传统的RF广播、因特网连接或者诸如VHS播放器或DVD播放器的其它存储装置)接收音频和视频节目。该音频和视频节目可以按照模拟、数字或数字压缩格式通过任何传输装置(包括卫星、电缆、电线、电视广播)来传送或者通过网络发送。应该注意，本系统还能够连接到其它可能的网络，诸如直接私人网络和无线网络。
根据本发明的教导，接收机10可以根据过去的观看历史、偏好、或用户简档来向观众推荐他们感兴趣的节目。为了实现此目的，接收机10检测来自多个不同频道的输入电视节目，并且基于所述节目的视频图像和/或任何可选的与EPG有关的信息来维持一个包含特定观众的观看历史的数据库，然后确定观众观看的或没有观看的TV节目的类型。注意，接收机10可以包括一个单独的频道，该单独的频道可被用于从不同的源接收电子节目指南(EPG)。此后，根据过去的观看历史产生关于观众喜欢观看的节目类型或频道的推荐。
现在，以下将详细描述本发明。
图2更详细地示出根据本发明实施例的示例接收机10。接收机10包括一个输入接口(也就是IR传感器)12、MPEG-2编码器14、硬盘驱动器16、MPEG-2解码器18、控制器20、特征提取器22、视频处理器24、存储器26和重放部分28。应注意，MPEG编码器/解码器可以遵照其它的MPEG标准，也就是MPEG-1、MPEG-2、MPEG-4和MPEG-7。该控制器20监督接收机10的全部操作，包括特征提取模式、记录模式、播放模式和其它典型接收装置中的普通模式。应注意，接收机10可以包含在电视系统2中。
在正常模式期间，控制器20使输入电视信号被解调并且被视频处理器24处理，并且将它们传送到电视机2用于以用于显示。接着，视频处理器24将输入TV信号转换为适合于在电视机2上显示的相应的基带电视信号。
在记录模式期间，控制器20使MPEG-2编码器14接收从卫星、电缆、电线和电视广播或网络传送来的输入电视信号，并且将所接收的TV信号转换为MPEG格式以用于存储在硬盘驱动器16上。此后，控制器20使硬盘驱动器16将所存储的电视信号流送到MPEG-2解码器，该MPEG-2解码器通过重放部分28将待传送的解码TV信号传送到电视机2以便用于显示。
在特征提取模式期间，特征提取器22处理并且产生代表给定用户的观看历史的数据以便确定观众观看最多的节目的类型，其接着产生用户的观看习惯以便在存储器26中建立一个用户简档。可选择地，当产生用户简档时，观众可以明确地指定他或她更喜欢的节目类型。
为了建立用户简档，将视频信息输入到特征提取器22，其中根据下列类型分析视频信息的内容(1)节目图像内容和(2)预先设置的分类。一个公知的电子节目指南(EPG)协议可以被用于规定预先设置的分类。EPG是一种被设计成帮助电视观众在TV环境内可用的广播素材中进行导航和选择的标准应用。EPG提供关于每个节目的信息以及包括诸如频道号、节目标题、开始时间、结束时间、经过的时间、剩余的时间、评级(如果可用的话)、主题、主旋律以及节目内容简要描述之类的节目特征。特征提取器22使用所述EPG特征把输入节目分类成预设类别中的一个，即体育、怀旧经典电影、动作电影等。
除EPG特征之外，根据本发明实施例，通过评估包括色彩、纹理、对象、对象运动以及场景等视觉数据特征来分析视频图像，以便了解和识别特定用户感兴趣的节目。应注意到，EPG特征不总是提供足够的数据以用于随后推荐准确的用户感兴趣的节目类型。
因此，特征提取器22一旦接收到输入视频信号就提取关键帧(缩略图像等等)。该输入可以与EPG信息一起被用作优选的用户类别。
应注意到，根据视频信息的内容检测关键帧在本领域是众所周知的，其可以通过多种途径执行。比如Borko Furht、Stephen W.Smoliar以及Hongjiang Zhang的“Video and image processing in multimediasystem(在多媒体系统中的视频和图像处理)”(Kluwer AcademiaPublishers，1995)，在本文中引用其内容以作参考。简要地说，包括多个摄影机镜头或者场景变化的视频序列经历用于提取关键帧的场景变化检测。一个检测关键帧的方法是基于直方图比较方法，其中，对连续帧中的对应像素或者区域进行比较来产生强度级直方图。由于直方图会从一个视频源到另一个视频源发生变化，所以把对应于一帧的每个直方图和下一帧的直方图进行比较。接着，选择一个阈值以便确定在所述各连续帧之间像素或者区域是否已经发生改变。超出阈值的关键帧被选作所述关键帧。对场景中的所有帧以及对每个场景变化重复这个处理过程。最终，对来自每个场景变化的关键帧进行对比并将其分成块，然后提取诸如平均值、标准偏差、熵以及主导色彩之类的特征。在一个替换实施例中，电视观众可以规定一个要经受特征提取处理的视频序列的开始以及结束片断，或者可以通过接收机10的输入接口12提供特定的摄影机镜头或关键帧。
如上所述由特征提取器22提取的视频特征在与EPG信息组合后被提供给存储器26，以便配置用户感兴趣的视频节目的类型。来自特征提取器22的所提取的视频关键帧的内容和关键帧被提供到存储器16的用户的简档，以便建立个人的观看偏好。对于特定节目的该观看偏好接着在随后的观看模式中用于向观众推荐。在这方面，可以采用诸如隐藏马尔可夫模型(HMM)、贝叶斯网络、基因算法和神经网络之类的学习范例以便建立一个用户简档。例如，由本申请的发明者于1999年12月17日提交的标题为“Method and Apparatus for RecommendingTelevision Programming using Decision Trees(用于使用决策树推荐电视节目的方法和设备)”的US专利申请NO.09/466,406，在此引用该文献的内容以作参考。
应注意到，也可以使用对于本领域的普通技术人员来说明显的其它学习模型及其组合。
图3示出根据本发明实施例的用户简档的产生步骤。接收机10在一段时间内观察用户的观看习惯(步骤100)，在此期间，每个输入视频节目被如上所述地分类(步骤120)。这里，用户的观看偏好包括最常观看的节目类型，并且该信息被用于建立存储器26中的用户简档。此后，用户简档被更新(步骤140)。因此，可以基于用户的观看模式来获得一个反映该用户喜欢或不喜欢各种节目的数据库，以使得接收机10以后可以基于过去的观看历史来向观众推荐其更喜欢的节目列表。
虽然已经示出和描述了本发明的优选实施例，但是应该理解，本领域的熟练技术人员可以在不脱离本发明的真实范围的情况下做出各种改变和修改，以及可以用等效元件替换本发明的元件。另外，在不脱离中心范围的情况下，可以做出各种修改以适应于特定的情况和本发明的教导。因此，本发明不意图限制于作为执行本发明的最佳模式而公开的特定实施例，相反，本发明包括落入所附权利要求书范围内的所有实施例。
权利要求
1.一种向用户提供推荐的方法，该方法包括以下步骤从多个频道接收多个节目；提取用户观看的所述多个节目的关键帧和内容，以便确定所述用户的偏好；基于所述多个节目的所述提取的关键帧和内容产生一个用户简档；以及，基于所述用户简档提供多个观看推荐。
2.如权利要求1所述的方法，还包括由所述用户选择至少一个观看推荐的步骤。
3.如权利要求1所述的方法，还包括显示至少一个观看推荐的步骤。
4.如权利要求1所述的方法，其中响应于所述用户输入交互地执行提取特定节目的关键帧的步骤。
5.如权利要求1所述的方法，还包括更新所述用户简档的内容以便反映所述用户的改变的偏好的步骤。
6.如权利要求1所述的方法，其中根据电子节目指南(EPG)数据来执行提取所述多个节目的内容的步骤。
7.一种用于提供推荐的方法，该方法包括以下步骤基于视频图像内容和嵌入其中的该视频图像内容的电子节目指南(EPG)数据来产生至少一个指示用户对于特定节目的偏好的用户简档；将所述用户简档与来自多个频道的输入节目作比较，以便确定一个期望的节目；以及，如果两者匹配的话，将所述期望的节目推荐给所述观众。
8.如权利要求7所述的方法，还包括选择至少一个期望的节目以用于在特定时间观看的步骤。
9.如权利要求8所述的方法，还包括在一个存储介质中存储所述选择的节目以用于随后重放的步骤。
10.如权利要求8所述的方法，其中响应于所述用户输入交互地执行所述选择所述期望的节目的步骤。
11.如权利要求7所述的方法，还包括显示所述期望的节目以用于观看的步骤。
12.如权利要求7所述的方法，还包括更新所述至少一个用户简档的内容以便反映用户的改变的偏好的步骤。
13.一种用于提供推荐的系统，包括一个输入装置，用于提供用户的观看偏好；以及一个处理器，用于用于从多个频道接收多个节目；提取用户观看的所述多个节目的关键帧和内容，以便确定所述用户的偏好；基于所述多个节目的所述提取的关键帧和内容产生一个用户简档；以及基于所述用户简档提供多个观看推荐。
14.如权利要求13所述的系统，还包括一个用于存储所述用户的偏好的存储器。
15.如权利要求13所述的系统，其中该处理器还用来更新所述用户简档的内容以便反映所述用户的改变的偏好。
16.一种用于提供推荐的系统，包括一个输入装置，用于提供用户的观看偏好；以及一个处理器，用于基于视频图像内容和嵌入其中的该视频图像内容的电子节目指南(EPG)数据来产生至少一个指示用户对于特定节目的偏好的用户简档；将所述用户简档与来自多个频道的输入节目作比较，以便确定一个期望的节目；以及，如果两者匹配的话，将所述期望的节目推荐给所述观众。
17.如权利要求16所述的系统，还包括一个用于存储所述至少一个用户简档的存储器。
18.如权利要求16所述的系统，还包括一个用于显示所述期望的节目以供观看的显示器。
19.如权利要求16所述的系统，其中该处理器还用来更新所述用户简档的内容，以便反映所述用户的改变的偏好。
全文摘要
本发明涉及一种用于根据基于用户的过去观看历史的用户偏好来提供推荐的系统和方法。该系统跟踪由用户观看的节目图像内容，以便产生用户偏好。然后，基于存储在用户简档中的该观众的观看习惯向用户提供多个推荐，以使得用户可以选择性地观看他或她感兴趣的节目。
文档编号H04N5/445GK1774916SQ200480009913
公开日2006年5月17日 申请日期2004年4月2日 优先权日2003年4月14日
发明者S·古塔 申请人:皇家飞利浦电子股份有限公司