专利名称：针对显示的电视内容的自动图像发现和推荐的制作方法
技术领域：
本发明涉及推荐系统，更具体地涉及基于当前观看的内容的隐藏字幕(closedcaption)发现和推荐图像。
背景技术：
电视是大众媒体。对于同一频道，所有的观众接收相同的节目序列。对于用户而言，存在很少的或者不存在选择权来选择与当前节目有关的不同信息。在选择一频道之后， 用户变得被动。用户交互被限制为改变频道、显示电子节目指南(EPG)，等等。对于某些节目，用户想要取得(retrieve)有关信息。例如，在观看旅行频道时，许多人想要看有关的图像。
发明内容
本发明公开了一种能够自动地发现有关图像并且推荐它们的系统。其使用在同一页上出现的或者由同一摄影师拍摄的图像来进行图像发现。该系统还能够使用语义相关性来过滤图像。还能够使用情感分析来进行图像评级和摄影师评级。根据一个实施例，提供了一种对显示的内容执行自动图像发现的方法。该方法包括以下步骤检测正在被显示的内容的主题，基于所检测的主题提取查询术语，基于查询术语发现图像，以及显示一个或多个发现的图像。根据另一实施例，提供了一种对显示的内容执行自动图像发现的系统。该系统包括主题检测模块、关键词提取模块、图像发现模块和控制器。主题检测模块被配置为检测正在被显示的内容的主题。关键词提取模块被配置为根据正在被显示的内容的主题提取查询术语。图像发现模块被配置为基于查询术语发现图像；以及控制器被配置为控制主题检测模块、关键词提取模块和图像发现模块。根据以下要连同附图阅读的示例性实施例的详细描述，本原理的这些和其它方面、特征和优点将变得明显。
根据以下示例性附图，可以更好地理解本原理，在附图中图I示出了用于将内容递送到家庭或者终端用户的系统的实施例的框图；图2表示呈现媒体服务器、在线社交网络，和消费媒体的消费设备的布置的系统的框图；图3示出了机顶盒/数字视频记录器的实施例的框图4示出了确定是否为视频资产改变了主题的流程图的方法图；图5示出了用于接收执行图4的功能的配置的框图；以及图6是利用视频广播显示返回的图像的实施例。
具体实施例方式本原理针对推荐系统，更具体地，针对基于当前观看的内容的隐藏字幕发现和推荐图像。因此，将理解，本领域技术人员将能够设计出尽管没有在此明确描述或者示出的、但是体现本发明并且被包括在其精神和范围内的各种布置。在此陈述的各种示例和条件性的语言旨在辅助读者理解本发明和(多个)发明人 贡献的构思以促进本领域的教导性目的，并且要被解译为不限于被这样具体陈述的示例和条件。此外，在此陈述本发明的原理、方面，以及实施例的所有叙述，以及其具体的示例，旨在包括其结构和功能的等效物。此外，这种等效物旨在包括当前已知的等效物以及在未来开发的等效物(即所开发的执行相同功能的任何元件而不论其结构如何)这两者。由此，例如，本领域的技术人员将理解的是在此呈现的框图表示体现本发明的说明性电路的概念性视图。类似的，将理解的是任何流程图表、流程图、状态转换图、伪代码等等表示各种处理，这些处理实质上可以以计算机可读介质表示并且因而通过计算机或处理器来执行，而无论是否明确地示出这样的计算机或处理器。可以通过使用专用的硬件以及能够与合适的软件相关联地运行软件的硬件来提供图中示出的各种元件的功能。当通过处理器来提供时，可以通过单一的专用处理器、通过单一的共享的处理器，或者通过多个单独的处理器(其一部分可以被共享)来提供该功能。另外，术语“处理器”或“控制器”的明确使用不应当被解译为排他性地指代能够运行软件的硬件，而是可以隐含地包括，但不限于，数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)，以及非易失性存储器。还可以包括传统的和/或定制的其它硬件。类似的，在图中所示的任何开关仅仅是概念上的。它们的功能可以通过程序逻辑的操作、通过专用的逻辑、通过程序控制和专用逻辑的交互，或者甚至通过手动来实现，具体的技术是可由实施者按照从上下文中更具体的理解来选择。在其权利要求中，被表达为用于执行指定功能的手段的任何元件旨在包含执行该功能的任何方式，例如包括，a)执行该功能的电路元件的组合或者b)任何形式的软件,因此包括，与运行该软件以执行该功能的合适的电路所组合的固件、微代码等等。由这样的权利要求所限定的本发明在于这样的事实，以权利要求所要求的方式将通过各种陈述的手段所提供的功能相组合并且集中在一起。由此认为能够提供这些功能的任何手段等效于在此所示的这些手段。说明书中对于本发明的“一个实施例”或者“一实施例”以及其变型的引用，意味着连同实施例描述的具体的特性、结构、特征，等等被包括在本发明的至少一个实施例中。由此，贯穿本说明书的各个位置中出现的“一个实施例中”或“一实施例中”短语以及任何其它变型的出现不一定都指代相同的实施例。
参照图1，示出了用于向家庭或终端用户递送内容的系统100的实施例的框图。该内容源自于内容源102，诸如电影工作室或者制作室。可以两种形式中的至少一种来提供所述内容。一种形式可以是内容的广播形式。广播内容被提供给广播附属台管理者104，其典型地是国家广播服务商，诸如美国广播公司(ABC)、国家广播公司(NBC)、哥伦比亚广播系统(CBS)等等。广播附属台管理者可以收集并且存储内容，并且可以调度内容在递送网络(诸如递送网络I (106))上的递送。递送网络I (106)可以包括从国家中心到一个或多个区域或者本地中心的卫星链路传输。递送网络I (106)还可以包括使用本地递送系统(诸如通过空中广播、卫星广播、有线广播或者经由IP从外部网络)进行的本地内容递送。将本地递送的内容提供给用户家庭中的用户机顶盒/数字视频记录器(DVR) 108，其中随后将该内容包括在可以由用户搜索的可用内容的主体中。内容的第二种形式被称为特殊内容。特殊内容可以包括被作为奖励观看(premiumviewing)、付费观看递送的内容，或者以其它方式提供给广播附属台管理者的其它内容。在许多情况下，特殊内容可以是用户请求的内容。特殊内容可以被递送到内容管理器110。内
容管理器110可以是服务提供商，诸如例如内容提供商、广播服务，或者递送网络服务附属
的因特网网站。内容管理器110还可以将因特网内容并入递送系统，或者明确地仅仅并入搜索，使得可以搜索还未被递送到用户机顶盒/数字视频记录器108的内容。内容管理器110可以通过单独的递送网络(递送网络2 (112))将内容递送到用户机顶盒/数字视频记录器108。递送网络2 (112)可以包括高速宽带因特网类型的通信系统。重要地要注意，还可以使用递送网络2 (112)的全部或者一部分来递送来自广播附属台管理者104的内容，以及使用递送网络I (116)的全部或者一部分来递送来自内容管理器110的内容。另外，用户还可以经由递送网络2 (112)从因特网直接获得内容，而无需使得内容被内容管理器110管理。另外，搜索的范围超出可用内容，达到可以在将来广播或者使得其可用的内容。机顶盒/数字视频记录器108可以从递送网络I和递送网络2中的一个或者这两者接收不同类型的内容。机顶盒/数字视频记录器108处理内容，并且基于用户偏好和命令提供内容的分离。机顶盒/数字视频记录器还可以包括存储设备，诸如硬盘驱动器或者光盘驱动器，用于记录和回放音频和视频内容。此外，以下将连同图3来描述机顶盒/数字视频记录器108的操作和与回放存储的内容相关的特征的进一步的细节。处理后的内容被提供给显示设备114。显示设备114可以是常规的2-D类型显示器或者可替代地可以是高级的3-D显示器。应理解，具有显示能力的其它设备，诸如无线电话、PDA、计算机、游戏平台、遥控器、多媒体播放器等等，可以采用本公开的教导并且被考虑为在本公开的范围内。递送网络2耦接到在线社交网络116，在线社交网络116表示其中提供社交联网功能的网站或者服务器。例如，操作机顶盒108的用户可以访问在线社交网络116来访问来自其它用户的电子消息，检查其它用户做出的关于内容选择的推荐，查看其它用户张贴的画面，参考通过“因特网内容”路径可用的其它网站。在线社交网络服务器116还可以与内容管理器110连接，其中可以在两个元素之间交换信息。根据这个连接可以在用于在线社交联网116的电子消息中参考经由内容管理器110选择用于在机顶盒108上进行观看的媒体。可以向正在观看机顶盒108上的媒体的消费用户的状态信息张贴该消息。也就是，使用机顶盒108的用户可以指示从内容管理器110发出命令，该命令向在由特定字段〈〈USERNAME 标识的特定用户的〈〈SERVICEID 中列出的在线社交联网服务器116指示可以位于消息中的诸如特定媒体资产的〈〈ASSETID ，〈〈ASSETTYPE 和〈〈LOCATION 之类的信息，所述特定字段〈〈USERNAME 用于标识用户。标识符可以是电子邮件地址、散列(hash)、字母数字序列，等等。内容管理器110将该信息发送给在〈〈SERVICE ID 中列出的所指示的社交联网服务器116，其中用于&USERNAME的电子消息具有与被张贴到用户的状态信息的媒体资产的〈〈ASSETID ， ASSETTYPE 和〈〈LOCATION 相称的信息。可以访问社交联网服务器116的其它用户可以读取消费用户的状态信息以便查看消费用户观看了什么媒体。以下描述了这种字段的信息的示例
SERVICE ID 该字段表示特定的社交联网服务或者可以使用的其它I __消息传输介质_
& FACEBOOKFacebook
& TWITTER_ TwitterI
& L1NKED1N_ Linked-InI
&FLIKCER_ Flicker Photo Sharing
&QZONE_Q-Zone~
&MYSPACEMySpace
&BEBQ_Bebo
&SMS_文本消息传输服务I
&USERNAME使用社交_联网服务的的用户名|表I
ASSETID ■该字段表示用于标识特定资产的媒体资产的“名称” I&UUID用于媒体资产的通用唯一标识符。这可以是唯一的
MD5、SHAK其它类髪的散列，或者其它类髮的标识
_#_—_
&NAME_媒体资产的文本名称~
&TIME访问媒体资产的时间。该信息可以是秒、'〗、时、日、
_一周的日、a期，或者有关信息的其它时间_
&ASSCTCQMPLETE资产消费的完成百分比|表 2术语媒体资产(如以下用于表3所描述的)可以是基于视频的媒体、基于音频的媒体、电视节目、电影、交互服务、视频游戏、基于HTML的网页、视频点播、音频/视频广播、无线电节目、广告、播客等等。
权利要求
1.一种用于对显示的内容执行自动图像发现的方法，该方法包括 检测显示的内容的主题； 基于所检测的主题提取查询术语； 基于查询术语发现图像；以及 显示发现的一个或多个图像。
2.根据权利要求I所述的方法，还包括 检测主题是否已经被改变；以及 更新查询术语。
3.根据权利要求I所述的方法，其中检测正被显示的内容的主题的步骤包括 处理被提供给正被显示的内容的隐藏字幕。
4.根据权利要求I所述的方法，其中基于检测的主题提取查询术语的步骤包括 基于带名称的实体和有意义的短语提取关键词。
5.根据权利要求4所述的方法，其中关键词提取包括以下的一项或多项 基于类别选择关键词； 基于语句结构选择关键词；以及 基于语义相关性选择关键词。
6.根据权利要求4所述的方法，其中关键词提取包括 咨询数据库来确定有意义的短语。
7.根据权利要求I所述的方法，其中基于检测的主题提取查询术语的步骤包括 解析候选短语的表面形式。
8.根据权利要求I所述的方法，还包括 根据与主题的相关性对所发现的图像进行评级。
9.根据权利要求I所述的方法，其中基于查询术语发现图像的步骤包括 搜索在线图像数据库。
10.根据权利要求I所述的方法，还包括 对有关图像进行分簇； 为每个簇选择代表性图像。
11.一种对显示的内容执行自动图像发现的系统，该系统包括 主题检测模块，被配置为检测显示的内容的主题； 关键词提取模块，被配置为根据检测的主题提取查询术语； 图像发现模块，被配置为基于查询术语发现图像；以及 控制器，被配置为控制主题检测模块、关键词提取模块和图像发现模块。
12.根据权利要求11所述的系统，还包括 显示接口，被配置为显示所发现的一个或多个图像。
13.根据权利要求11所述的系统，还包括 存储器，被配置为存储用于控制器的数据和指令；以及 通信接口，被配置为将控制器连接到因特网和用户。
14.一种包括具有计算机可读程序的计算机可用介质的计算机程序产品，其中当在计算机上运行所述计算机可读程序时，促使计算机执行以下方法步骤，包括对显示的内容执行自动图像发现，该方法包括检测正被显示 的内容的主题；基于所检测的主题提取查询术语；基于查询术语发现图像；以及显示发现的一个或多个图像。
全文摘要
提供了一种能够自动地发现相关图像并且推荐它们的方法和系统。其使用在同一页面上出现的或者由同一摄影师拍摄的图像来进行图像发现。该系统还能够使用语义相关性来过滤图像。还能够使用情感分析来进行图像评级和摄影师评级。
文档编号G06F17/30GK102884524SQ201180021841
公开日2013年1月16日 申请日期2011年4月29日 优先权日2010年4月30日
发明者李德凯, A.卡什亚普, J.W.金, A.K.普德希亚维蒂尔 申请人:汤姆森特许公司