专利名称：用于观看者选择的视频对象的增强信息的制作方法
技术领域：
本申请一般地涉及提供用于在用户电子(CE)设备的显示器上显示的观看者选择的视频对象的增强信息，所述用户电子设备例如为TV、智能电话等。
背景技术：
每天，数百万的人观看电影、电视节目、因特网视频、其它视频等。通常，视频的观看者看到特定的人、产品、对象等，并且想要对于该人/对象了解得更多或者购买与人/对象有关的某物，即书籍。在许多情况下观看者使用因特网搜索与人/对象相关的更多信息或者在线商店中的广品。允许用户通过仅仅用手指或指向工具触摸屏幕来选择显示屏区域的触敏显示器在市场上是容易得到的。面部/图像识别软件也是容易得到的并且可通过检查所提取的和 关联于特定对象的像素来识别对象。然而，不存在触敏显示器和识别软件直接到在线商店或网站的连接。
发明内容
因此，CE设备包括外壳、外壳上的显示器、网络接口和控制显示器以及通过网络接口与因特网通信的外壳中的处理器。处理器执行的逻辑包括在显示器上呈现视频和接收用户对显示器的区域的选择。此外，处理器使用图像识别并且确定显示器的区域中的对象，该对象是视频的一部分。然后，处理器将对象与跟该对象有关的基本信息相关并且在显示器上呈现该基本信息。连同基本信息一起，处理器在显示器上呈现第一用户界面(Π)，人可用该第一 UI来选择与对象相关的另外的信息。如果用户选择的显示器的区域中的对象是人，那么处理器使用面部识别引擎来确定该人的身份。与所选择的人有关的基本信息包括人的姓名。作为候选，所选择的对象可以是产品，在该情况下处理器使用图像识别引擎来确定产品是什么。与产品相关的基本信息包括产品的名称和制造商。CE设备的显示器可以是触敏显示器并且用户对显示器的区域的选择可以是显示器上的触觉接触。在其它实现方式中，显示器可以不是触敏显示器并且用户对显示器区域的选择是屏幕光标选择。在任何一种实现方式中，CE设备的处理器响应于用户对显示器的区域的选择。处理器的响应是在显示器上呈现第二Π，该第二Π使得人能够选择在使用图像识别来确定显示器的区域中的对象之前识别对象。第一 Π使得能够选择与对象相关的一般搜索引擎和选择在预定经销商网站上与对象相关的搜索，如果选择了在预定经销商网站上与对象相关的搜索，那么仅返回经销商网站上可得到的与对象相关的结果。在另一个方面中，方法包括在触敏显示器上呈现视频流并且从显示器接收表示显示位置的触摸信号。响应于触摸信号，确定在显示位置处的视频流中对象的身份。转而，响应于确定身份，呈现与对象有关的信息。在另一个方面中，CE设备具有触敏显示器和控制显示器的处理器。处理器执行的逻辑包括在显示器上呈现视频，从显示器接收用户对显示器的区域的选择和确定显示器的区域中的对象。该对象是视频的一部分并且该逻辑包括在显示器上呈现与对象有关的信
肩、O参考附图可最好地理解本发明关于它的结构和操作的细节，在附图中，相同的标号指代相同的部分，并且其中
图I是根据本原理的示例系统的框图； 图2是根据本原理的示例逻辑的流程图；图3、图4和图5是示出来自图2的信息选择步骤的一系列示例屏幕快照；并且图6和图7是示出来自图5的某些选择的结果的示例屏幕快照。
具体实施例方式首先参考图1，用户电子(CE)设备12，例如TV、游戏机、视盘播放机、照相机、数字时钟收音机、移动电话、个人数字助理、膝上型计算机等，包括承载数字处理器16的便携式轻量塑料外壳14。处理器16可控制可视显示器18和可听显示器20 (例如一个或多个扬声器)。可视显示器可以是触敏显示器。为了采用本原理，处理器16可访问一种或多种计算机可读存储介质，例如但不限于基于RAM的存储器22 (例如实现动态随机访问存储器(DRAM)的芯片)和/或闪存24和/或基于磁盘的存储器。实现CE设备12可执行的当前逻辑的软件代码可存储在一种存储器中以便采用本原理。如果需要，除了触敏显示器以外，处理器16还可从各种输入设备接收用户输入信号，所述输入设备例如是键区26、遥控设备27、点击设备(例如鼠标、键区等)。在某些实现方式中，特别是当CE设备由TV实现时，可提供TV调谐器28，以便从源(例如机顶盒、卫星接收器、电缆头端、陆地TV信号天线等)接收TV信号。来自调谐器28的信号被发送到处理器16以用于在显示器18和扬声器20上呈现。如图I中所示，网络接口 30 (例如有线或无线调制解调器或无线电话收发器)与处理器16通信以便提供到一个或多个内容服务器34的连接。服务器34具有相应的处理器34a和相应的计算机可读存储媒体34b。图2以框36开始的流程图形式示出了示例逻辑，框36表示在处理器16的控制下在可视显示屏18上的视频播放。在框38，当播放视频时，在触敏显示器的情况下，处理器16经由用户用手指或其它指向工具触摸显示器来接收用户对显示屏18的区域的选择。在另一种实现方式中，处理器16可经由各种输入设备，包括键区26、遥控设备27、点选设备(例如鼠标、键区等)，来接收用户区域选择。此外，用户可选择通过经由输入设备30输入关键字来识别所选择的对象。一旦处理器16接收了用户的触摸区域，在框40，它将使用面部/图像识别引擎来确定触摸区域中的主要对象。处理器16将所触摸区域与视频中的相应区域相关联，从该视频区域提取像素，并且在那些所提取的像素上执行面部/图像识别。使用图像识别，处理器16可通过首先辨别对象周围的边界(如突然的像素颜色或亮度变化所表示)来确定对象是什么。一旦确定了对象的边界，那么在框42，处理器16可使用面部/图像识别来处理边界内的像素以便识别对象，即演员、产品、动物、山脉等，并且将其与因特网可搜索的对象相关联。一旦处理器16识别了对象并且将其与因特网搜索中使用的关键字相关联，在框44，它可经由网络接口 30搜索与对象相关的基本信息，即名称/描述。在框46，处理器16可在视频显示器18上的窗口中呈现经由网络接口 30获得的与所识别对象相关的基本信
肩、O在框48，也可在处理器16的控制下呈现用户界面以便允许用户选择增强的搜索。在框50，处理器16可经由用户输入设备26 (例如遥控设备27)接收用户对增强搜索的选择以及输入到增强搜索内的信息。在框52，将基于在增强搜索中输入的用户输入信息获得经由网络接口 30的基于因特网的搜索的结果并且将其呈现在视频显示器18上。 现在参考图3，视频显示器18是触屏显示器并且在处理器16的控制下呈现对象54(其可通过用户用手56触摸显示器18来选择)。在其它实现方式中，用于选择对象54的工具可以是触屏友好的指向工具。作为候选，视频显示器18可以不是触敏显示器，SP非触屏TV，在该情况下可使用输入设备26 (例如无线或有线鼠标等)来选择对象54。在所示的示例实施例中，对象54是人并且选择工具是用户的手56。一旦处理器16接收了选择的区域，那么可由处理器16确定对象54的边界。图4示出了处理器16对于区域或对象54的选择的响应。处理器16在显示屏18上呈现的选择器元素58使得用户能够选择识别对象54或者是取消图3中描述的区域选择的动作。用户可输入关键字以在处理器16使用面部/图像识别软件之前识别对象54。进展到参考图5，可在处理器16的控制下以具有选择器元素62、64、66的用户界面窗口 60的形式在视频显示器18上呈现处理器16识别对象54的结果。在触敏屏幕的情况下，用户可用用户的手56选择选择器元素62、64、66中的一个。处理器16可接收用户的选择并且基于用户的选择继续提供另外的信息和搜索结果。图6示出了响应于用户对选择器元素62的选择在处理器16的控制下对用户界面窗口 68的呈现。处理器16可以选择器元素70a、70b的列表的形式来呈现结果，所述结果可以是包含与所识别对象54的标题相关的一般信息的网站。处理器16搜索结果，这里为网站，并且可经由网络接口 30呈现它们。作为候选，可由用户选择选择器元素64，在该情况下处理器16呈现仅与特定网站74相关的菜单72，该菜单允许用户选择以选择器元素76a、76b的形式呈现的特定元素，如图7中所示。在示例实施例中，选择器元素76a链接到以先前选择的对象54为特征的书籍，并且选择器元素76b链接到以对象54为特征的视频。以对象54为特征的书籍和视频可以是可通过在线商店进行购买的。尽管这里示出了特定的用于观看者选择的视频对象的增强信息并且对其进行了详细描述，但是应当理解，本发明所包含的主题仅由权利要求限定。本申请要求2011年3月I日提交的美国临时申请序号61/447，804的优先权。
权利要求
1. 一种用户电子CE设备,包括 处理器，该处理器支撑在外壳上，并且控制显示器以及通过网络接口与因特网通信； 所述处理器执行的操作包括 在所述显示器上呈现视频； 接收用户对所述显示器的区域的选择； 使用图像识别，确定所述显示器的区域中的对象，所述对象是所述视频的一部分； 将所述对象与有关该对象的基本彳目息相关； 在所述显示器上呈现所述基本信息；和 连同所述基本信息，在所述显示器上呈现第一用户界面UI，人可用该第一用户界面来选择与所述对象相关的另外的信息。
2.根据权利要求I所述的CE设备，其中所述对象是人，所述处理器使用面部识别引擎来确定所述人是谁，所述基本信息包括所述人的姓名。
3.根据权利要求I所述的CE设备，其中所述对象是产品，所述处理器使用图像识别引擎来确定所述产品是什么，所述基本信息包括所述产品的名称和制造商。
4.根据权利要求I所述的CE设备，其中响应于所述用户对所述显示器的区域的选择，在所述显示器上呈现第二 UI，该第二 Π使得人能够选择在使用图像识别来确定所述显示器的区域中的所述对象之前识别所述对象。
5.根据权利要求I所述的CE设备，其中所述第一UI使得能够选择与所述对象相关的一般搜索引擎和选择在预定经销商网站上与所述对象有关的搜索，如果选择了在预定经销商网站上与所述对象有关的搜索，那么仅返回所述经销商网站上可得到的与所述对象相关的结果。
6.一种用于呈现信息的方法，包括 在触敏显示器上呈现视频流； 从所述显示器接收表示显示位置的触摸信号； 响应于所述触摸信号，确定在所述显示位置处的所述视频流中对象的身份；和 响应于确定所述身份，呈现与所述对象有关的信息。
7.一种用于呈现信息的系统，包括 用于在触敏显示器上呈现视频的装置； 用于从所述显示器接收用户对所述显示器的区域的选择的装置； 用于确定所述显示器的区域中的对象，所述对象是所述视频的一部分；和 用于在所述显示器上呈现与所述对象相关的信息的装置。
8.根据权利要求7所述的系统，还包括 用于连同所述信息，在所述显示器上呈现第一用户界面Π的装置，人能用所述第一 Π来选择与所述对象相关的另外的信息。
9.根据权利要求7所述的系统，其中所述对象是人，所述处理器使用面部识别引擎来确定所述人是谁，所述信息包括所述人的姓名。
10.根据权利要求7所述的系统，其中所述对象是产品，所述处理器使用图像识别引擎来确定所述产品是什么，所述信息包括所述产品的名称和制造商。
11.根据权利要求7所述的系统，还包括用于响应于所述用户对所述显示器的区域的选择，在所述显示器上呈现第二 Π的装置，该第二 Π使得人能够选择在使用图像识别来确定所述显示器的区域中的所述对象之前识别所述对象。
12.根据权利要求8所述的系统，其中所述第一 UI使得能够选择与所述对象相关的一般搜索引擎和选择在预定经销商网站上与所述对象有关的搜索，如果选择了在预定经销商网站上与所述对象有关的搜索，那么仅返回在所述经销商网站上能得到的与所述对象相关的结果。
全文摘要
本申请涉及用于观看者选择的视频对象的增强信息。支持因特网的CE设备(例如TV)的用户可通过触敏屏幕或输入设备在CE设备的显示器上呈现的视频中选择对象。然后，CE设备的处理器可确定对象的边界，使用面部/图像识别软件来识别它，搜索与对象相关的信息/网站，并且在显示屏上将那些信息/网站呈现给观看者。
文档编号H04N21/47GK102722517SQ20121003616
公开日2012年10月10日 申请日期2012年2月15日 优先权日2011年3月1日
发明者俞旭东, 唐玛伊·阿格尼霍特利, 埃里克·萧, 塞思·希尔, 威廉·亚瑟·舒普, 杉山伸一, 董·恩古因, 迪鹏杜·萨哈, 金东郁, 阿拉文德·阿萨姆 申请人:索尼公司