使用姿势以捕捉多媒体剪辑的制作方法
【专利摘要】响应于姿势的命令，可以通过提取来自电视传送的至少一个解码的帧来识别当前正在收看的视频。帧可以传送到单独的移动装置用于请求图像搜索以及用于接收搜索结果。搜索结果可用于获得更多信息。还可联系用户的社交连网朋友以获得关于剪辑的更多信息。
【专利说明】使用姿势以捕捉多媒体剪辑
【技术领域】
[0001]本发明一般涉及视频，包括广播和流播电视、电影和交互式游戏。
【背景技术】
[0002]电视可以通过使用模拟或数字信号的射频传送来广播电视节目而分发。此外，电视节目可以在电缆和卫星系统上分发。最后，电视可以使用流播在因特网上分发。如本文所使用的，术语“电视传送”包括电视分发的这些模态中的所有。如本文所使用的，“电视”意味着节目内容的分发(具有或不具有商业广告)且包括传统的电视节目以及视频游戏的分发。
[0003]已知系统用于确定用户正在看什么节目。例如，IntoNow服务在蜂窝电话上记录来自正在收看的电视节目的音频信号、分析那些信号并使用那些信息来确定观众正观看的节目。音频分析的一个问题是它遭受来自环境噪声的衰变。当然，观看环境的环境噪声是普遍的，并且因此，基于音频的系统遭受相当大的限制。
【专利附图】
【附图说明】
[0004]图1是本发明的一个实施例的高级架构描绘；
图2是根据本发明的一个实施例的机顶盒的框图；
图3是根据本发明的一个实施例的多媒体抓取器的流程图；
图4是根据本发明的一个实施例的移动抓取器的流程图；
图5是根据本发明的一个实施例的用于执行图像搜索的基于云的系统的流程图；以及 图6是根据一个实施例的用于维护表的序列的流程图。
【具体实施方式】
[0005]根据一些实施例，多媒体剪辑(例如视频帧或剪辑、元数据或音频的有限持续时间的电子表示)可以从当前正由一个或多个观众收看的活动地调谐的电视传送中抓取。可以识别手势以选择当前播放的多媒体剪辑用于搜索。在一个实施例中，此多媒体剪辑然后可以传送给移动装置。移动装置然后可传送信息给服务器用于搜索。例如，图像搜索可最终用于确定视频中的演员是谁。一旦识别了内容，则有可能给观众提供各种其它服务。这些服务可包括附加内容的供应，包括附加的聚焦的广告内容、社交连网服务和节目观看推荐。
[0006]参考图1，显示器屏幕20 (例如电视屏幕或监视器)可以耦合到基于处理器的系统14，基于处理器的系统14又耦合到视频源(例如包括数字电影或视频游戏的电视传送12)。此来源可以通过因特网或通过空中电波分发，包括模拟或数字信号的射频广播、电缆分发或卫星分发或可起源于存储装置(例如DVD播放器)。基于处理器的系统14可以是和视频播放器(例如，电视接收器)分离的独立的装置或可以集成于视频播放器内。例如，在一些实施例中，它可包括常规机顶盒的部件并且可负责解码所接收的电视传送。
[0007]在一个实施例中，基于处理器的系统14包括多媒体抓取器16，其抓取来自当前由接收器(在一个实施例中，其可以是装置14的部分)调谐到的解码的电视传送的元数据或声音、视频帧或剪辑(即一系列帧)的电子表示。基于处理器的系统14还可包括有线或无线接口 18，其允许已经抓取的多媒体传送到外部控制装置24。此传送可以是通过在电视接收器和机顶盒中广泛可用的有线连接(例如通用串行总线(USB)连接)或通过任何可用的无线传送介质，包括使用射频信号的那些和使用光信号的那些。元数据可以是关于内容自身(例如，评价信息、情节、导演名字、发行年份)的元数据。
[0008]在一个实施例中，视频剪辑的非解码的或未加工的电子表示可以传输到控制装置24。视频剪辑可以在本地在控制装置24解码或远程地(例如在服务器30)解码。
[0009]也耦合到系统14和/或显示器20的可以是视频照相机17，用于捕捉观众的图像用于检测用户姿势命令，例如手势。姿势命令是经由图像分析识别为计算机输入的任何移动。
[0010]控制装置24可以是移动装置，包括蜂窝电话、膝上计算机、平板计算机、移动因特网装置或用于电视接收器的远程控制(举几个示例)。装置24还可以是非移动的，例如台式计算机或娱乐系统。在一个实施例中，装置24和系统14可以是无线家庭网络的一部分。一般而言，装置24具有它自己单独的显示器以便它可以不依赖电视显示器屏来显示信息。在装置24不包括它自己的显示器的实施例中，显示可以在电视显示器上覆盖，例如通过画中画显示。
[0011]在一个实施例中，控制装置24可与云28通信。例如，在装置24是蜂窝电话的情况中，它可通过蜂窝电话信号26与云通信，最终在因特网上传递。在其它情况中，装置24可通过到因特网的硬接线连接(例如网络连接)进行通信。如又一示例，装置24可在电视传输介质上通信。例如，在电缆系统的情况下，装置24可通过电缆系统提供信号到电缆头端或服务器11。当然，在一些实施例中，这可消耗可用传送带宽中的一些。在一些实施例中，装置24可以不是移动装置并且甚至可以是基于处理器的系统14的一部分。
[0012]参考图2，描绘了基于处理器的系统14的一个实施例，但是也可以使用许多其它架构。图2中描述的架构对应于CE4100平台(从Intel公司可得到)。它包括耦合到系统互连25的中央处理单元24。系统互连耦合到NAND控制器26、多格式硬件解码器28、显示处理器30、图形处理器32以及视频显示控制器34。在一个实施例中，解码器28以及处理器30和32可以耦合到控制器22。
[0013]系统互连可以耦合到传输处理器36、安全处理器38和双音频数字信号处理器(DSP)40。数字信号处理器40可以负责解码入局视频传送。例如，通用输入/输出(I/O)模块42可以耦合到无线适配器(例如，WiFi适配器18a)。在一些实施例中，这将允许它发送信号到无线控制装置24。也耦合到系统互连25的是音频和视频输入/输出装置44。在一些实施例中，这可提供解码视频输出并可用于输出视频帧或剪辑。
[0014]在一些实施例中，一旦满足特定准则，基于处理器的系统14可编程来输出多媒体剪辑。一个这样的准则是用户手势的检测。用户手势可以由照相机17记录(图1)并使用视频分析来分析以识别用户输入，例如开关显示器的命令(例如，平的手)、用户喜欢(例如，大拇指向上)或不喜欢(例如，大拇指向下)。视频分析可以由电视(包括系统14、控制装置24(图1))在服务器30 (图1)、头端11 (图1)或任何其组合，例如在电视和控制装置24 (图O中实施。用户的喜欢或不喜欢的列表也可以储存在那些装置中的任一个中。[0015]参考图3，序列可以在基于处理器的系统14中实现。再者，序列可以在软件、硬件和/或固件中实现。在软件或固件的实施例中，它可以由非暂时性计算机可读介质来实现。例如，实现序列的指令可以储存在系统14上的存储装置70中(图1)。
[0016]最初，在菱形框72的检查确定是否已经激活抓取器特征。在一个实施例中，当系统14 (或某个其它装置)检测到用户手势时，激活抓取器装置16 (图1)以发送多媒体剪辑到控制装置24 (图1)。手势可以由视频照相机17记录。电子视频分析可用于检测手势，指示应该捕捉并发送多媒体剪辑到控制装置24。一旦传输，传输的视频剪辑可出现在控制装置24的显示器上。然后，在框78抓取多媒体剪辑并传送到控制装置24。
[0017]图4示出控制装置24的实施例的序列(图1)。序列可以在软件、硬件和/或固件中实现。在基于软件或固件的实施例中，序列可以由储存在一个或多个非暂时性计算机可读介质(例如光、磁性或半导体存储装置)中的计算机可执行指令来实现。例如，软件或固件序列可以储存在控制装置24上的存储装置50中(图1)。
[0018]尽管在其中控制装置24是移动装置的图1中描绘实施例，也预期非移动实施例。例如，控制装置24可以集成于系统14内。
[0019]当控制装置24从系统14接收多媒体剪辑时，如在菱形框56中所检测的，在一些实施例中，控制装置24可发送注释的多媒体剪辑到云28用于分析(框58)。然后，装置24可显示用户接口以帮助用户注释装置24上现在显示的捕捉的剪辑(框57)。
[0020]在一些实施例中，用户可添加注释以聚焦剪辑的分析，如在框57中所指示的。注释还可包括关于剪辑的问题用于在社交连网工具上分布作为关于剪辑的注释。例如，在控制装置24上，文本框可以自动地在传输的视频剪辑上显示。用户然后可以插入可用作因特网或数据库搜索的关键词的文本。而且，用户可选择特定的描绘的对象用于提供搜索聚焦。例如，如果两个人出现在剪辑中，可以指示他们中的一个。然后，在文本框中，用户可输入“这是哪个演员？ ”。然后搜索聚焦在识别所指示的人。
[0021]可以使用鼠标或触摸屏来选择剪辑中的人。而且，指着屏幕的用户的手的视频分析可用于识别用户的聚焦。类似地，可以按相同的方式使用眼睛注视检测。
[0022]当然，在其它实施例中，多媒体剪辑可以在网络上发送到任何服务器用于图像搜索和/或分析。作为另一示例，多媒体剪辑还可发送到头端11用于图像、文本或音频分析。
[0023]如果捕捉了音频的电子表示，则所捕捉的音频可以转换为文本，例如，在控制装置24、系统14或云28中。然后，可以搜索文本以识别电视节目。
[0024]类似地，可以分析元数据以识别在文本搜索中使用的信息来识别节目。在一些实施例中，音频、元数据、视频帧或剪辑中的多于一个可用作因特网或数据库搜索的关键字输入。
[0025]还可以使用社交连网工具来发布传输的视频剪辑给朋友。那些朋友还可提供关于视频剪辑的输入，例如，回答问题，伴随剪辑作为注释，如“这个演员是谁？ ”。
[0026]分析引擎然后可执行多媒体搜索以识别正在观看的电视传送或获得关于剪辑的其它信息，包括场景或男演员/女演员识别或节目识别(作为示例)。此搜索可以是简单的因特网或数据库搜索或者它可以是更聚焦的搜索。
[0027]例如，框58中的传送可包含当前时间或视频捕捉以及控制装置24的位置。此信息可用于聚焦使用关于什么节目在特定时间和特定位置正在广播或传送的信息的搜索。例如，可以在网站上提供数据库，数据库将在不同位置不同时间可用的电视节目相关并且此数据库可以被图像搜索以找到匹配所捕捉的帧的图像来识别节目。
[0028]可以通过使用视觉的或图像搜索工具来进行节目的识别。图像帧或剪辑匹配到图像搜索数据库中现有的帧或剪辑。在一些情况下，可以在搜索中识别一系列匹配，并且在这样的情况中，那些匹配可以发送回控制装置24。当在菱形框60的检查确定搜索结果已经由控制装置24接收时，可以为用户显示搜索结果，如在框62中所指示的。控制装置24然后接收符合用户想要的信息的搜索结果之一的用户选择，例如正确的正在收看的节目。然后，一旦已经接收了用户选择(如在菱形框64中所指示的)，所选择的搜索结果然后可转发到云(如在框66中所指示的)。这允许电视节目识别或其它查询用于为观众或第三方提供其它服务。
[0029]参考图5，云28的操作(图1)或其它搜索实体由所描绘的序列指示。序列可以在软件、固件和/或硬件中实现。在基于软件和固件的实施例中，其可以由非暂时性计算机执行的指令实现。例如，计算机执行的指令可以储存于图1中示出的与服务器30关联的存储装置80中。
[0030]尽管图示了使用云的实施例，当然，在其它实施例中，相同的序列可以由在任何合适的网络上耦合的任何服务器、由控制装置24自己、由基于处理器的装置14或由头端11实现。
[0031]最初，在图5的菱形框82的检查确定是否已经接收多媒体剪辑。如果是，在多媒体是视频帧或剪辑的情况中，执行视觉的搜索，如在框84中所指示的。在音频剪辑的情况下，音频可以转换成文本并且被搜索。如果多媒体段是元数据，则元数据可以解析用于可搜索的内容。然后，例如在框86中，搜索结果传送回控制装置24。控制装置24可接收关于搜索结果中的哪个是最有关的用户输入或选择。系统等待来自用户的选择，并且当接收选择时(如在菱形框88中确定的)，可以基于正在收看的电视节目来执行任务(框90)。
[0032]例如，任务可以是提供信息到预先选择的朋友的组用于社交连网目的。例如，可自动地发送指示在当前时间用户正在收看哪个节目的消息给用户在Facebook上的朋友。例如，使用控制装置24，那些朋友然后可在Facebook上与观众互动来谈论电视节目。
[0033]作为其它示例，任务可以是分析关于观众的人口统计信息并且向头端或广告商提供关于在不同时间由不同用户收看的节目的信息。另外其它备选包括提供聚焦的内容给收看特定节目的观众。例如，可以给观众提供关于接下来出现的类似节目的信息。可以给观众提供广告信息，所述广告信息聚焦在观众当前正收看的。例如，如果进行中的电视节目突出特定汽车，汽车制造商可提供附加的广告来为观众提供关于当前正在节目中示出的那个车辆的更多信息。在一些情况下，在电视屏幕上，此信息可以显示为覆盖，但是例如可以有利地显示在与控制装置24关联的单独的显示器上。在广播是交互式游戏的情况中，关于游戏进展的信息可以传送到用户的社交连网组。类似地，可以使用广告并且可以用相同的方式收集人口统计。
[0034]在一些实施例中，多个用户可以正收看相同的电视节目。在一些家庭中，多个电视可以是可用的。因此，许多不同用户可希望同时使用本文描述的服务。为此，基于处理器的系统14可维护识别控制装置24的标识符、电视标识符和节目信息的表。在这样的实施例中，这可以允许用户从房间移动到房间并且仍然继续接收本文描述的服务，其中基于处理器的系统14简单地适应于不同的电视，其中的所有电视在基于处理器的14的下游接收它们的信号。
[0035]在一些实施例中，表可以储存在基于处理器的系统14中或可以上载到头端11或可能甚至可以通过控制装置24上载到云28。
[0036]因此，参考图6，在一些实施例中，序列92可用于维护将控制装置24 (图1)、电视显示屏20 (图1)和正选择的频道相关的表。然后多个不同用户可通过相同的电视或者至少两个或更多电视来使用系统，所述至少两个或更多电视都通过相同的基于处理器的系统14连接在例如家庭娱乐网络中。序列可实现为硬件、软件和/或固件。在软件和固件实施例中，可以使用储存在至少一个非暂时性计算机可读介质(例如，磁性、半导体或光存储装置)的计算机可读指令来实现序列。在一个实施例中，可以使用存储装置50 (图1)。
[0037]最初，系统为提供命令到系统14的每个控制装置接收并储存标识符，如在框94中所指示的。然后，如在框96中所指示的，可以识别并记录通过系统14耦合的各种电视。最后，设立将控制装置、频道和电视接收器相关的表(框100)。这允许以无缝的方式使用连接到相同控制装置的多个电视使得观众可从房间移动到房间并且继续接收本文描述的服务。此外，多个观众可观看相同的电视且每个可独立地接收本文描述的服务。
[0038]遍及本说明书对“一个实施例”或“实施例”的引用意指结合实施例描述的特定特征、结构或特性被包括在本发明内包括的至少一个实现中。因此，短语“一个实施例”或“在实施例中”的出现不一定指相同的实施例。此外，特定特征、结构或特性可以以和说明的特定实施例不同的其它合适的形式来建立，并且所有这样的形式可以包括在本申请的权利要求内。
[0039]尽管已经关于有限数量的实施例来描述本发明，本领域技术人员将从其中意识到许多修改和变化。意图是所附的权利要求覆盖落入本发明的真正精神和范围内的所有这样的修改和变化。
【权利要求】
1.一种方法，包括: 检测用户姿势； 响应于检测所述姿势，自动捕捉多媒体剪辑；以及 使用所述剪辑以获得关于所述剪辑的更多信息。
2.如权利要求1所述的方法，包括捕捉表示视频帧或剪辑、音频或元数据的电子剪辑。
3.如权利要求1所述的方法，包括自动地传输所述剪辑给移动装置。
4.如权利要求3所述的方法，包括提供与所述剪辑有关的搜索结果给所述移动装置。
5.如权利要求3所述的方法，包括发送所述剪辑给远程服务器以执行所述搜索。
6.如权利要求1所述的方法，包括跟踪多个移动装置、接收来自所述装置中的每个装置的请求以及提供响应给每个装置。
7.如权利要求6所述的方法，包括维护将移动装置和电视以及来自移动装置的请求相关的表。
8.如权利要求1所述的方法，包括使用社交连网工具自动地分发所述剪辑。
9.如权利要求1所述的方法，包括自动地捕捉解码的电视剪辑。
10.如权利要求 9所述的方法，包括自动地传输所述剪辑给移动装置、在所述移动装置上显示所述剪辑以及使用户能够在所述移动装置上注释所述剪辑。
11.至少一个非暂时性计算机可读介质，其储存指令以使计算机能够: 检测用户姿势的命令； 响应于所述命令的检测，捕捉来自电视节目的电子解码信号；以及 使用所述信号来发起搜索以便于所述电视节目的识别。
12.如权利要求11所述的介质，还储存捕捉以视频帧或剪辑、音频或元数据的形式的电子解码信号的指令。
13.如权利要求11所述的介质，还储存传输所述信号给移动装置的指令。
14.如权利要求13所述的介质，还储存提供搜索结果给所述移动装置的指令。
15.如权利要求13所述的介质，还储存发送所述信号给远程服务器以执行所述搜索的指令。
16.如权利要求11所述的介质，还储存使用社交连网工具来分发所述识别的指令。
17.如权利要求11所述的介质，还储存在移动装置上显示所述剪辑的指令。
18.如权利要求17所述的介质，还储存使用户能够注释所述剪辑的指令。
19.如权利要求18所述的介质，还储存在所述移动装置上自动地覆盖文本输入框的指令，所述文本输入框覆盖在所述剪辑的显示上。
20.如权利要求19所述的介质，还储存使用户能够选择所述剪辑中描绘的项目的指令。
21.如权利要求11所述的介质，还储存捕捉将所述显示从一个装置改变到另一个装置的姿势的命令的指令。
22.如权利要求11所述的介质，还储存将姿势的命令与当前显示的内容关联的指令。
23.如权利要求22所述的介质，还储存识别指示所述用户是否喜欢当前显示的内容的姿势的命令的指令。
24.一种设备，包括: 处理器，用于检测手势、响应于手势的检测而自动地捕捉来自视频的电子信号，以及传送所述信号用于在移动装置上显示；以及存储器，耦合到所述处理器。
25.如权利要求24所述的设备，其中所述设备是电视接收器。
26.如权利要求24所述的设备，其中所述设备用于给电视接收系统发信号以捕捉以视频帧或剪辑、音频或元数据形式的电子解码信号。
27.如权利要求24所述的设备，其中所述设备用于接收来自电视系统的所述信号并传送所述信号给远程装置以在数据库中或在因特网上执行关键词搜索。
28.如权利要求27所述的设备，所述设备在社交连网工具上自动地分发所述剪辑。
29.如权利要求28所述的设备，其中所述设备是机顶盒。
30.如权利 要求24所述的设备，其中所述设备包括电视和/或移动装置。
【文档编号】H04N21/258GK103828379SQ201180073808
【公开日】2014年5月28日 申请日期:2011年9月12日 优先权日:2011年9月12日
【发明者】W.李, D.丁, X.童, Y.杜, P.王 申请人:英特尔公司