使用多媒体搜索以识别产品的制作方法

使用多媒体搜索以识别产品的制作方法
【专利摘要】可以通过从电视传送中提取至少一个解码帧来识别当前正在收看的电视节目中的产品。可以将帧传送到单独的移动装置用于请求图像搜索以及用于接收搜索结果。搜索结果可用于识别产品。
【专利说明】使用多媒体搜索以识别产品
[0001]
【技术领域】
[0002]本发明一般涉及计算机，并且特别地，涉及计算机化的图像分析。
【背景技术】
[0003]电视可以通过使用模拟或数字信号的射频传送来广播电视节目而分发。此外，电视节目可以通过电缆和卫星系统分发。最后电视可以使用流播在因特网上分发。如本文所使用的，术语“电视传送”包括电视分发的这些模态中的全部。如本文所使用的，“电视”意味着节目内容的分发(具有或不具有商业广告)且包括常规的电视节目以及电子游戏的分发。
[0004]已知系统用于确定用户正在看什么节目。例如，IntoNow服务在蜂窝电话上记录来自正在收看的电视节目的音频信号、分析那些信号并使用那些信息以确定观众正观看的节目。音频分析的一个问题是它遭受来自环境噪声的衰落。当然，观看环境的环境噪声是普遍的，并且因此，基于音频的系统遭受相当大的限制。
【专利附图】

【附图说明】
[0005]图1是本发明的一个实施例的高层架构描绘；
图2是根据本发明的一个实施例的机顶盒的框图；
图3是根据本发明的一个实施例的移动抓取器的流程图；
图4是根据本发明的一个实施例的多媒体抓取器的流程图；
图5是根据本发明的一个实施例的购物应用的流程图；以及 图6是根据一个实施例的用于维护表的序列的流程图。
【具体实施方式】
[0006]依据一些实施例，多媒体段(例如视频帧或剪辑、元数据或音频的有限持续时间的电子表示)可以从当前正由一个或多个观众观看的活动地调谐的电视频道抓取。在一个实施例中，此多媒体段然后可以传送给移动装置。移动装置然后可以将信息传送到服务器用于搜索以识别电视节目中描绘的产品。例如，图像搜索可最终用于确定正描绘什么产品。一旦识别产品，则有可能给观众提供各种其它购物服务。这些服务可包括识别产品的其它卖主、价格比较以及零售商位置服务。
[0007]参考图1，电视屏幕20可以耦合到基于处理器的装置14，基于处理器的装置14又耦合到电视传送12。此传送可以在因特网上或在空中电波上分发，包括模拟或数字信号的射频广播、电缆分发或卫星分发。基于处理器的系统14可以是与电视接收器分离的独立装置或可以集成于电视接收器内。例如，它可 包括常规的机顶盒的部件，并且在一些实施例中可负责解码所接收的电视传送。[0008]在一个实施例中，基于处理器的系统14包括多媒体抓取器16,其从由接收器(在一个实施例中，其可以是装置14的一部分)当前调谐到的解码的电视传送中抓取视频帧或剪辑(即一系列帧)、元数据或声音的电子表示。基于处理器的系统14还可包括有线或无线接口 18，其允许已经抓取的多媒体传送到外部控制装置24。此传送22可以是在有线连接上，例如，通用串行总线(USB)连接、在电视接收器和机顶盒广泛可用或在任何可用的无线传送介质上，包括使用射频信号的那些和使用光信号的那些。
[0009]在其它实施例中，可以抓取未解码的内容且然后在控制装置24中或其它地方解码。
[0010]控制装置24可以是移动装置，包括蜂窝电话、膝上计算机、平板计算机、移动因特网装置或用于电视接收器的远程控制器(举一些示例)。装置24还可以是非移动的，例如，台式计算机或娱乐系统。在一个实施例中，装置24和系统14可以是无线家庭网络的一部分。一般而言，装置24具有它自己单独的显示器使得它可不依赖电视显示器屏幕来显示信息。在装置24不包括它自己的显示器的实施例中，显示可以在电视显示器上覆盖，例如通过画中画显示器。
[0011 ] 在一个实施例中，控制装置24可与云28通信。在装置24是蜂窝电话的情况中，例如，它可通过蜂窝电话信号26与云通信，最终在因特网上传递。在其它情况中，装置24可通过到因特网的硬接线连接通信，例如网络连接。如又一示例，装置24可在传输电视传送的相同传输介质上通信。例如，在电缆系统的情况下，装置24可通过电缆系统提供信号到电缆头端或服务器11。当然，在一些实施例中，这可消耗可用的传送带宽中的一些。因此，在一些实施例中，装置24可以不是移动装置且甚至可以是基于处理器的系统14的一部分。
[0012]参考图2，描绘了基于处理器的系统14的一个实施例，但是许多其它架构也可以使用。图2中描绘的架构对应于CE4100平台(从Intel公司可得到)。它包括耦合到系统互连25的中央处理单元24。系统互连耦合到NAND控制器26、多格式硬件解码器28、显示处理器30、图形处理器32以及视频显示控制器34。在一个实施例中，解码器28以及处理器30和32可以耦合到控制器22。
[0013]系统互连可以耦合到传输处理器36、安全处理器38和双音频数字信号处理器(DSP)40。数字信号处理器40可以负责解码入局视频传送。通用输入/输出(I/O)模块42可以，例如耦合到无线适配器(例如，WiFi适配器18a)。在一些实施例中，此适配器使能发送信号到无线控制装置24。也耦合到系统互连25的是音频和视频输入/输出装置44。在一些实施例中，此装置44可提供解码的视频输出并可用于输出音频或视频帧或者音频或视频剪辑。
[0014]在一些实施例中，一旦满足特定准则，基于处理器的系统14可以被编程以输出多媒体段。一个这样的准则是用户选择，例如，通过输入/输出装置(例如，键盘或触摸屏)提供输入。而且，视频照相机可记录用户姿势。可以分析那些姿势以识别捕捉多媒体段的命令。在这样的情况中，视频多媒体信号依据命令来输出。而且，来自观众的可听到的命令的检测(例如，使用语音识别)可用于触发多媒体段捕捉。另一选项是基于处理器的系统14在入局视频传送中检测各种活动以触发多媒体抓取。活动或事件的示例包括商业广告的开始的检测。
[0015]图3示出装置24的实施例的序列。序列可以在软件、硬件和/或固件中实现。在基于软件或固件的实施例中，序列可以由储存在非暂时性计算机可读介质(例如，光、磁性或半导体存储装置)中的计算机可执行指令来实现。例如，软件或固件序列可以储存在控制装置24的存储装置50上。
[0016]尽管描绘了其中控制装置24是移动装置的实施例，也预期非移动实施例。例如，控制装置24可以集成于系统14内。
[0017]最初，在菱形框52的检查确定是否已经激活抓取器16，如在菱形框52中所指示的。在一些实施例中，抓取器16不总是活动的使得不浪费装置24的计算能力。例如，用户可在用户的蜂窝电话上激活应用以发起抓取活动，并且在这样的情况中，在菱形框52检测抓取器激活。
[0018]然后，在框54，可以从控制装置24发送信号到基于处理器的系统14以发起多媒体段16的电子表示的的多媒体抓取。当控制装置24接收多媒体段时，如在菱形框56检测的，在一些实施例中，控制装置24可发送多媒体段到云28用于分析以识别正示出或描述的产品(框58)。当然，在其它实施例中，它可在网络上发送多媒体段到任何服务器。作为另一示例，它还可为图像、文本或音频分析发送多媒体段到头端11。
[0019]如果捕捉了音频的电子表示，则所捕捉的音频表示可以转换为文本，例如，在控制装直24、系统14或z? 28中。然后，可搜索文本以识别广品。
[0020]类似地，可以分析元数据以识别在文本搜索中使用的信息以识别产品。在一些实施例中，音频、元数据、视频帧或剪辑中的多于一个可用作因特网或数据库搜索的关键词的输入以识别产品。此外，用户可在社交网络上推送信息给朋友，希望从他们接收产品信息。
[0021]分析引擎然后执行多媒体搜索以识别所描绘的产品。此搜索可以是简单的因特网或数据库搜索或者它可以是更聚焦的搜索。例如，框58中的传送可包含当前时间或视频捕捉和控制装置24的位置。此信息`可用于使用关于什么产品正在特定时间和特定位置示出的信息来聚焦搜索。例如，可在网站上提供数据库，所述数据库使在不同时间不同位置中可用的电视节目相关，并且此数据库可以被图像搜索以找出与所捕捉的帧匹配的图像以识别节目。此外，元数据或广告内容提供商可包括与他们提供的内容关联的位置或联系信息。
[0022]在一些实施例中，用户可添加注释并且在所捕捉的段中识别感兴趣的特征。在一个实施例中，注释可以由在控制装置24上运行的应用使能。注释可用于聚焦搜索。作为另一选项，眼睛注视可用于在视频帧或剪辑内识别感兴趣的产品。
[0023]可以通过使用视觉搜索工具进行产品的识别。图像帧或剪辑匹配到搜索数据库内现有的帧或剪辑。在一些情况下，可以识别一系列匹配，并且在这样的情况中，那些匹配可以发送回控制装置24。当在菱形框60的检查确定搜索结果已经由控制装置24接收，可以为用户显示搜索结果，如在框62所指示的。控制装置24然后接收符合用户想要的信息的搜索结果中的一个的用户选择，例如，正在观看的产品。然后，一旦已经接收用户选择(如在菱形框64中所指示的)，所选择的搜索结果然后可转发到云(如在框66中所指示的)。这允许使用电视产品识别以提供其它服务给观众或第三方，例如，关于产品的附加的信息的提供。
[0024]接下来，参考图4，序列可以实现于基于处理器的系统14内。再则，序列可以在固件、硬件或软件中实现。在软件或固件实施例中，它可由一个或多个非暂时性计算机可读介质实现。例如，多媒体抓取器序列可以储存于多媒体抓取器装置16上的存储装置70中。
[0025]最初，在菱形框72的检查确定是否已经激活抓取器特征。在一些实施例中，可以使用视频内容分析。例如，用户可为特定产品请求系统屏幕，例如，膝上计算机或膝上计算机的广告，所以系统可使用视频内容分析来分析进行的内容以定位期望的产品，以及捕捉其中示出或描述产品的多媒体段。
[0026]如果如在菱形框76中确定的，命令被接收，则抓取多媒体并传送到控制装置24，如在框78所指示的。
[0027]参考图5，购物应用由序列指示。序列可以在软件、固件和/或硬件中实现。在基于软件和固件的实施例中，它可以由一个或多个非暂时性计算机可读介质实现。例如，计算机可读指令可以储存在与服务器30关联的存储装置80中(在图1中示出)。
[0028]尽管图示了使用云的实施例，当然，在其它实施例中，相同的序列可以由在任何合适的网络上耦合的任何服务器、由控制装置24自己、由基于处理器的装置14或由头端11来实现。
[0029]最初，在菱形框82的检查确定是否已经接收多媒体段。如果是，在其中多媒体是视频帧或剪辑的电子表示的情况中，执行视觉搜索，如在框84中所指示的。在音频剪辑的情况下，音频可以转换成文本并被搜索。如果多媒体段是元数据，则元数据可以解析为可搜索的内容。然后，在框86中，例如，搜索结果传送回控制装置24。控制装置24可接收关于搜索结果中的哪个是最有关的用户输入或选择。系统等待来自用户的选择，并且当接收选择时(如在菱形框88中所确定的)，可以基于所识别的产品执行任务(如在框90中所指示的)。例如，可以进行搜索以识别相同产品的其它来源且可以基于，例如，价格、位置和可用性来自动地实现卖主比较。
[0030]可以实施这样的搜索的一个方式可以是用数据库中或因特网上的图像来匹配当前图像，并且然后搜索与那些因特网或数据库驻留的图像关联的文本。然后可以分析不同图像之间的公共项以确定产品的名称。因此，图像搜索可用于确定产品的名称。类似地，可以搜索多媒体段内的音频段以查看产品的名称是否实际地提及并且所以音频可以转换成文本并且然后在文本中搜索产品信息。
[0031]此外，用户可提供输入信息以提供关于为什么用户选择特定图像的线索。这可以使用文本输入框、对选择消息的注释或单独的通信(作为示例)来进行。
[0032]然后可以在菱形框102问用户，用户现在是否希望购买产品。这可意指购买电视节目中示出的产品，例如，通过电视购物网络选项或通过搜索中识别的卖主中的一个。
[0033]如果用户希望现在购买产品，系统可帮助购买过程。例如，试探法可用于识别来自web或数据库信息内的联系信息。此信息可用于通过提供用户的信用卡信息和地址信息以填写在线表格来发起购买交易。那个信息然后可以传递给卖主以自动地发起交易。备选地，联系信息可以在位于搜索中的因特网网页的数据库内识别并且那个信息可以提供给用户用于用户的卖主的选择。
[0034]如果用户决定现在不购买，用户可选择用户希望访问以查看产品的特定卖主。因此，如果用户选择特定卖主的网页，那个卖主的位置或联系信息可以自动地从网页解析(框104)。这可以通过识别信息来完成，所述信息以地址信息的格式，所述地址信息可包含跟随文本的数字或可基于其特定格式来识别网页信息。类似地，电话号码和传真号码可以用相同的方式来识别。一旦已经识别位置或联系信息，位置被记录，如在框106中所指示的。
[0035]此时或在设立期间，用户可指定邻近因素。例如，用户可能希望当用户在所识别的卖主的给定距离内时被识别。在菱形框108的检查确定是否已经满足那个邻近准则。如果满足，则可以比较当前位置和记录的位置(框110)，并且如果它们匹配，如在菱形框112中确定的，可以在114通知用户用户在所指示的卖主的指定距离内。因此，系统可使用用户的蜂窝电话或其它移动装置内的全球定位系统传感器来不断地监视用户的位置并且简单地让用户知道什么时候用户接近那个卖主。
[0036]在许多情况下，这个背景位置监视减少用户立即去看产品的需求。替代地，用户可继续用户的正常活动并且系统将监视他/她的位置。当用户接近所识别的卖主时，可以提供通知。
[0037]类似服务还可以其它方式来实现。例如，用户可以在商店照一张产品的照片、可提供一些识别信息，或者系统可自己识别产品，以及使用相同的技术以定位相同产品的其它卖主。
[0038]此外，位置指示符服务在产品甚至没有通过电视节目或照片识别的情况中可以是有用的。例如，用户可简单地观看提到卖主的广告或听说商店、餐厅、博物馆或用户在某个时刻可能想要访问的任何其它位置。用户可提供位置的指示、邻近准则，并且系统然后在进行的基础上监视用户的位置以检测用户何时因为其它原因进入那个位置的邻近。然后通知用户邻近并且甚至可以给用户指引以去到卖主(如果选择的话)。这避免专门去到卖主的需要，节约时间和花费。
[0039]在一些实施例中，多个用户可能正收看相同的电视节目。在一些家庭中，多个电视可以是可用的。因此，许多不同用户可能希望同时使用本文描述的服务。因此，基于处理器的系统14可维护识别用于控制装置24的标示符、电视标识符和节目信息的表。在这样的实施例中，这可允许用户从房间移动到房间并且仍然继续接收本文描述的服务，其中基于处理器的系统14简单地适应于不同电视，不同电视中的所有在基于处理器的14的下游接收它们的信号。
[0040]在一些实施例中，表可以储存在基于处理器的系统14中或可以上载到头端11或可能甚至可以通过控制装置24上载到云28。
[0041]因此，参考图6，在一些实施例中，序列92可用于维护表以使控制装置24、电视显示屏幕20以及选择的频道相关。然后多个不同的用户可通过相同的电视或至少两个或者更多电视来使用系统，所述电视均通过相同的基于处理器的系统14连接，例如，在家庭娱乐网络。序列可实现为硬件、软件和/或固件。在软件和固件实施例中，序列可以使用储存在一个或多个非暂时性计算机可读介质(例如，磁性、半导体或光存储装置)上的计算机可读指令来实现。在一个实施例中，存储装置50可用于储存那些指令。
[0042]最初，系统为提供命令给系统14的控制装置中的每个接收并储存标识符，如在框94中所指不的。然后，通过系统14 f禹合的各种电视可以被识别和记录,如在框96中所指不的。最后，设立使控制装置和电视接收器相关的表(框100)。这允许将使用的多个电视以无缝的方式连接到相同的控制装置使得观众可从房间移动到房间并且继续接收本文描述的服务。此外，多个观察者可观看相同的电视并且每个可独立地接收本文描述的服务文。
[0043]遍及本说明书对“一个实施例”或“实施例”的引用意指结合实施例描述的特定特征、结构或特性包含于包括在本发明内的至少一个实现中。因此，短语“一个实施例”或“在实施例中”的出现不一定指相同的实施例。此外，特定特征、结构或特性可以以和说明的特定实施例不同的其它合适的形式来建立，并且所有这样的形式可以包括在本申请的权利要求内。
[0044]尽管已经关于有限数量的实施例来描述本发明，本领域技术人员将从其中意识到许多修改和变化。意图是所附的权利要求覆盖落入本发明的真正精神和范围内的所有这样的修改和变化。
【权利要求】
1.一种方法，包括: 检测事件的发生； 响应于检测事件，自动地从电视节目捕捉电子解码信号；以及 使用所述信号来执行搜索以便于所述节目中描绘的产品的识别。
2.如权利要求1所述的方法，包括捕捉包括视频帧或剪辑、音频或元数据的电子表示的信号。
3.如权利要求1所述的方法，包括自动地将所述信号传输到移动装置。
4.如权利要求3所述的方法，包括提供搜索结果给所述移动装置。
5.如权利要求3所述的方法，包括发送所述信号给远程服务器以执行所述搜索。
6.如权利要求1所述的方法，包括跟踪多个移动装置、从所述装置中的每个接收请求以及提供响应给每个装置。
7.如权利要求6所述的方法，包括维护使移动装置和电视以及来自移动装置的请求相关的表。
8.如权利要求1所述的方法，包括自动地提供关于所述产品的卖主的信息。
9.如权利要求1所述的方法，包括使用户能使用一个移动装置以在不同时间访问两个不同的电视。
10.至少一个非暂时性计算机可读介质,储存指令以使计算机能够: 检测事件的发生； 响应于事件的检测，自动地捕捉图像；以及 使用所述图像来发起搜索以便于所述图像中描绘的产品的识别。
11.如权利要求10所述的介质,还储存从电视节目捕捉以视频帧或剪辑、音频或元数据的电子表示的形式的电子解码信号的指令。
12.如权利要求10所述的介质，还储存将所述信号传输到移动装置的指令。
13.如权利要求12所述的介质，还储存提供搜索结果给所述移动装置的指令。
14.如权利要求12所述的介质，还储存发送所述信号到远程服务器以执行所述搜索的指令。
15.如权利要求10所述的介质，还储存跟踪多个移动装置、从所述装置中的每个接收请求以及提供响应给每个装置以使能在不同时间使用两个不同电视的指令。
16.如权利要求15所述的介质，还储存维护使装置、电视和移动装置的请求相关的表的指令。
17.如权利要求10所述的介质，还储存捕捉是音频信号的电子表示的信号、将所述捕捉的信号转换成文本并发送所述文本用作关键词搜索的输入的指令。
18.如权利要求10所述的介质，还储存提供关于所述产品的卖主的信息的指令。
19.一种设备,包括: 处理器，响应于所述事件自动地捕捉来自电视节目的电子信号，并且传送所述解码信号用作关键词搜索的输入以识别所述信号中描绘的产品；以及 存储装置，耦合到所述处理器。
20.如权利要求10所述的设备，其中所述设备是移动装置。
21.如权利要求20所述的设备，其中所述设备是蜂窝电话。
22.如权利要求20所述的设备，其中所述设备是远程控制器。
23.如权利要求19所述的设备，其中所述设备是电视接收器。
24.如权利要求19所述的设备，其中所述设备对电视接收系统发信号以捕捉以视频帧或剪辑、音频或元数据的电子表示的形式的电子解码信号。
25.如权利要求20所述的设备，其中所述设备接收来自电视系统的所述信号并将所述信号传送到远程装置以在数据库或在因特网上执行关键词搜索。
26.至少一个非暂时性计算机可读介质,储存指令以使计算机能: 接收指定位置； 监测用户的当前位置；以及 当所述用户在离所述指定位置预定距离内时通知所述用户。
27.如权利要求26所述的介质，还储存搜索产品的捕捉的电子表示并使用图像搜索以识别所述产品的指令。
28.如权利要求27所述的介质，还储存搜索捕捉的电子电视信号以识别所述产品的指令。
29.如权利要求28所述的介质，还储存从关于所述产品的因特网搜索结果得到产品卖主位置的指令。
30.如权利要求26所述的介质，还储存分析来自电视节目的音频以识别所述节目的指令。
【文档编号】G06F17/30GK103827859SQ201180073892
【公开日】2014年5月28日 申请日期:2011年9月12日 优先权日:2011年9月12日
【发明者】W.李, X.童, Y.张 申请人:英特尔公司