用于呈现与视频内容有关的商业信息的方法、系统和介质与流程

本申请要求2014年4月10日提交的U.S.专利申请No.14/249,840的优先权，其全部内容通过引用并入于此。

技术领域

提供用于呈现与视频内容有关的商业信息的方法、系统和介质。

背景技术：

当观看节目时，观众通常对与节目有关的信息，诸如与在节目中呈现的商品项(例如衣服、家居用品、健康产品等)有关的附加信息感兴趣。为使用常规的搜索引擎来查找与在节目中呈现的商品项有关的信息，观众可能需要将一个或多个关键字输入到搜索引擎。然后，观众能快速浏览搜索结果来查找包含与商品项有关的信息的网页。

然而，由于若干原因，这种常规的搜索引擎可能不会为用户提供令人满意的搜索体验。例如，观众必须仅依赖于如在视频帧中所示的商品项的外观，生成用于商品项的搜索查询。这对观众来说可能是很耗时且令人沮丧的过程，特别是当观众不知道会指向用户正寻找的商品项的搜索词项(例如，产品名)时。作为另一个示例，观众可能必须实施多次搜索来检查在节目中显示的多个商品项有关的信息。因此，观众在搜索与商品项有关的信息时，可能需要错过节目的很大一部分。

因此，期望提供用于呈现与视频内容有关的商业信息的新的机制。

技术实现要素：

提供用于呈现与视频内容有关的商业信息的方法、系统和介质。根据本公开主题的一些实施方式，提供一种用于呈现与视频内容有关的商业信息的方法，所述方法包括：接收包括第一视频帧的多个视频帧；使用硬件处理器，检测所述多个视频帧中的多个对象；识别对应于检测的多个对象的多个商品项；获得对应于所述多个商品项的每一个的商业信息；将对应于多个商品项的每一个的商业信息与多个视频帧中的至少一个相关联；从移动设备接收正在移动设备上回放的视频内容已经暂停的指示，其中，所述指示包括第一视频帧的标识；以及向移动设备传送包括与所述第一视频帧相关联的商业信息的应答。

根据本公开主题的一些实施方式，提供一种呈现与视频内容有关的商业信息的系统，该系统包括：硬件处理器，所述硬件处理器被编程来：接收包括第一视频帧的多个视频帧；检测多个视频帧中的多个对象；识别对应于检测的多个对象的多个商品项；获得对应于多个商品项的每一个的商业信息；将对应于多个商品项的每一个的商业信息与多个视频帧中的至少一个相关联；从用户设备接收正在用户设备上回放的视频内容已经暂停的指示，其中，所述指示包括第一视频帧的标识；以及向用户设备传送包括与第一视频帧相关联的商业信息的应答。

根据本公开主题的一些实施方式，一种非暂时性计算机可读介质包含计算机可执行指令，所述计算机可执行指令当由处理器执行时，使所述处理器执行用于呈现与视频内容有关的商业信息的方法，所述方法包括：接收包括第一视频帧的多个视频帧；检测多个视频帧中的多个对象；识别对应于检测的多个对象的多个商品项；获得对应于多个商品项的每一个的商业信息；将对应于多个商品项的每一个的商业信息与多个视频帧中的至少一个相关联；从用户设备接收已经暂停正在用户设备上回放的视频内容已经暂停的指示，其中，所述指示包括第一视频帧的标识；以及向用户设备传送包括与第一视频帧相关联的商业信息的应答。

根据本公开主题的一些实施方式，提供一种用于呈现与视频内容有关的商业信息的系统，所述系统包括：用于接收包括第一视频帧的多个视频帧的装置；用于检测多个视频帧中的多个对象的装置；用于识别对应于检测的多个对象的多个商品项的装置；用于获得对应于多个商品项的每一个的商业信息的装置；用于将对应于多个商品项的每一个的商业信息与多个视频帧中的至少一个相关联的装置；用于从用户设备接收正在用户设备上回放的视频内容已经暂停的指示的装置，其中，所述指示包括第一视频帧的标识；以及用于向用户设备传送包括与第一视频帧相关联的商业信息的应答的装置。

在一些实施方式中，商业信息包括用于购买相应的商品项的指令。

在一些实施方式中，该系统进一步包括：用于判断检测的多个对象的一个是否与包含在商品数据库中的多个商品项中的一个匹配的装置。

在一些实施方式中，该系统进一步包括：用于存储与多个帧中的每一个相关联的商业信息的装置；以及用于检索与第一视频帧相关联的商业信息的装置。

在一些实施方式中，该系统进一步包括：用于至少部分基于对应于多个商品项的所述商业信息，排名检测的多个对象的装置；以及用于至少部分基于所述排名，将对应于多个商品项的每一个的商业信息与多个视频帧的至少一个相关联的装置。

在一些实施方式中，所述应答包括用于连同第一视频帧一起，显示所述商业信息的渲染指令。

附图说明

当结合附图考虑时，能参考本公开主题的下述详细描述，更全面地理解本公开主题的各种目的、特征和优点，附图中相同的参考数字识别相似的元件。

图1示出根据本公开主题的一些实施方式的用于提供与视频内容有关的商业信息的过程的说明性示例。

图2示出根据本公开主题的一些实施方式的用于呈现与视频内容有关的商业信息的过程的说明性示例。

图3示出根据本公开主题的一些实施方式的用于获得与视频帧中的对象有关的商业信息的过程的说明性示例。

图4示出根据本公开主题的一些实施方式的用于将商业信息与视频帧相关联的过程的说明性示例。

图5A示出根据本公开主题的一些实施方式的用于呈现视频内容的用户界面的说明性示例。

图5B示出根据本公开主题的一些实施方式的用于呈现与视频帧内的视频内容有关的商业信息的用户界面的说明性示例。

图5C示出根据本公开主题的一些实施方式的用于在商业窗口中呈现与视频内容有关的商业信息的用户界面的说明性示例。

图5D示出根据本公开主题的一些实施方式的呈现与视频内容有关的商业信息的移动设备的说明性屏幕。

图6是根据本公开主题的一些实施方式的用于呈现与视频内容有关的商业信息的系统的概括示意图的示例。

图7是根据本公开主题的一些实施方式的可以被用于图6的服务器、移动设备和/或媒体回放设备中的硬件的示例。

具体实施方式

根据各个实施方式，如下文更详细所述，提供用于呈现与视频内容有关的商业信息的机制，所述机制可以包括系统、方法和计算机可读介质。

在一些实施方式中，本文所述的机制能处理视频内容的视频帧(例如，电视节目、流媒体视频内容等)并且检测视频帧中的对象。例如，能使用任何适当的对象检测技术，诸如模板匹配、视频分割、边缘检测等，检测对象。

在一些实施方式中，在检测到视频内容的视频帧中的对象后，所述机制能搜索匹配检测的对象的商品项(例如，产品)。例如，所述机制能生成检测的对象的图像(例如，包括包含检测的对象的帧的一部分的图像、灰度图像等)并且由该图像生成图像指纹(例如，归一化的像素值)。然后，该机制能将生成的图像指纹与在存储设备中存储的商品项相关联的多个参考图像指纹比较。在一些实施方式中，当参考图像指纹与生成的图像指纹之间的差(例如绝对差)小于预定阈值时，参考图像指纹能被看作匹配图像指纹。

在一些实施方式中，在检测到匹配图像指纹时，所述机制能识别与匹配的图像指纹相关联的商品项，然后将与该商品项有关的商业信息与检测的对象相关联。在一些实施方式中，所述商业信息能包括与商品项有关的任何适当的信息，诸如能用来识别商品项的识别信息(例如，产品名、索引号、产品编号、图标、条码、二维码等)、有关商品项的定价信息、能提供商品项的销售者、到包括与商品项有关的信息的网站的链接等。

应注意到在接收商业信息前，这些机制能为用户提供机会以提供同意或授权以执行动作，诸如检测视频帧中的对象、呈现与商品项有关的商业信息、提交用于购买商品项的支付信息和/或将商品项放在队列中。例如，在将应用程序加载到诸如电视设备的媒体回放设备上后，应用程序能提示用户提供对传送商业信息、传送支付信息和/或呈现内容的授权。在更具体的示例中，响应于下载所述应用程序并且将应用加载在媒体回放设备上，在执行这些动作前，能通过要求用户提供同意的消息提示用户。附加或替选地，响应于安装应用程序，在执行这些检测和/或传送与这些检测有关的信息前，能通过要求用户提供同意的权限消息提示用户。在用户同意使用这些数据的情况下，能呈现与一个或多个商品项有关的商业信息并且能传送支付信息来购买一个或多个商品项。

在一些实施方式中，响应于接收暂停呈现视频内容的请求，所述机制能检索与视频内容有关的商业信息。例如，所述机制能识别当前正呈现的视频内容的视频帧并且检索与该视频帧中的一个或多个对象相关联的商业信息。在一些实施方式中，本文所述的机制能够使用一个或多个适当的图形内容项(例如，图像、文本片段、URLs等)，呈现与视频帧相关联的商业信息。例如，能与视频帧中的对象一起，呈现包括与对应于视频帧中的对象的商品项有关的商业信息的图形内容项。

在一些实施方式中，本文所述的机制能提示用户与图形内容项中的一个或多个交互。例如，响应于接收指向包括与在视频帧中呈现的商品项相关联的商业信息的网页的URL的用户选择，所述机制能使用适当的应用程序(例如，Web浏览器、移动应用程序等)渲染web页面。如另一示例，响应于接收包括在视频帧中呈现的商品项的商业信息的Web内容的片段的用户选择，所述机制能导致呈现与商品项有关的商业信息(例如，定价信息、产品规格等)。

在一些实施方式中，所述机制能用在各种应用程序中。例如，所述机制能提供与在视频内容中呈现的商品项有关的商业信息。更具体地说，例如，所述机制能识别视频帧中的离散对象并且将离散对象与产品目录中可用于销售的产品和其他商品项相匹配。然后，所述机制能与视频内容的视频帧相关联地(例如按商业信息的时间戳)存储与商品项有关的商业信息(例如价格、产品名、产品的销售者、订单信息的链接等)。如另一示例，所述机制能以实时方式提供与在视频内容中呈现的商品项有关的商业信息。在更具体的示例中，响应于接收视频内容的观众对在视频内容中呈现的商品项感兴趣的指示(例如，暂停回放视频内容的用户请求)，所述机制能检索与该商品项有关的商业信息并且将该商业信息呈现给观众。在该示例中，所述机制能在无需离开或导览离开呈现的视频内容的情况下为正消费视频内容的观众提供购买对应于视频帧中的识别的对象的一个或多个商品项的机会和/或将一个或多个商品项放在队列中以用于稍后做出购买决定的机会。

转到图1，示出根据本公开主题的一些实施方式的用于提供与视频内容有关的商业信息的过程的示例100的流程图。

如所示，在110，通过接收视频内容的视频帧的集合，过程100开始。在一些实施方式中，视频内容能包括来自各个源的一个或多个节目(例如，新闻节目、脱口秀、体育节目等)，诸如空中广播节目、由有线电视提供商广播的节目、由电话电视提供商广播的节目、由卫星电视提供商广播的节目、点播节目、OTT(over-the-top)节目、互联网内容、流媒体节目、录制节目等。

在一些实施方式中，视频帧能对应于视频内容的任何适当部分，诸如具有特定持续时间(例如几秒或任何其他适当的持续时间)的视频内容的一部分。在一些实施方式中，视频帧能包括使用任何适当的视频编解码器生成的一个或多个编码帧或解码帧。在一些实施方式中，视频帧能具有任何适当的帧频(例如，每秒60帧(FPS)等)、分辨率(例如，720p、1080p等)和/或任何其他适当的特性。

接着，在120，过程100能处理视频帧以检测视频帧中的对象。在一些实施方式中，过程100能顺序、并行和/或以任何其他适当的方式(例如，通过解码编码的帧、通过基于视频帧生成灰度图像、通过在视频帧上执行对象检测和/或识别等)，处理视频帧。

在一些实施方式中，过程100能使用任何适当的对象检测技术，诸如模板匹配、图像分割、边缘检测等，检测视频帧中的一个或多个对象。此外，在一些实施方式中，过程100能使用任何适当的对象识别技术(例如，边缘匹配、灰度匹配、梯度匹配、颜色匹配、特征匹配等)，识别一个或多个检测的对象。

在一些实施方式中，一个或多个捕捉模块接收和处理来自多个源(例如，多个频道、多个点播源、多个电视提供商等)的信号。这些捕捉模块能够针对每个视频以特定时间间隔(例如，每2或3秒)捕捉视频屏幕截图。一般来说，这些捕捉模块能监控来自多个内容源的媒体内容并且生成视频屏幕截图和/或任何其他适当的内容标识符。更具体地，这些捕捉模块能将生成的视频屏幕截图和其他内容标识符存储在存储设备中。例如，捕捉模块能监控提供广播电视内容的频道并且将生成的视频指纹存储在按频道和时间索引的数据库中。在另一示例中，捕捉模块能监控提供电视内容的点播视频源并且将生成的视频指纹存储在按视频信息和时间索引的数据库中。在一些实施方式中，这些捕捉模块能将信息从数据库传送到图像检测模块以用于检测位于捕捉的视频帧内的一个或多个对象。作为响应，捕捉模块能接收对象检测信息(例如，对象名、对象的灰度图像、对象的指纹等)。捕捉模块能将一个或多个检测的对象与在数据库中索引的相应的视频信息和时间信息相关联。

在130，过程100能获得与检测的对象有关的商业信息。在一些实施方式中，能以任何适当的方式获得与在120处检测的特定对象有关的商业信息。例如，过程100能访问商品项(例如，产品、服务等)的数据库并且能识别与对象匹配的一个或多个商品项。然后，过程100能将与商品项有关的商业信息与所述对象相关联。在更具体的示例中，如下文结合图3所述，能通过由对象的图像生成指纹并且将生成的指纹与同多个商品项相关联的参考指纹相匹配，识别与对象匹配的商品项。

在一些实施方式中，与在120处检测的对象有关的商业信息能包括与该对象匹配的一个或多个商品项有关的任何适当信息。例如，与特定商品项有关的商业信息可以包括能识别该商品项的标识符(例如，产品标识符)、该商品项的描述(例如，产品名)、与提供该商品项的销售者有关的信息、与该商品项的制造有关的信息、该商品项的消费者评论和/或评分、关于该商品项的定价信息、关于能购买该商品项的平台(例如，电子商务网站)的信息等。

作为另一示例，与指定商品项有关的商业信息可以包括能用来检索和/或呈现与该商品项有关的信息的任何适当的数据。在更具体的示例中，所述商业信息可以包括指向由此能购买该商品项的网页、包括与该商品项有关的信息的网页和/或与该商品项有关的任何其他适当的Web内容的链接(例如，统一资源定位符(URL))、条码(例如，快速响应(QR)码)和/或任何其他适当的机制。在另一更具体示例中，所述商业信息能包括该商品项的图像、动画和/或任何其他适当的表示。在又一更具体的示例中，所述商业信息能包括包含与该商品项有关的信息的Web内容(例如网页、文本、视频等)的片段。

应注意到，在本文所述的其中媒体回放应用程序(或本文所述的其他机制)收集关于特定用户的信息的实施方式中，能为用户提供机会来控制该应用程序(或其他机制)是否收集关于特定用户的信息和/或该应用程序(或其他机制)如何使用收集的用户信息。关于用户的信息的示例可以包括用户的兴趣(例如，暂停的视频帧、选择的商品项等)、用户定位、用户说出的名称、与用户相关联的支付信息等。附加地，能在存储之前本地存储(例如，未共享)、加密和/或以一种或多种方式处理关于用户的某些信息以移除个人可识别信息。例如，能处理用户的身份，使得不能针对该用户确定个人可识别信息。作为另一示例，能对其中获得定位信息的用户的地理定位一般化处理(例如，到市级、ZIP级、州级等)，使得不能确定用户的特定定位。使用本文所述的这些技术和其他技术，用户能控制关于用户采集什么信息和/或应用程序(或其他机制)如何使用该信息。

应注意到在本文所述的其中媒体回放应用程序(或本文所述的其他机制)向特定用户呈现商业信息的实施方式中，能为用户提供机会来控制是否呈现商业信息和/或如何呈现商业信息。例如，用户能指定哪些源能提供用于呈现给用户的商业信息。在另一示例中，用户能指定排除哪些源(诸如，特定电子商务零售商)提供商业信息。

在140，过程100能将与检测的对象有关的商业信息与特定视频帧相关联。在一些实施方式中，与在特定视频帧中检测的一个或多个对象有关的商业信息能与同特定视频帧有关的信息(例如，能被用来识别该视频帧的帧号、时间戳，和/或任何其他适当的信息)相关联。在一些实施方式中，如下文结合图4所述，能从在视频帧中检测的多个对象选择一个或多个对象。在该示例中，对应于被选对象的商业信息能与该视频帧相关联。

在一些实施方式中，商业信息能与视频内容相关联。例如，能与关于视频内容的任何适当节目信息(诸如节目标题、提供视频内容的频道的频道号等)相关联地存储商业信息。在一些实施方式中，能时间戳对应于视频帧的商业信息来关联至视频内容。

在一些实施方式中，过程100能关联和存储所述商业信息、与视频内容有关的节目信息(例如，频道号、节目标题等)、与视频帧有关的信息(例如，帧号、时间戳等)，使得响应于接收针对与视频内容的特定视频帧有关的商业信息的后续请求，服务器能检索与所述视频内容的特定视频帧有关的存储的商业信息和/或任何其他适当的信息。

在一些实施方式中，过程100能监控提供广播电视内容的频道并且将与所述广播电视内容有关的商业信息存储在按节目和视频帧索引的数据库中。在更具体的示例中，过程100能在电视提供商或任何其他适当的内容提供商正广播节目的同时，在数据库中，每N毫秒，与时间戳视频帧一起，存储商业信息。

在150，过程100能判断是否已暂停媒体回放设备回放视频内容。例如，过程100能从媒体回放设备接收已经暂停在媒体回放设备上回放视频内容的指示(例如，HTTP消息)。在一些实施方式中，所述指示能对应于由该媒体回放设备接收的暂停请求(例如图2的步骤220)。

在一些实施方式中，能由媒体回放设备生成所述指示(例如图2的步骤230-步骤240)，并且所述指示可以包括与视频内容有关的任何适当信息。例如，所述指示能包括与视频内容有关的节目信息，诸如节目标题、频道号等。如另一示例，所述指示可以包括与视频内容的一个或多个视频帧有关的信息，诸如帧号、时间戳和/或能用来识别视频帧的任何其他适当的信息。在更具体的示例中，所述指示可以包括与对应于触发从媒体回放设备传输指示的暂停请求有关的视频帧(诸如，当接收到暂停请求时，正由媒体回放设备回放的视频帧)的信息。

在一些实施方式中，响应于判断还未暂停使用媒体回放设备回放视频内容(在150为“否”)，过程100可以返回到110。

替选地，响应于接收正在媒体回放设备上回放的视频内容已被暂停的指示(在150为“是”)，在160，过程100能识别与该指示相关联的视频帧，并且与确定的视频帧关联地判断是否已关联商业信息。例如，过程100能从在150处接收的指示提取与视频帧有关的时间戳或其他信息以及与视频内容有关的节目信息。然后，过程100能判断是否已经与视频帧和视频内容(例如，与节目信息和时间戳关联的现有商业信息)关联地存储商业信息。

在一些实施方式中，响应于判断已经与确定的视频帧关联地存储商业信息，在170，过程100可以检索存储的商业信息且随后可以传送包括所述存储的商业信息的应答。在一些实施方式中，可以使用任意适当的通信协议，诸如超文本传输协议(HTTP)、文件传输协议(FTP)等传送所述应答。

在一些实施方式中，所述应答可以包括能用来呈现与视频内容相关联的商业信息的任意适当的信息。例如，所述应答可以包括与对应于所述指示的视频帧相关联的商业信息。在更具体的示例中，所述应答能包括指向与视频帧相关联的商业信息的链接(例如，URL)、QR码和/或其他任何适当的机制。在另一更具体的示例中，所述应答能包括能用来呈现与视频帧相关联的商业信息的图像、动画、音频内容、Web内容的片段和/或其他任何适当的内容。

在一些实施方式中，所述应答能包括与生成和/或呈现用于呈现商业信息的图形内容有关的任何适当的信息。例如，所述应答能包括关于其中能呈现商业信息的屏幕区域的定位和/或大小的位置信息。在更具体的示例中，这些信息能包括能够在一个或多个特定维度(例如，x维、y维和/或z维)定义所述区域的起始位置、结束位置和/或任何其他适当参数的一个或多个坐标(例如，x坐标、y坐标和/或z坐标)。在另一更具体示例中，该指令集能包括相对于能显示视频内容的区域定义所述区域的位置和/或大小(诸如两个区域之间的偏移、能渲染视频内容和图形内容两者的重叠区域等)的一个或多个坐标。

如另一示例，所述应答能包括能用来组合视频内容和包括用于呈现的商业信息的图形内容项的一个或多个渲染指令。在更具体的示例中，所述应答能包括与能用来将包括商业信息的图形内容项(例如，如图5B所示的图形内容项)叠加在视频内容的视频帧上的颜色、透明度水平和/或任何其他适当的参数有关的信息。

在一些实施方式中，在170，在传送所述应答后，过程100能返回到110。

转到图2，示出根据本公开主题的一些实施方式的用于呈现与视频内容有关的商业信息的过程的示例200的流程图。

如所示，通过使用媒体回放设备呈现视频内容，开始过程200。在一些实施方式中，视频内容能包括来自各种源的一个或多个节目(例如，新闻节目、脱口秀、体育节目等)，诸如空中广播的节目、由有线电视提供商广播的节目、由电话电视提供商广播的节目、由卫星电视提供商广播的节目、点播节目、OTT(over-the-top)节目、互联网内容、流媒体节目、录制节目等。在一些实施方式中，媒体回放设备可以是数字视频录像机、移动电话、平板计算机、膝上型计算机、桌面型计算机、电视和/或能够呈现视频内容的其他任意适当的设备。

在一些实施方式中，当呈现视频内容时，在220处，过程200能判断是否已接收暂停呈现视频内容的请求。在一些实施方式中，所述暂停请求能对应于任何适当的用户输入，并且可以使用任何适当的设备接收暂停请求。例如，过程200能响应于接收到指示用户希望暂停呈现视频内容的语音命令，判断已经接收暂停请求。在更具体的示例中，可以由消费视频内容的用户提供并且由音频输入设备(例如，耦接到媒体回放设备的麦克风、移动设备等)检测语音命令“暂停”。如另一示例，过程200能响应于使用输入设备(诸如，如图7所示的输入设备716)接收用户选择暂停按钮，判断已经接收到暂停请求。

在一些实施方式中，能以任何适当的形式，诸如一个或多个红外信号、高清多媒体接口(HDMI)消费者电子控制(CEC)命令、WiFi信号和/或任何其他适当的控制信号，传送和接收暂停请求。

在一些实施方式中，响应于判断还未接收到暂停请求(在220为“否”)，过程200能返回到210并且继续呈现视频内容。替选地，响应于判断已经接收到暂停请求(在220为“是”)，过程200能在230处，识别对应于暂停请求的视频帧。例如，可以将当接收到暂停请求时正由媒体回放设备呈现的视频帧识别为对应于该暂停请求的视频帧。在一些实施方式中，过程200能将识别的视频帧与时间戳(例如，呈现时间戳)、帧号和/或能够识别视频帧的任何其他适当的信息相关联。

在一些实施方式中，在接收到暂停请求后，过程200能在适当的存储设备(例如使用媒体回放设备或任何其他适当的设备)记录视频内容和/或存储视频内容来用于后续呈现视频内容。

在240，过程200能传送已经暂停视频内容的呈现的指示。在一些实施方式中，可以使用任何适当的协议，诸如超文本传输协议(HTTP)、文件传输协议(FTP)等传送该指示。

在一些实施方式中，所述指示能包括与视频内容有关的任何适当的信息。例如，所述指示能包括用来识别视频内容的节目信息。在更具体的示例中，节目信息能包括视频内容的节目标题、提供视频内容的频道的频道号和/或能用来识别视频内容和/或视频内容的源的任何其他适当的信息。如另一示例，所述指示能包括帧号、时间戳和/或与对应于暂停请求的视频帧有关的任何其他适当的信息。

在250，过程200能接收包括与识别的视频帧相关联的商业信息的应答。例如，在一些实施方式中，能接收如上文结合图1所述地生成和传送的应答。在更具体的示例中，所述应答能包括与在识别的视频帧中检测的一个或多个对象有关的商业信息，诸如URL、图像、动画、文本片段、音频内容等，其能被用来呈现与对应于所述对象的一个或多个商品项(例如产品、服务等)有关的商业信息。

如另一更具体的示例中，所述应答能包括能用来呈现与识别的视频帧相关联的商业信息的信息，诸如与生成和/或渲染用于呈现商业信息的图形内容项有关的一个或多个渲染指令、与其中能呈现图形内容项的屏幕区域的定位和/或大小有关的位置信息等。

在260，过程200能呈现与识别的视频帧相关联的商业信息。在一些实施方式中，能使用任何适当的设备呈现商业信息。例如，如下文结合图5B和5C所述，能在连接到媒体回放设备的显示器(诸如，如图7所示的显示器714)上呈现商业信息。替选或附加地，如下文结合图5D所述，可以在第二屏幕设备上呈现商业信息，第二屏幕设备诸如移动设备(例如，如图6所示的移动设备611)。

在一些实施方式中，能使用任何适当的内容，诸如文本、图像、图标、图形、视频、动画、音频片断、超文本、超链接、声音等，呈现商业信息。

在一些实施方式中，能与对应于暂停请求的视频帧一起，在显示器上呈现商业信息。例如，可以与视频帧中的一个或多个对象关联地呈现商业信息。在更具体的示例中，如下结合图5B所述，可以与视频帧中的对象(例如，对象521)关联地呈现与给定对象相关联的商业信息(例如，商业信息530)。在另一更具体的示例中，如下文结合图5C所述，能使用包括这些商业信息的图形内容项(例如，URL、图像、动画、文本片段、用户界面等)呈现与视频帧中给定对象有关的商业信息。在一些实施方式中，可以对视频帧的多个对象生成多个图形内容项。

在一些实施方式中，能基于在250处接收的应答，生成和/或呈现一个或多个图形内容项。例如，能基于包含在所述应答中的URL生成图形内容项。如另一示例，能够基于包含在接收的应答中的渲染指令、颜色、透明度水平和/或包含在应答中的任何其他适当的参数，将图形内容项与对应于暂停请求的视频帧混合。附加地，可以基于包含在应答中的位置信息(例如其中能呈现商业信息的屏幕区域的坐标)，将图形内容项叠加在视频帧上。

在一些实施方式中，过程200能允许用户与一个或多个图形内容项交互。例如，过程200能允许用户通过在移动设备、媒体回放设备和/或任何其他适当的设备上垂直或水平地滚动，滚动对应于对象的不同图形内容项。在更具体的示例中，响应于从用户接收暂停请求或任何其他适当的请求，过程200能呈现暂停的视频帧内的图形内容项。当滚动不同图形内容项时，过程200能选择地呈现与每一个高亮的图形内容项相关联的商业信息(例如，价格、产品规格、销售者信息等)，而不离开呈现的视频内容或不离开正回放视频内容的媒体应用程序。如另一示例，过程200能基于适当准则(例如，流行度)的用户选择排名图形内容项，并且能在显示器上自动地呈现对应于视频帧的对象的单个内容信息。如又另一示例，通过图形内容项，过程200能为用户提供机会来通过对应于视频帧的对象的商品项，执行一个或多个购买动作(例如，将对应于被选图形内容项的项添加到购物车/优选列表、下定单、进行支付等)。

在更具体的示例中，过程200能响应于从用户接收暂停请求或任何其他适当的指示，呈现用于交互的一个或多个图形内容项。如本文所述，包括商业信息的所述一个或多个图形内容项能显示在暂停的视频帧上的叠层中，或能显示在视频帧中检测的对象之间的空隙中。响应于选择一个图形内容项，可以购买相应的商品项并且可以在显示器上呈现购买的商品项的确认。在一些实施方式中，过程200能响应于选择图形内容项，为用户呈现购买确认叠层(例如，“你确认想要购买它吗？”)。替代于购买对应于选择的图形内容项的商品项，能将商品项放在队列中，用于以后购买。如另一更具体示例，能在第二屏幕设备(诸如结合图6的移动设备611)上提供用于购买商品项和/或用于保存商品项以便后续购买的一个或多个图形内容项。例如，响应于在一个或多个暂停的视频帧内选择多个商品项，可以将选择的商品项保存在可使用与呈现视频内容的媒体回放设备相关联的移动设备访问的购买队列中。

如本文所述，应注意到，过程200能为用户提供机会来提供同意或授权以执行动作，诸如检测视频帧中的对象、呈现与商品项有关的商业信息、提交用于购买商品项的支付信息和/或将商品项放在队列中。例如，在将应用程序加载在媒体回放设备(诸如，电视设备)上后，应用程序能提示用户提供用于传送商业信息、传送支付信息和/或呈现内容的授权。在更具体的示例中，响应于下载应用程序并且将应用程序加载在媒体回放设备上，能在执行这些动作前通过要求用户提供同意的消息来提示用户。附加或替选地，每次用户选择用于购买或用于放在队列中的商品项时，能通过要求用户提供对使用支付信息或与购买商品项有关的任何其他适当的用户信息的同意的权限消息来提示用户。

在270，过程200能判断是否已接收恢复视频内容呈现的请求。在一些实施方式中，所述请求能对应于任何适当的用户输入(例如，语音命令、手势命令、播放按钮的用户选择等)，并且能使用任何适当的设备(例如，麦克风、手势识别系统、遥控器、移动电话等)接收所述请求。

在一些实施方式中，响应于判断还未接收到恢复视频内容呈现的请求(在270为“否”)，过程200能返回到260并且能继续呈现与视频帧相关联的商业信息。替选地，过程200能返回到210并且能恢复视频内容呈现。例如，(例如，基于响应于暂停请求存储的视频数据)过程200能呈现来自对应于暂停请求的视频帧的视频内容。

转到图3，示出根据本公开主题的一些实施方式的用于获得与视频帧中的对象有关的商业信息的过程的示例300的流程图。

如所示，在310，可以通过检测视频帧中的对象开始过程300。在一些实施方式中，能使用任何适当的对象检测技术(诸如模板匹配、图像分割、边缘检测、基于特征检测对象等)或技术的组合来检测对象。

在320，过程300能获得检测的对象的图像。例如，过程300能生成包括包含检测的对象的视频帧的一部分的图像。附加或替选地，过程300能使用任何适当的图像处理技术来生成灰度图像、边缘增强图像、去模糊图像、位图图像等，来处理该图像。

在330，过程300能生成检测的对象的图像的指纹。在一些实施方式中，能使用任何适当的图像指纹技术生成指纹。图像指纹可以是由在320处获得的检测的对象的图像生成的数字表示。在一些实施方式中，检测的对象的图像指纹可以包括检测的对象的图像的任何适当的特征。例如，所述指纹能包括所述图像的光学特征，诸如亮度、灰度、梯度、颜色等。如另一示例，所述指纹能包括图像中的检测对象的几何特征，诸如边缘模板、浏览方向、尺度、形状、表面特征等。

在一些实施方式中，在340，过程300能将生成的图像指纹与多个参考图像指纹相比较。例如，可以将生成的图像指纹与基于商品项(例如，产品、服务等)的集合的图像数据而生成的图像指纹相比较。在这些示例中，过程300能访问存储按商品项索引的图像指纹的数据库和/或任何其他适当的存储设备以进行比较。

在一些实施方式中，过程300能通过基于一个或多个适当的度量，诸如绝对差之和(SAD)、绝对变换差之和(SATD)、方差和(SSD)等，测量生成的图像指纹和参考图像指纹之间的差，来将生成的图像指纹与给定的参考图像指纹比较。

在350，过程300可以判断是否找到匹配。在一些实施方式中，过程300可以响应于判断生成的图像指纹和参考图像指纹之间的差小于预定阈值，将参考图像指纹识别为匹配指纹。

如果未找到匹配图像指纹(在350为“否”)，过程300能返回到310并且能在所述视频帧或任何其他适当的视频帧上执行对象检测。替选地，响应于检测到匹配图像指纹(在350为“是”)，在360，过程300能识别与所述匹配图像指纹相关联的商品项。

在370，过程300能将对应于所述商品项的商业信息与所检测到的对象相关联。例如，过程300能检索与商品项有关的任何适当信息，且随后可以与识别对象的标识符(例如，索引号)关联地存储所述检索的信息。在一些实施方式中，与商品项有关的信息可以包括能识别所述商品项的标识符(例如，产品标识符)、所述商品项的描述(例如，产品名)、与提供所述商品项的销售者有关的信息、与所述商品项的制造有关的信息、所述商品项的消费者评论和/或评分、与所述商品项有关的定价信息、与其上能购买所述商品项的平台(例如，电子商务网站)有关的信息等。

转到图4，示出根据本公开主题的一些实施方式的用于将商业信息与视频帧相关联的过程的示例400的流程图。

如所示，在410，可以通过获得对应于视频帧中的多个对象的商业信息，开始过程400。在一些实施方式中，可以以任何适当的方式获得该商业信息。例如，如上文结合图3所述，能使用过程300，获得对应于视频帧中的特定对象的商业信息。

在一些实施方式中，商业信息能包括与对应于所述对象的商品项(例如产品、服务等)有关的任何适当的信息。例如，与特定商品项有关的商业信息能包括与提供所述商品项的销售者有关的信息、所述商品项的消费者评论和/或评分、关于所述商品项的定价信息等。

在420，过程400能基于与所述对象相关联的商业信息排名所述对象。在一些实施方式中，可以基于任何适当的标准或准则，诸如按流行度(例如，基于与对应于所述对象的商品项有关的消费者评论和/或评分、基于社交媒体信息，诸如与对应于所述对象的商品项有关的趋势信息和/或热点信息等)、按产品类别(例如，基于与所述商品项相关联的产品名和/或分类)、按价格(例如，基于对应于所述对象的商品项的价格)、按源(例如，商品项的销售者是否签订由过程400提供的服务)等，执行排名。

在一些实施方式中，过程400能基于与所述对象相关联的社交媒体信息，排名所述对象。例如，一个或多个捕捉模块能从一个或多个社交网络，接收与对应于所述对象的商品项有关的社交媒体信息。在更具体的示例中，过程400能从接收的社交媒体信息，提取与所述商品项有关的关键字。然后，过程400能基于提及、喜欢和/或其他社交媒体指示符的数量，针对每个与商品项有关的提取的关键字判断社交得分，并且能基于判断的提取的关键字的社交得分，排名对应于所述商品项的所述对象。

在430，过程400能基于所述排名，选择一个或多个检测的对象。例如，过程400能基于排名，选择预定数量的对象。在更具体的示例中，过程400能选择若干与特定排名相关联的对象(例如，前5个对象)。在另一更具体的示例中，过程400能基于所述判断的排名，选择对象的百分比。

在440，过程400能将对应于所述选择的对象的商业信息与所述视频帧相关联。例如，过程400能将对应于被选对象的商业信息与关于视频帧的信息(例如，帧号、时间戳等)关联，且存储对应于被选对象的商业信息，使得响应于接收针对与视频帧有关的商业信息的后续请求，能检索对应于具有视频帧的所述选择的对象的所述存储的商业信息。

应注意到能按任何次序或顺序执行或实现图1-4的流程图的上述步骤，而不限于图中所示和所述的次序和顺序。同时，适当时，能基本上同时或并行地执行或实现图1-4的流程图的上述步骤中的一些，以降低延迟和处理时间。此外，应注意到将图1-4仅提供为示例。能以不同于所表示的次序执行、同时执行或同时省略图中所示的至少一些步骤。

转到图5A，示出根据本公开主题的一些实施方式的用于呈现视频内容的用户界面500的示例。在一些实施方式中，用户界面500可以包括控制面板510、视频内容显示区520和/或任何其他适当的用户界面元素。

在一些实施方式中，控制面板510能包括用于执行与视频回放相关联的控制功能的多个用户界面元素，诸如向后跳或向前跳按钮(未示出)、播放按钮512、暂停按钮514、停止按钮(未示出)、静音按钮(未示出)、音量控制条(未示出)和任何其他适当的视频控制界面元素。在一些实施方式中，控制面板510可以包含比图5A所示更多或更少的视频控制界面元素，或可以省略(例如在语音控制的情况下)。

在一些实施方式中，能使用内容显示区520来呈现任何适当的视频内容。在一些实施方式中，如果接收到暂停请求(例如，点击暂停按钮514)，能在视频内容显示区520中呈现对应于暂停请求的视频帧(例如，在230处识别的视频帧)。

图5B、5C和5D示出根据一些实施方式的用于呈现与视频内容有关的商业信息的用户界面的说明性示例。例如，能使用一个或多个商业信息呈现项530来呈现与对应于暂停请求的视频帧内的一个或多个检测的对象521或523有关的商业信息。

尽管在图5B、5C或5D中未示出，但在一些实施方式中，能在视频内容显示区520中指示对应于暂停请求的视频帧内的一个或多个检测的对象521和523。在一些实施方式中，能以任何适当的方式，在视频内容显示区520中表示结合图1在120处检测的一个或多个对象521和523。例如，可以由一个或多个用户界面元素(诸如一个或多个指针，一个或多个光点、一个或多个颜色点、一个或多个对象的增强帧等)表示一个或多个对象521和523。如另一示例，当由用户将鼠标指针移动到检测的对象的位置时，能使用声音、光、弹出窗口和/或任何其他适当的用户界面元素来指示检测的对象。

在一些实施方式中，商业信息呈现项530能呈现与检测的对象521或523有关的任何适当的商业信息，诸如商业信息的片段(例如，快速事实或任何其他适当的文本片段)、缩略图图像、指向用于附加内容的web页面的链接(例如，统一资源定位符(URL)或条码(例如，快速响应(QR)码)、在子标题信息中提及的提取的关键字等。

在一些实施方式中，能以任何适当的方式，呈现商业信息呈现项530。例如，如图5B所示，能在覆盖视频内容呈现区520的浮动窗口内提供商业信息呈现项530。在更具体的示例中，能将商业信息呈现项530提供为透明，其中，能在视频内容呈现区520上覆盖商业信息。在另一示例中，如图5C所示，能在与视频内容呈现区520相邻放置的商业信息窗口540中提供和列出一个或多个商业信息呈现项530。在又一示例中，如图5D所示，能在第一屏幕设备591(例如，结合图6所述的媒体回放设备613)上呈现对应于暂停请求的视频帧，而能在第二屏幕设备592(例如，结合图6所述的移动设备611)上呈现的商业信息窗口540中，提供和列出一个或多个商业信息呈现项530。

在一些实施方式中，能将一个或多个商业信息呈现项530与一个或多个对象521相关联。在一些实施方式中，能隐藏或省略与一个或多个对象523相关联的一个或多个商业信息呈现项。在一些实施方式中，能响应于接收到用户请求，诸如选择对象523，呈现与对象523相关联的商业信息呈现项530。应注意到，尽管分别在图5B、5C和5D中示出了三个商业信息呈现项530，但能向用户呈现任何适当数量的商业信息呈现项(包括一个也没有)。

尽管在图5B、5C或5D中未示出，在一些实施方式中，商业信息呈现项530能与用户交互。例如，如果用户对在商业信息呈现项上呈现的商业信息不感兴趣或不再感兴趣，能从用户界面500移除商业信息呈现项530。在具体的示例中，在一些实施方式中，能通过在商业信息呈现项530上或“消除”图标(例如，商业信息呈现项530的角上的“X”或任何其他适当图标)上点击或敲击，消除商业信息呈现项530。如另一具体示例，在一些实施方式中，能通过滑动或拖动商业信息呈现项到用户界面500的边界外，消除商业信息呈现项530。类似地，在一些实施方式中，能通过点击、敲击或任何适当的机制，选择商业信息呈现项530。

如另一示例，能选择商业信息呈现项530来执行动作或呈现附加信息(例如，访问链接以回顾与对应于检测的对象的商品项有关的介绍或规格)。在更具体的示例中，如果商业信息呈现项530呈现对商品网站的链接，可以选择商业信息呈现项530，并且作为响应，可以执行动作，例如运行访问具有相应的商品项的信息和/或购买选择的Web浏览应用。如另一更具体示例，如果商业信息呈现项530呈现介绍相应的商品项的视频，可以选择商业信息呈现项530，并且作为响应，能向用户显示该视频。在另一适当的示例中，商业信息呈现项530能包括一个或多个用户界面元素来允许用户购买相应的商品项(例如，下订单和/或进行支付)。在另一适当的示例中，选择商业信息呈现项530能使相应的商品项被放在用于稍后做出购买决定的队列中。

转到图6，示出根据本公开主题的一些实施方式的用于呈现与视频内容有关的商业信息的系统的概述示意图的示例600。如所示，系统600可以包括一个或多个视频内容服务器621、一个或多个视频处理服务器623、一个或多个商品服务器625、通信网络650、一个或多个移动设备611、一个或多个媒体回放设备613、通信链路631、633、635、641、643、645、647和649和/或其他适当的部件。

视频内容服务器621可以包括能流媒体或提供视频内容和/或执行任何其他适当的功能的一个或多个服务器。例如，视频内容服务器621可以包括电话电视提供商、卫星电视提供商、视频流媒体服务、视频托管服务等。

视频处理服务器623可以包括能够接收、处理、存储和/或发布视频内容、执行对象检测和/或识别、接收、处理、存储和/或提供与商品项有关的商业信息、搜索匹配商品项和/或执行任何其他适当的功能的一个或多个服务器。

商品服务器625可以包括能够存储商品项的商业信息、与商品项相关联的图像指纹和/或任何其他适当的信息，且能够搜索匹配商品项和/或执行任何其他适当的功能的一个或多个服务器。

移动设备611可以是或可以包括能够接收、处理、转换、传送和/或渲染媒体内容、接收用户请求和/或执行任何其他适当的功能的任何适当的设备。例如，移动设备611可以被实现为移动电话、平板式计算机、可佩戴计算机、电视设备、机顶盒、数字媒体接收机、游戏控制台、个人计算机、膝上型计算机、个人数据助理(PDA)、家庭娱乐系统、任何其他适当的计算设备或其任意适当组合。

媒体回放设备613可以是或可以包括能够执行与媒体内容有关的其他适当功能(诸如呈现视频内容、呈现与视频内容有关的商业信息等)的任何适当的设备。例如，移动设备可以被实现为移动电话、平板式计算机、可佩戴计算机、电视设备、个人计算机、膝上型计算机、家庭娱乐系统、交通工具(例如汽车、轮船、飞机等)娱乐系统、便携式媒体播放器及其任何适当组合。

在一些实施方式中，视频内容服务器621、视频处理服务器623、商品服务器625、移动设备611和媒体回放设备613的每一个可以是通用设备的任何一个，诸如计算机或专用设备，诸如客户端、服务器等。这些通用或专用设备的任何一个能包括任何适当的组件，诸如硬件处理器(其可以是微处理器、数字信号处理器、控制器等)、存储器、通信接口、显示控制器、输入设备、存储设备(其可以包括硬盘、数字视频录像机、固态存储设备、可移动存储设备或任何其他适当的存储设备)等。

在一些实施方式中，通信网络650可以是包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线路(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网(VPN)等的任何适当的计算机网络或这些网络的组合。

在一些实施方式中，视频处理服务器623能分别通过通信链路647和649，连接到视频内容服务器621和商品服务器625。移动设备611能通过通信链路635，连接到媒体回放设备613。移动设备611、媒体回放设备613、视频内容服务器621、视频处理服务器623和商品服务器625能分别通过通信链路631、633、641、643和645，连接到通信网络650。通信链路631、633、635、641、643、645、647和649可以是和/或可以包括适合于在移动设备611、媒体回放设备613、视频内容服务器621、视频处理服务器623、商品服务器625之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬布线链路、任何其他适当的通信链路或这些链路的任意适当组合。

在一些实施方式中，视频内容服务器621、视频处理服务器623和商品服务器625的每一个、移动设备611和媒体回放设备613可以被实现为独立设备或与系统600的其他部件集成。例如，在一些实施方式中，一个或多个视频内容服务器621、一个或多个视频处理服务器623和一个或多个商品服务器625可以被实现为一个服务系统。如另一示例，在一些实施方式中，一个或多个移动设备611和一个或多个媒体回放设备613可以被实现为一个用户系统。

图7示出根据所公开的主题的某些实施方式的能用来实现用户设备(例如，结合图6的移动设备611和/或媒体回放设备613)和服务器720(例如，结合图6的视频内容服务器621、视频处理服务器623和/或商品服务器625)的硬件的示例700。参考图7，用户设备710可以包括可以被互连的硬件处理器712、显示器714、输入设备716、以及存储器718。在一些实施方式中，存储器718可以包括用于存储用于控制硬件处理器712的计算机程序的存储设备(诸如，非暂时性计算机可读介质)。

硬件处理器712可以使用计算机程序来在显示器714上呈现内容和/或界面，其允许用户与Web浏览应用相交互并通过通信链路731来发送和接收数据。还应注意的是可以从任何适当的源接收通过通信链路731或任何其它通信链路接收到的数据。在一些实施方式中，硬件处理器712可以通过通信链路731或任何其它通信链路，使用例如发送器、接收器、发送器/接收器、收发器、或任何其它适当的通信设备来发送和接收数据。输入设备716可以是计算机键盘、鼠标、轨迹球、小键盘、遥控器、任何其它适当的输入设备、或其任何适当的组合。补充地或替选地，输入设备716可以包括能够接收输入(例如，使用手指、触针等)的触摸屏显示器714。

服务器720可以包括可以被互连的硬件处理器722、显示器724、输入设备726、以及存储器728。在一些实施方式中，存储器728可以包括用于存储通过通信链路732或通过其它链路接收到的数据的存储设备，并且存储器722可以接收由例如用户设备710的一个或多个用户传送的命令和值。存储设备可以进一步包括用于控制硬件处理器722的服务器程序。

本文所述的用于呈现与视频内容有关的商业信息的机制能在用户设备710和/或服务器720中实现为软件、固件、硬件和/或其任意适当组合。

在一些实施方式中，可以将服务器720实现为一个服务器或者可以分布为任何适当数目的服务器。例如，可以在各种位置上实现多个服务器720以增加可靠性、应用的功能、和/或服务器能够与用户设备710进行通信的速度。

在一些实施方式中，所述应用可以包括客户端侧软件、服务器侧软件、硬件、固件、或其任何适当组合。例如，应用可以包括使得一个或多个处理器执行所述内容生成应用的计算机程序。作为另一示例，所述应用可以包括用正执行应用的移动设备611和/或服务器621可识别的编程语言编写的计算机程序(例如，用诸如Java、C、Objective-C、C++、C#、Javascript、Visual Basic、HTML、XML、ColdFusion、任何其它适当方法、或其任何适当组合的编程语言编写的程序)。

在一些实施方式中，所述应用可以包括一个或多个Web页面或Web页面部分(例如，经由任何适当的编码，诸如超文本标记语言(“HTML”)、动态超文本标记语言(“DHTML”)、可扩展标记语言(“XML”)、JavaServer页面(“JSP”)、动态服务器页面(“ASP”)、ColdFusion、或任何其它适当方法)。

在一些实施方式中，可以使用任何适当的计算机可读介质来存储用于执行本文所述的过程的指令。例如，在一些实施方式中，计算机可读介质可以是暂时性的或非暂时性的。例如，非暂时性计算机可读介质可以包括诸如磁介质(诸如硬盘、软盘和/或任何其他适当的介质)、光学介质(诸如紧凑盘、数字视频盘、Blu-ray盘和/或任何其他适当的介质)、半导体介质(诸如闪存、电可编程序只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)和/或任何其他适当的半导体介质)、在传输期间不稍纵即逝且不缺乏任何持久外观的任何适当介质、和/或任何适当有形介质。作为另一示例，暂时性计算机可读介质可以包括在网络上、在导线、导体、光纤、电路中、在传输期间稍纵即逝并缺少任何持久外观的任何适当介质、和/或任何适当无形介质中的信号。

提供本文所述的示例(以及措辞为“诸如”、“例如”、“包括”等的子句)不应当解释为将所要求的主题限定到具体的示例，相反，这些示例旨在仅示例许多可能方面中的一些。

因此，提供用于呈现与视频内容有关的商业信息的方法、系统和介质。

虽然在前述说明性实施方式中描述并示出本公开主题，但应理解的是本公开仅仅是以示例的方式完成的，并且在不背离仅仅由随后的权利要求限制的本公开主题的精神和范围的情况下可以进行本公开主题的实施方式的细节方面的许多改变。可以以各种方式将所公开的实施方式的特征组合和重新布置。