用于在视频帧中识别物品的视频处理系统的制作方法
【专利摘要】一种方法及系统基于在来自移动装置的视频帧中识别的物品为移动装置的用户产生报价。视频帧选择器模块确定来自所述移动装置的待处理视频帧。物品识别模块在所述所确定视频帧中识别物品且用所述物品的标识给所述所确定视频帧加标签。为所述移动装置产生来自至少一个商家的所述所识别物品的报价。
【专利说明】用于在视频帧中识别物品的视频处理系统
[0001]相关申请案交叉参考
[0002]本申请案主张2011年3月17日提出申请的第13/050，721号美国专利申请案的优先权权益，所述专利申请案以全文引用的方式并入本文中。
【技术领域】
[0003]本申请案的实例性实施例大体来说涉及图像辨识，且更具体来说涉及一种用于在视频帧中识别物品的方法及系统。
【背景技术】
[0004]例如智能电话等移动装置已变得越来越普遍。大多数智能电话包含用于拍摄图片的光学镜头。在(举例来说)朋友住所处或正在街道上行走时对一物品感兴趣的用户可使用智能电话上的相片特征来拍摄所述物品的图片。遗憾地，智能电话的用户必须握持移动装置，且正摄取的物体需要保持静态，否则图片结果将是模糊的。如此，用户可选择记录动态场景的视频来代替拍摄图片。
【发明内容】
【专利附图】
【附图说明】
[0005]在附图的各图中，以实例的方式而非限制的方式来图解说明本发明，附图中:
[0006]图1是描绘根据一个实施例的具有经配置以用于在网络上交换数据的客户端-服务器架构的网络系统的网络图；
[0007]图2是图解说明视频处理器应用程序的实例性实施例的框图；
[0008]图3是图解说明视频帧选择器模块的实例性实施例的框图；
[0009]图4是图解说明物品识别模块的实例性实施例的框图；
[0010]图5是图解说明基于位置的激励模块的实例性实施例的框图；
[0011]图6是图解说明位置识别模块的实例性实施例的框图；
[0012]图7是图解说明激励模块的实例性实施例的框图；
[0013]图8是图解说明数据结构的实例性实施例的表；
[0014]图9A是图解说明经加标签视频帧的实例的框图；
[0015]图9B是图解说明经加标签视频帧的另一实例的框图；
[0016]图10是用于用物品给视频帧加标签的实例性方法的流程图；
[0017]图11是用于选择视频帧的实例性方法的流程图；
[0018]图12是用于给视频帧加标签的实例性方法的流程图；
[0019]图13A是用于在视频帧中识别物品的实例性方法的流程图；
[0020]图13B是用于在视频帧中识别物品的另一实例性方法的流程图；
[0021]图14A是用于提供关于经加标签视频帧中的物品的信息的实例性方法的流程图；[0022]图14B是用于提供关于经加标签视频帧中的物品的基于位置的信息的实例性方法的流程图；
[0023]图15A是用于识别基于位置的激励的另一实例性方法的流程图；
[0024]图15B是用于识别目标性激励的另一实例性方法的流程图；
[0025]图15C是用于扩展对本地激励的搜索的实例性方法的流程图；
[0026]图16展示呈计算机系统的实例性形式的机器的图解表示，可在所述机器内执行致使所述机器执行本文中所论述的方法中的任何一者或一者以上的指令集。
【具体实施方式】
[0027]虽然已参考特定实例性实施例描述了本发明，但将显而易见，可在不背离本发明的较广泛精神及范围的情况下对这些实施例做出各种修改及改变。因此，应将说明书及图式视为具有说明性意义而非限制性意义。
[0028]在各种实施例中，一种方法及系统基于在来自移动装置的视频帧中识别的物品而给移动装置的用户产生报价。视频帧选择器模块确定来自所述移动装置的待处理视频帧。物品识别模块使用图像辨识算法在所述所确定视频帧中识别物品且用所述物品的标识给所述所确定视频帧加标签。还可在所述视频帧中邻近于所述所识别物品放置识别所述物品的标签。在一个实施例中，所述报价仅包含通过一个或一个以上商家购买产品的报价。在另一实施例中，所述报价包含基于移动装置的地理位置的对所述移动装置的用户的激励。激励包含且不限于促销、折扣、廉价出售、优惠券等等。在另一实施例中，所述激励还可包含物品推荐。
[0029]图1是描绘根据一个实施例的具有经配置以用于在网络上交换数据的客户端-服务器架构的网络系统100的网络图。举例来说，网络系统100可为其中客户端可在网络系统100内传达及交换数据的发布/发布者系统102。所述数据可涉及与网络系统100及其用户相关联的各种功能(例如，在线物品购买)及方面(例如，管理内容及用户信誉值)。虽然在本文中作为实例图解说明为客户端-服务器架构，但其它实施例可包含其它网络架构，例如对等或分布式网络环境。
[0030]呈基于网络的发布者102的实例性形式的数据交换平台可经由网络104(例如，因特网)给一个或一个以上客户端提供服务器侧功能性。所述一个或一个以上客户端可包含利用网络系统100且更具体来说利用基于网络的发布者102在网络114上交换数据的用户。这些交易可包含向网络系统100的用户发射、从所述用户接收(传达)及处理关于网络系统100的内容及用户的数据。所述数据可包含(但不限于)例如以下各项的内容及用户数据:反馈数据；用户信誉值；用户简档；用户属性；产品与服务评论；产品、服务、制造及卖场推荐及识别符；与买方及卖方相关联的产品与服务列表；拍卖出价；及交易数据以及其它。
[0031]在各种实施例中，网络系统100内的数据交换可取决于通过一个或一个以上客户端或用户接口(UI)可用的用户选择的功能。所述UI可与客户端机器(例如使用web客户端110的客户端机器106)相关联。web客户端110可经由web服务器120与基于网络的发布者102通信。所述UI还可与使用程序客户端112 (例如客户端应用程序)的客户端机器108或托管第三方应用程序116的第三方服务器114相关联。可了解，在各种实施例中，客户端机器106、108或第三方应用程序114可与买方、卖方、第三方电子商务平台、付款服务提供者或装运服务提供者相关联，每一者均与基于网络的发布者102通信且任选地彼此通信。买方及卖方可为个体、商家或服务提供者以及其它中的任一者。
[0032]移动装置132也可经由web服务器120与基于网络的发布者102通信。移动装置132可包含提供客户端机器106及108的功能性中的至少一些功能性的便携式电子装置。移动装置132可包含经配置以与应用程序服务器122通信的第三方应用程序116 (或web客户端)。在一个实施例中，移动装置132包含GPS模块134及光学镜头136。GPS模块134经配置以确定移动装置132的位置。光学镜头136使得移动装置132能够拍摄图片及视频。
[0033]具体来说，转到基于网络的发布者102，应用程序接口(API)服务器118及web服务器120分别耦合到一个或一个以上应用程序服务器122且提供到其的程序及web接口。应用程序服务器122托管一个或一个以上发布应用程序124。又展示应用程序服务器122耦合到促进对一个或一个以上数据库128的接入的一个或一个以上数据库服务器126。
[0034]在一个实施例中，web服务器120及API服务器118经由各种用户输入工具传达及接收涉及列表、交易及反馈以及其它的数据。举例来说，web服务器120可将数据发送到在客户端机器(例如，客户端机器106)上操作的浏览器应用程序(例如，web客户端110)上的工具栏或网页及从所述工具栏或网页接收数据。API服务器118可将数据发送到在另一客户端机器(例如，客户端机器108或第三方服务器114)上运行的应用程序(例如，客户端应用程序112或第三方应用程序116)及从所述应用程序接收数据。
[0035]发布应用程序124可给接入基于网络的发布者102的用户提供若干个发布者功能及服务(例如，列表、付款等)。举例来说，发布应用程序124可给用户提供用于列出待售的商品及/或服务、促进交易以及评论及提供关于交易及相关联用户的反馈的若干个服务及功能。另外，发布应用程序124可跟踪并存储与列表、交易及与基于网络的发布者102的用户交互有关的数据及元数据。
[0036]图1还图解说明可在第三方服务器114上执行且可经由由API服务器118提供的程序接口而可对基于网络的发布者102进行程序接入的第三方应用程序116。举例来说，第三方应用程序116可使用从基于网络的发布者102检索的信息来支持由第三方托管的网站上的一个或一个以上特征或功能。举例来说，第三方网站可提供由基于网络的发布者102的相关应用程序支持的一个或一个以上列表、反馈、发布者或付款功能。
[0037]基于网络的发布者102可提供众多反馈、信誉、聚合以及列表及定价机制，借此用户可为列出在基于网络的发布者102上发布的商品及/或服务(例如，待售)的卖方或购买在基于网络的发布者102上发布的商品及/或服务(例如，待售)的买方。
[0038]展示了发布应用程序124包含(除其它之外)一个或一个以上应用程序，所述一个或一个以上应用程序支持基于网络的发布者102且更具体来说支持列出待售的商品及/或服务、响应于涉及列表的交易而接收反馈以及基于用户之间的交易数据而产生用户的信誉值。
[0039]应用程序服务器122可包含与发布应用程序124通信的视频处理器应用程序130。所述视频处理器应用程序处理从移动装置132发送的视频帧以识别视频帧中所含有的物品，且向移动装置提供物品列表及产生报价或激励，如下文进一步描述。在经处理视频帧中识别出物品时，给视频帧加标签以允许“购物暂停”，在“购物暂停”中移动装置132的用户可暂停视频内容且更多地了解或购买正在视频帧中展示的所识别物品。
[0040]图2是图解说明视频处理器应用程序130的实例性实施例的框图。视频处理器应用程序130可包含视频帧选择器模块202、物品识别模块204、市场价格模块206及基于位置的激励应用程序208。每一模块(或其组件或子模块)可以硬件、软件、固件或其任何组合来实施。在实例性实施例中，前述模块中的每一者可由至少一个处理器实施。
[0041]视频帧选择器模块202确定将处理来自移动装置132的哪一视频帧(来自视频剪辑)。关于图3更详细地解释视频帧选择器模块202的实施例及操作。
[0042]物品识别模块204在选定视频帧中识别物品并用所述物品的标识给所确定视频帧加标签。关于图4更详细地解释物品识别符模块204的实施例及操作。
[0043]市场价格模块206为移动装置产生来自至少一个商家的所识别物品的报价。举例来说，市场价格模块206使用在线数据库、在线价格比较网站及/或在线零售商价格来确定所识别物品的当前市场价格。在一个实施例中，市场价格模块206可提供所识别物品的来自在线拍卖网站的最新出价。在另一实施例中，市场价格模块206可提供在零售店(附近或在线)处出售的所识别物品的价格。
[0044]基于位置的激励应用程序208基于所识别物品及移动装置132的地理位置而提供来自至少一个本地商家的激励。关于图5更详细地解释基于位置的激励应用程序208的实施例及操作。
[0045]图3是图解说明视频帧选择器模块202的实例性实施例的框图。视频帧选择器模块202包括视频帧分析器模块302及视频帧标签模块304。
[0046]为了有效地处理视频帧，视频处理器应用程序130仅处理超过预定运动量借此指示视频帧标的物的改变或移动的视频帧。如此，视频帧分析器模块302确定来自移动装置132的视频剪辑中的第一视频帧与第二视频帧之间的场景差异。举例来说，视频可包含被摄体正沿着街道行走。如此，在视频剪辑中，所述人将相对于街道移动。视频帧分析器模块302因此分析标的物已在第一视频帧与第二帧之间移动了多少的差异。
[0047]当所述差异超过预定运动量时，视频帧标签模块304给第一或第二视频帧加标签以用于物品识别。如此，并不处理每个视频帧来用于物品识别，从而保存资源。出于识别目的而给将处理以用于物品识别的视频帧加标签。举例来说，用“购物暂停”标签给已选择为处理的视频帧加标签。经加标签视频帧也称为所确定或选定视频帧。在另一实施例中，视频帧标签模块在给视频帧加标签以用于购物暂停之前首先确定所述视频帧是否含有待识别的物品。
[0048]图4是图解说明物品识别模块204的实例性实施例的框图。物品识别模块204包含场景解构器模块402、图像辨识模块404、区域选择器模块406及用户标签模块408。
[0049]场景解构器模块402将所确定视频帧中的场景解构成数个区域。举例来说，场景解构器模块402分析视频帧的每一区域以用于物品识别。举例来说，所述视频帧可能含有具有帽子、手提包及鞋子的人的图像。场景解构器模块402单独地分析一个区域中的帽子、另一区域中的手提包及另一区域中的鞋子。
[0050]图像辨识模块404基于来自所确定视频帧的物品的图像与使用图像辨识算法的物品图像库的比较而识别物品。图像辨识模块404在所确定视频帧中进一步标注所识别物品的图像。在另一实施例中，图像辨识模块404在所确定视频帧的对应区域中识别物品。在另一实施例中，图像辨识模块404在所确定视频帧中的选定区域中识别物品。在一个实施例中，图像辨识模块404确定所识别物品的名称及所识别物品的价格且在所确定视频帧中邻近于所识别物品的图像标注所识别物品的名称及价格。
[0051]区域选择器模块406接收对所确定视频帧中的区域的用户选择以识别物品。举例来说，用户可选择视频帧中将聚焦的区域。使用先前实例，用户可轻击视频帧中帽子的图像以识别用户感兴趣的物品。在另一实例中，用户可轻击并拖动视频帧中的矩形区域以供图像辨识模块404聚焦并分析选定矩形区域中的物品。
[0052]用户标签模块408接收用户输入标签以帮助在所确定视频帧中识别物品。举例来说，用户可轻击视频帧中帽子的图像且接着键入字“帽子”以供图像辨识模块404将其搜索聚焦于帽子上。可将字“帽子”加标签给所识别物品。
[0053]图5是图解说明基于位置的激励模块的实例性实施例的框图。基于位置的激励应用程序208具有位置识别模块502及激励模块506。
[0054]位置识别模块502确定移动装置132的地理位置。激励模块506基于所识别物品及移动装置132的地理位置而传达来自一个或一个以上本地商家的激励。所述激励可包含优惠券、折扣或推荐。
[0055]在一个实施例中，基于位置的激励应用程序502接收来自移动装置132的通信。举例来说，所述通信可包含移动装置132的位置。基于移动装置132的位置及来自物品识别符模块204的所识别物品，激励模块506查阅数据库服务器126及数据库128以确定来自本地商家的激励并将其传达给移动装置132。
[0056]在另一实施例中，激励模块506识别移动装置的区域中具有现货的待售所识别物品的本地商家。
[0057]图6是图解说明位置识别模块502的实例性实施例的框图。可以许多方式来确定移动装置132的位置。举例来说，移动装置132可配备有全球定位服务(GPS)系统，其将允许所述装置将移动装置的坐标或位置传达给位置识别模块502的GPS/三角测量模块602。在另一实例中，可使用移动装置132的无线信号有效范围内的无线通信塔及/或无线节点(例如，w1-fi热点)通过三角测量来确定移动装置132的位置。基于地理坐标，位置识别模块502的GPS/三角测量模块602可在查阅测绘数据库(未展示)之后确定移动装置132的地理位置。此外，可在移动装置132的用户登录到本地因特网连接(举例来说，旅馆或咖啡店处)上时定位移动装置132的大体位置。
[0058]位置识别模块502还可包含位置输入模块606，位置输入模块606经配置以通过请求用户输入地址、城市、邮政编码或其它位置信息来确定移动装置132的地理位置。在一个实施例中，用户可从移动装置132上的位置列表或地图选择位置。举例来说，移动装置132的用户经由移动装置132上的应用程序或web浏览器输入移动装置132的位置。
[0059]位置识别模块502还可包含位置相依搜索项模块604。可在移动装置132的用户使用位置相依搜索项在移动装置上请求搜索时推断移动装置132的位置。举例来说，用户在他/她的移动装置上输入对“圣何塞最好的日本餐厅”的搜索。位置相依搜索项模块604查阅可确定圣何塞最好的日本餐厅的地理位置的数据库(未展示)。位置相依搜索项模块604接着推断移动装置132的用户处于所述地理位置。在实例性实施例中，位置相依搜索项模块502可基于由用户提交的搜索项且不管搜索结果如何或用户是否实际上进行所述搜索而推断用户的位置。使用前述实例，位置相依搜索项模块504可剖析由用户键入的搜索查询且推断用户位于圣何塞或周围。
[0060]位置识别模块502还可包含经配置以基于与唯一地理位置相关联的标签而确定移动装置132的地理的标签模块608。举例来说，所述标签可包含与唯一地理位置相关联的条形码标签，例如线性条形码、QR条形码或其它二维(2D)条形码、射频识别(RFID)标签。举例来说，移动装置132的用户可使用他/她的移动装置来扫描放置在地标或商店处的标签。所述标签与路标或商店的地理位置唯一地相关联。此关系可存储于数据库中。标签模块608可接着在查阅数据库之后基于所述标签而确定移动装置132的地理位置。
[0061]图7是图解说明可用于执行本文中所描述的过程的激励模块506的实例性实施例的框图。激励模块506包含本地商家模块702、物品类别模块704、激励匹配模块706、用户偏好模块708、激励接收器模块71 O、激励代码产生器模块712以及通信模块714。
[0062]本地商家模块702基于由位置识别模块502确定的移动装置132的地理位置而识别具有至少一个激励的至少一个本地商家。本地商家是距移动装置132的地理位置的距离在预定义距离范围内的商家或零售商。在一个实施例中，本地商家模块702基于在用户偏好模块708中指定的经更新搜索距离偏好而识别具有至少一个激励的至少一个本地商家。
[0063]应注意，本地商家的激励可能或可能不对应于由用户识别的物品。举例来说，本地商家可能特价出售鞋子，而所识别物品对应于数码相机。一旦基于移动装置的地理位置而识别出具有激励的所有本地商家(使用激励数据库)，激励匹配模块706便基于所识别物品而对所有本地商家进行过滤。在先前实例中，可从搜索结果滤除廉价出售鞋子的本地商家。
[0064]物品类别模块704确定由用户指定且由物品识别模块204识别的物品的类别。举例来说，用户可指定特定数码相机。物品类别模块504确定由用户指定的物品归入到电子装置类别、相机子类别中。
[0065]激励匹配模块706确定由用户指定的所识别物品是否对应于在由本地商家模块702确定的至少一个本地商家的至少一个激励中识别的物品。举例来说，用户用他/她的移动装置132指定物品。所述物品被识别为特定数码相机。物品识别模块204产生所指定数码相机的品牌、型号、颜色以及其它属性。本地商家模块702识别在移动装置132的地理位置本地的具有激励的商家。激励匹配模块706匹配具有关于特定数码相机的激励(例如，廉价出售或折扣)的本地商家。
[0066]在另一实施例中，激励匹配模块706确定由用户识别的物品的类别是否对应于由物品类别模块704确定且在至少一个本地商家的至少一个激励中识别的物品的类别。举例来说，用户用他/她的移动装置指定物品。所述物品被识别为特定数码相机。物品识别模块204产生所指定数码相机的品牌、型号、颜色及其它属性。物品类别模块704确定所识别物品的类别:电子装置。本地商家模块702识别在移动装置的地理位置本地的具有激励的商家。激励匹配模块706匹配具有关于电子装置或与数码相机相关的类别的激励(例如，廉价出售或折扣)的本地商家。
[0067]用户偏好模块708提供在确定本地商家或物品的品牌或类别的过程中使用的用户定义的偏好。在一个实施例中，用户偏好模块708允许用户更新针对本地商家的搜索距离偏好。举例来说，用户可能希望减小在城市的市中心区域中的距离偏好的半径。相反地，用户可能希望增大在城市的郊区或乡村区域中的距离偏好的半径。在另一实施例中，用户偏好模块708还可允许用户指定最喜爱的物品品牌或最喜爱的商家或零售商。
[0068]激励代码模块712产生与由用户在移动装置处选择的至少一个激励相关联的代码。所述代码在对应本地商家处在预定时间周期内为有效的。举例来说，用户在他/她的移动装置上选择来自本地商家的优惠券。激励代码模块712产生与优惠券相关联的代码。将所述代码传达给用户的移动装置。用户将代码带到对应的本地商家以兑换折扣。可通过将代码展示或告知给本地商家的结账台处的收银员而在本地商家处兑换所述代码。收银员可接着在结账台处键入代码以确定所述代码的有效性且适当地应用折扣或促销。还可通过在移动装置的屏幕上显示机器可读代码(例如条形码)来兑换代码。用户接着向结账台处的收银员显示条形码，所述收银员可扫描所述条形码以确定代码的有效性且适当地应用折扣或促销。
[0069]在一个实施例中，所述代码可在预定时间周期(例如，一天、一周)内为有效的。在另一实施例中，所产生代码可与移动装置的用户唯一地相关联且可在使用之后立即过期。
[0070]通信模块714将来自至少一个本地商家的所识别物品的一个或一个以上激励传达给移动装置。举例来说，显示移动装置的预设距离半径(例如，一英里)内的本地商家的列表。本地商家的列表可包含关于由移动装置的用户识别的物品的廉价出售或折扣。所述列表还可包含位于预设距离半径之外的所推荐商家(具有关于所识别物品的激励)的列表。
[0071]在另一实施例中，通信模块714将来自至少一个本地商家的物品的所识别类别的一个或一个以上激励传达给移动装置。举例来说，显示在移动装置的预设距离半径(例如，街区)内的本地商家的列表。本地商家的列表可包含具有关于与由移动装置的用户指定的所识别物品类似或相关的物品的廉价出售或折扣的商家。所述列表还可包含位于预设距离半径之外的所推荐商家(具有关于与所识别物品类似的物品的激励)的列表。
[0072]激励接收器模块710从商家收集激励的属性并将激励的属性存储于激励数据库中。图8中进一步描述激励数据库的数据结构的实例。
[0073]图8是图解说明数据结构的实例的属性的框图。在一个实施例中，所述数据结构包含针对物品的激励的属性。举例来说，所述属性包含商家的名称属性802、物品的名称属性804、物品的品牌属性806、物品的型式属性808、物品的类别标签810、物品的子类别标签812、物品的金融促销属性814及物品的金融促销条款属性816。
[0074]商家名称属性802包含本地商家的名称(例如,乔氏电子商店)。物品名称属性804包含物品的名称(例如，数码相机XYZ D001)o品牌属性806包含物品的品牌名称(例如，品牌XYZ)。型式属性808包含物品的型号(例如，D001)。类别标签810包含与物品相关联的类别元数据(例如，个人电子装置)。子类别标签812包含与物品相关联的子类别元数据(例如，数码相机)。金融促销属性814包含与物品相关联的廉价出售或折扣(例如，所有数码相机打六折或所有品牌XYZ数码相机打八折)。金融促销条款816包含与物品相关联的廉价出售或折扣的条款(例如，折扣在XX / XX / XXXX到期，折扣在从今日起的一周到期，或折扣仅今日有效)。
[0075]图9A是图解说明经加标签视频帧900的实例的框图。视频帧900已由视频帧选择器模块202选择用于处理。物品识别模块204已在视频帧900中识别两件物品(例如，帽子902及手提包904)。视频帧标签模块304在视频帧900上针对每一所识别物品产生调出泡。在一个实施例中，可在视频帧上邻近于相应所识别物品放置调出泡。举例来说，调出泡906给帽子902标注所识别物品的市场价格。类似地，调出泡908给手提包904标注所识别物品的市场价格。
[0076]图9B是图解说明经加标签视频帧901的另一实例的框图。用户已在视频帧内选择供物品识别模块204处理的特定区域。举例来说，用户可能仅对手提包感兴趣。如此，用户已在视频帧900上描画感兴趣区910以识别手提包904。
[0077]图10是用于用物品给视频帧加标签的实例性方法的流程图。在1002处，确定是否将处理来自移动装置的视频帧。在1004处，识别所确定或选定视频帧中的物品。在1006处，可用视频帧中的物品的标识给所述视频帧加标签。
[0078]图11是用于选择视频帧的实例性方法的流程图。在1102处，确定第一视频帧与第二视频帧之间的差异。在1104处，将第一帧与第二视频帧之间的差异与预定差异量进行比较。如果所述差异超过预定差异量，那么在1106处处理第一或第二视频帧并给其加标签以用于物品识别。
[0079]图12是用于给视频帧加标签的实例性方法的流程图。在1202处，将所确定视频帧中的场景解构成多个区域。在1204处，基于来自所确定视频帧的物品的图像与物品图像库的比较而识别来自每一区域的物品。在1206处，在所确定视频帧中标注所识别物品的图像。
[0080]图13A是用于在视频帧中识别物品的实例性方法的流程图。在1302处，用户在所确定视频帧中选择区域以识别物品。在1304处，识别所确定视频帧的选定区域中的物品。在1306处，标注所确定视频帧的选定区域中的所识别物品的图像。在一个实施例中，确定所识别物品的名称(例如，品牌、型式)及所识别物品的价格。在所确定视频帧中邻近于所识别物品的图像放置所识别物品的名称及价格。
[0081]图13B是用于在视频帧中识别物品的另一实例性方法的流程图。在1308处，用户在所确定视频帧中选择区域以识别物品。在1310处，接收用户输入标签以帮助在所确定视频帧中识别所述物品。在1312处，基于用户输入标签而识别所确定视频帧的选定区域中的物品。在1314处，标注所确定视频帧的选定区域中的所识别物品的图像。
[0082]图14A是用于提供关于经加标签视频帧中的物品的信息的实例性方法的流程图。在1402处，经由如先前所描述的购物暂停特征接收视频帧选择。在1404处，用户在视频帧中选择所识别物品。在1406处，系统提供卖场及商家的价格。在1408处，系统允许用户购买在视频帧中选择的所识别物品。如果用户决定购买所识别物品，那么系统从用户接收购买选择(包含商家选择)。
[0083]图14B是用于提供关于经加标签视频帧中的物品的基于位置的信息的实例性方法的流程图。在1402处，经由如先前所描述的购物暂停特征接收视频帧选择。在1404处，用户在视频帧中选择所识别物品。在1408处，系统确定移动装置132的地理位置且基于所识别物品及移动装置132的地理位置而提供来自至少一个本地商家的激励。所述激励可为优惠券、折扣或推荐。
[0084]图15A是用于识别目标性激励的实例性方法的流程图。在1502处，基于位置的激励应用程序208的位置识别模块502确定用户的移动装置132的地理位置。在1504处，基于位置的激励应用程序208的物品识别模块204识别由用户在移动装置132的地理位置处指定的物品。在1506处，激励模块506的本地商家模块702确定具有至少一个激励的本地商家。在1508处，基于位置的激励应用程序208的激励模块506的激励匹配模块706确定由用户指定的所识别物品是否对应于在操作1506处所确定的本地商家的至少一个激励中识别的物品。在1510处，基于位置的激励应用程序208的激励模块506的通信模块714传达具有针对所识别物品的激励的本地商家的列表。
[0085]图15B是用于识别目标性激励的另一实例性方法的流程图。在1512处，如果不存在具有关于所识别物品的激励的本地商家，那么基于位置的激励应用程序208的激励模块506的物品类别模块704确定所识别物品的类别。在1514处，基于位置的激励应用程序208的激励模块506的激励匹配模块706确定由用户指定的所识别物品的类别是否对应于在操作1506处所确定的本地商家的至少一个激励中识别的物品的类别。在1516处，基于位置的激励应用程序208的激励模块506的通信模块714传达具有关于来自所识别物品的相同类别的类似或相关物品的激励的本地商家的列表。
[0086]图15C是用于扩展对本地激励的搜索的实例性方法的流程图。在1518处，基于位置的激励应用程序208的激励模块506的通信模块714传达基于位置的激励应用程序208的激励模块506的激励匹配模块706未能发现来自与所识别物品相关的本地商家的任何激励。在1520处，激励模块506可提议用户扩展或增大用户偏好模块708中的针对本地商家的距离半径偏好。在1522处，可更新用户偏好模块708以在搜索具有激励的本地商家时反映新的距离半径偏好。
[0087]图16展示呈计算机系统1600的实例性形式的机器的图解表示，可在所述机器内执行致使所述机器执行本文中所论述的方法中的任何一者或一者以上的指令集。在替代实施例中，所述机器作为独立装置操作或可连接(例如，连网)到其它机器。在连网部署中，所述机器可在服务器-客户端网络环境中以服务器或客户端机器的能力操作或者在对等(或分布式)网络环境中作为对等机器操作。所述机器可为个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝式电话、web器具、网络路由器、交换机或桥接器或能够执行指定将由所述机器采取的动作的指令集(顺序或其它)的任何机器。此外，尽管仅图解说明单一机器，但术语“机器”还应视为包含个别地或联合地执行用以执行本文中所论述的方法中的任何一者或一者以上的一指令集(或多个指令集)的机器的任何集合。
[0088]实例性计算机系统1600包含经由总线1608彼此通信的处理器1602(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者)、主存储器1604及静态存储器1606。计算机系统1600可进一步包含视频显示单元1610(例如，液晶显示器(LCD)或阴极射线管(CRT))。计算机系统1600还包含字母数字输入装置1612(例如，键盘)、用户接口(UI)导航装置1614 (例如，鼠标)、磁盘驱动单元1616、信号产生装置1618 (例如，扬声器)及网络接口装置1620。
[0089]磁盘驱动单元1616包含机器可读媒体1622，机器可读媒体1622上存储有体现本文中所描述的方法或功能中的任何一者或一者以上或由所述任何一者或一者以上利用的一个或一个以上指令集及数据结构(例如，软件1624)。软件1624在其由计算机系统1600执行期间还可完全或至少部分地驻留于主存储器1604内及/或处理器1602内，主存储器1604与处理器1602也构成机器可读媒体。
[0090]可利用若干个众所周知的传送协议中的任一者(例如，HTTP)经由网络接口装置1620在网络1626上进一步发射或接收软件1624。
[0091]尽管在实例性实施例中将机器可读媒体1622展示为单一媒体，但术语“机器可读媒体”应视为包含存储一个或一个以上指令集的单一媒体或多个媒体(例如集中式或分布式数据库及/或相关联高速缓冲存储器及服务器)。术语“机器可读媒体”还应视为包含能够存储、编码或载运用于由机器执行且执行所述机器执行本发明的方法中的任何一者或一者以上的指令集且能够存储、编码或载运由此指令集利用或与此指令集相关联的数据结构的任何媒体。因此，术语“机器可读媒体”应视为包含但不限于固态存储器、光学媒体及磁性媒体。
[0092]提供本发明的摘要以允许读者快速弄清本技术发明的性质。提交本摘要是基于以下理解:其将并非用于解释或限制权利要求书的范围或含义。另外，在前述【具体实施方式】中，可看出出于简化本发明的目的，将各种特征一起集合在单一实施例中。本发明的此方法不应解释为反映所主张实施例需要比明确陈述于每一权利要求中更多的特征。而是，如所附权利要求书所反映，发明性标的物在于少于单一所揭示实施例的所有特征。因此，特此将所附权利要求书并入到【具体实施方式】中，其中每一权利要求独立地作为单独实施例。
【权利要求】
1.一种系统，其包括: 处理器实施的视频帧选择器模块，其经配置以确定从移动装置接收的待处理视频帧；处理器实施的物品识别模块，其经配置以在所述所确定视频帧中识别物品且用所述物品的标识给所述所确定视频帧加标签；及 处理器实施的市场模块，其经配置以为所述移动装置产生来自至少一个商家的所述所识别物品的报价。
2.根据权利要求1所述的系统，其进一步包括: 处理器实施的基于位置的激励模块，其经配置以基于所述所识别物品及所述移动装置的地理位置而提供来自至少一个本地商家的激励。
3.根据权利要求1所述的系统，其中所述处理器实施的视频帧选择器模块包括:视频帧分析器模块，其经配置以确定第一视频帧与第二视频帧之间的差异；及视频帧标签模块，其经配置以在所述差异超过预定量时给所述第一或第二视频帧加标签以用于物品识别。
4.根据权利要求1所述的系统，其中所述处理器实施的物品识别模块包括: 处理器实施的场景解构器模块，其经配置以将所述所确定视频帧中的场景解构成多个区域； 处理器实施的区域选择器模块，其经配置以接收对所述所确定视频帧中的区域的用户选择以识别所述物品； 处理器实施的用户标签模块，其经配置以接收用户输入标签以帮助在所述所确定视频帧中识别所述物品 '及 处理器实施的图像辨识模块，其经配置以基于来自所述所确定视频帧的所述物品的图像与物品图像库的比较而识别所述物品且在所述所确定视频帧中标注所述所识别物品的所述图像。
5.根据权利要求4所述的系统，其中所述处理器实施的图像辨识模块进一步经配置以在所述所确定视频帧的对应区域中识别所述物品。
6.根据权利要求4所述的系统，其中所述处理器实施的图像辨识模块进一步经配置以在所述所确定视频帧中的所述选定区域中识别所述物品。
7.根据权利要求4所述的系统，其中所述处理器实施的图像辨识模块进一步经配置以确定所述所识别物品的名称及所述所识别物品的价格，且在所述所确定视频帧中邻近于所述所识别物品的所述图像标注所述所识别物品的所述名称及价格。
8.根据权利要求3所述的系统，其中所述处理器实施的基于位置的激励模块包括: 处理器实施的位置识别模块，其经配置以确定所述移动装置的所述地理位置；及 处理器实施的激励模块，其经配置以基于所述所识别物品及所述移动装置的所述地理位置而提供来自所述至少一个本地商家的激励，其中所述激励包括优惠券、折扣或推荐。
9.根据权利要求8所述的系统，其中所述处理器实施的激励模块包括: 处理器实施的本地商家模块，其经配置以基于所述移动装置的所述地理位置而识别具有至少一个激励的所述至少一个本地商家； 处理器实施的激励匹配模块，其经配置以确定由所述用户识别的所述物品是否对应于在所述至少一个本地商家的所述至少一个激励中识别的物品； 处理器实施的通信模块，其经配置以将来自所述至少一个本地商家的所述所识别物品的所述至少一个激励传达给所述移动装置；及 处理器实施的激励接收器模块，其经配置以从至少一个本地商家接收激励的属性且将所述激励的所述属性存储于数据库中， 其中针对物品的所述激励的所述属性包括以下各项中的至少一者:所述本地商家的名称属性、所述物品的名称属性、所述物品的品牌属性、所述物品的型号属性、所述物品的类别标签、所述物品的子类别标签、所述物品的金融促销属性及所述物品的金融促销条款属性。
10.一种计算机实施的方法，其包括: 确定来自移动装置的待处理视频帧； 在所述所确定视频巾贞中识别物品； 用所述物品的标识给所述所确定视频帧加标签；及 为所述移动装置产生来自至少一个商家的所述所识别物品的报价。
11.根据权利要求10所述的计算机实施的方法，其进一步包括: 为所述移动装置产生来自至少一个商家的所述所识别物品的报价。
12.根据权利要求10所述的计算机实施的方法，其进一步包括: 基于所述所识别物品及所述移动装置的地理位置而提供来自至少一个本地商家的激励。
13.根据权利要求10所述的计算机实施的方法，其中确定所述视频帧包括: 确定第一视频帧与第二视频帧之间的差异；及 在所述差异超过预定量时给所述第一或第二视频帧加标签以用于物品识别。
14.根据权利要求10所述的计算机实施的方法，其中识别所述物品包括: 将所述所确定视频帧中的场景解构成多个区域； 接收对所述所确定视频帧中的区域的用户选择以识别所述物品； 接收用户输入标签以帮助在所述所确定视频帧中识别所述物品； 基于来自所述所确定视频帧的所述物品的图像与物品图像库的比较而识别所述物品；及 在所述所确定视频帧中标注所述所识别物品的所述图像。
15.根据权利要求14所述的计算机实施的方法，其进一步包括: 在所述所确定视频帧的对应区域中识别所述物品。
16.根据权利要求14所述的计算机实施的方法，其进一步包括: 在所述所确定视频帧中的所述选定区域中识别所述物品。
17.根据权利要求14所述的计算机实施的方法，其进一步包括: 确定所述所识别物品的名称及所述所识别物品的价格；及 在所述所确定视频帧中邻近于所述所识别物品的所述图像标注所述所识别物品的所述名称及价格。
18.根据权利要求12所述的计算机实施的方法，其进一步包括: 确定所述移动装置的地理位置；及 基于所述所识别物品及所述移动装置的所述地理位置而提供来自所述至少一个本地商家的所述激励，其中所述激励包括优惠券、折扣或推荐。
19.根据权利要求18所述的计算机实施的方法，其进一步包括: 基于所述移动装置的所述地理位置而识别具有至少一个激励的至少一个本地商家；确定由所述用户识别的所述物品是否对应于在所述至少一个本地商家的所述至少一个激励中识别的物品； 将来自所述至少一个本地商家的所述所识别物品的所述至少一个激励传达给所述移动装置； 从至少一个本地商家接收激励的属性且将所述激励的所述属性存储于数据库中， 其中针对物品的所述激励的所述属性包括以下各项中的至少一者:所述本地商家的名称属性、所述物品的名称属性、所述物品的品牌属性、所述物品的型号属性、所述物品的类别标签、所述物品的子类别标签 、所述物品的金融促销属性及所述物品的金融促销条款属性。
20.一种非暂时计算机可读存储媒体，其存储在由处理器执行时致使所述处理器执行操作的指令集，所述操作包括: 确定来自移动装置的待处理视频帧； 在所述所确定视频巾贞中识别物品； 用所述物品的标识给所述所确定视频帧加标签；及 为所述移动装置产生来自至少一个商家的所述所识别物品的报价。
21.根据权利要求20所述的非暂时计算机可读存储媒体，其进一步包括: 为所述移动装置产生来自至少一个商家的所述所识别物品的报价。
22.根据权利要求20所述的非暂时计算机可读存储媒体，其进一步包括: 基于所述所识别物品及所述移动装置的地理位置而提供来自至少一个本地商家的激励。
23.根据权利要求20所述的非暂时计算机可读存储媒体，其中确定所述视频帧包括: 确定第一视频帧与第二视频帧之间的差异；及 在所述差异超过预定量时给所述第一或第二视频帧加标签以用于物品识别。
24.根据权利要求20所述的非暂时计算机可读存储媒体，其中识别所述物品包括: 将所述所确定视频帧中的场景解构成多个区域； 接收对所述所确定视频帧中的区域的用户选择以识别所述物品； 接收用户输入标签以帮助在所述所确定视频帧中识别所述物品； 基于来自所述所确定视频帧的所述物品的图像与物品图像库的比较而识别所述物品；及 在所述所确定视频帧中标注所述所识别物品的所述图像。
25.根据权利要求24所述的计算机实施的方法，其进一步包括: 在所述所确定视频帧的对应区域中识别所述物品。
26.根据权利要求24所述的计算机实施的方法，其进一步包括: 在所述所确定视频帧中的所述选定区域中识别所述物品。
27.根据权利要求24所述的计算机实施的方法，其进一步包括: 确定所述所识别物品的名称及所述所识别物品的价格；及 在所述所确定视频帧中邻近于所述所识别物品的所述图像标注所述所识别物品的所述名称及价格。
28.根据权利要求20所述的计算机实施的方法，其进一步包括: 确定所述移动装置的地理位置；及 基于所述所识别物品及所述移动装置的所述地理位置而提供来自所述至少一个本地商家的所述激励，其中所述激励包括优惠券、折扣或推荐。
29.根据权利要求28所述的计算机实施的方法，其进一步包括: 基于所述移动装置的所述地理位置而识别具有至少一个激励的至少一个本地商家； 确定由所述用户识别的所述物品是否对应于在所述至少一个本地商家的所述至少一个激励中识别的物品； 将来自所述至少一个本地商家的所述所识别物品的所述至少一个激励传达给所述移动装置； 从至少一个本地商家接收激励的属性且将所述激励的所述属性存储于数据库中， 其中针对物品的所述激励的所述属性包括以下各项中的至少一者:所述本地商家的名称属性、所述物品的名称属性、所述物品的品牌属性、所述物品的型号属性、所述物品的类别标签、所述物品的子类别标签、所述物品的金融促销属性及所述物品的金融促销条款属性。
【文档编号】G06Q30/06GK103443816SQ201280013401
【公开日】2013年12月11日 申请日期:2012年3月16日 优先权日:2011年3月17日
【发明者】史蒂夫·扬科维奇, 瑞安·迈尔奇, 罗伯特·迪安·维雷斯 申请人:电子湾有限公司