本公开关于人机交互的领域，更具体地，关于一种可在在线购物时使用的视频信息播放方法和系统。
背景技术：
当前通过互联网尤其是移动互联网进行网络购物已经是非常普遍的现象，网络购物中商品一般在专门的购物网站上通过图片和文字结合的广告方式进行宣传，而用户则需要通过关键词等在购物网站上进行搜索才能找到感兴趣的商品。如果用户在观看电影、电视剧、直播、综艺节目等视频内容时对视频中的特定物品感兴趣想要购买，则必须先自行进行搜索确定该物品名称和型号等，这会花费用户的额外时间，导致用户可能中止购买。在当前，多数视频中只能通过前置广告或暂停插入广告的简单方式让用户直接从视频进入购买链接，而此类广告与视频内容毫无互动性，在影响用户体验的同时也使得购买转化率较不理想。
尤其是在直播的场合下，主播在播放视频内容时可能有观众对视频中的多件物品有兴趣，但是因为缺乏反应时间而无法及时在这多件物品中做出选择并购买。商品提供者需要提供一种使得观众能够快速接入物品并且得到其他观众对于物品的评价反馈的机制，才能提高这种场景中购买过程的效率并增加转化率。
技术实现要素：
本发明实施例的目的之一是改进现有技术中的上述问题，并提供一种允许用户与视频中的多件物品快速互动并得到直观视觉反馈的在线购物视频信息播放方法和系统。
本发明公开了一种在包括用户终端和远程服务器的网络中进行视频信息播放的方法，包括在用户终端所播放的多帧图像中的参考帧中定义多个交互区域以及多个正方形判定区，每个正方形判定区包围一个交互区域，多个正方形判定区中至少存在一个第一正方形判定区，第一正方形判定区被包括在一个第二正方形判定区内部；在参考帧之后的帧中根据正方形判定区中至少一个宏块的运动向量来移动每个正方形判定区；响应用户在第一正方形判定区内进行选定动作而从远程服务器接收分别与第一和第二正方形判定区最为相似的第一和第二静态图片以及分别与第一和第二静态图片相关联的统一资源定位符信息，在第二正方形判定区之外定义初始具有相同尺寸的第一浮窗区和第二浮窗区，第一和第二静态图片分别在第一浮窗区和第二浮窗区中显示；在经过预定时间周期之后发送反馈信息到远程服务器，该反馈信息包括选定动作的发生位置、发生时视频的播放时间信息；以及从远程服务器接收第一和第二静态图片各自被选定的总次数，调整第一浮窗区和第二浮窗区的尺寸的比值使其等于第一和第二静态图片各自被选定的总次数的比值。
在一些实施例中，用来移动第二正方形判定区的至少一个宏块位置在第一正方形判定区之外。
在一些实施例中，第二正方形判定区的移动是根据第一正方形判定区移动时所依据的运动向量来完成。
在一些实施例中，每个宏块包括64个像素点。
在一些实施例中，第一浮窗区和第二浮窗区互相不重叠。
本发明公开了一种包括用户终端和远程服务器以用于视频信息播放的系统，该用户终端配置成在所播放的多帧图像中的参考帧中定义多个交互区域以及多个正方形判定区，每个正方形判定区包围一个交互区域，多个正方形判定区中至少存在一个第一正方形判定区，第一正方形判定区被包括在一个第二正方形判定区内部；在参考帧之后的帧中根据正方形判定区中至少一个宏块的运动向量来移动每个正方形判定区；响应用户在第一正方形判定区内进行选定动作而从远程服务器接收分别与第一和第二正方形判定区最为相似的第一和第二静态图片以及分别与第一和第二静态图片相关联的统一资源定位符信息，在第二正方形判定区之外定义初始具有相同尺寸的第一浮窗区和第二浮窗区，第一和第二静态图片分别在第一浮窗区和第二浮窗区中显示；在经过预定时间周期之后发送反馈信息到远程服务器，该反馈信息包括选定动作的发生位置、发生时视频的播放时间信息；以及从远程服务器接收第一和第二静态图片各自被选定的总次数，调整第一浮窗区和第二浮窗区的尺寸的比值使其等于第一和第二静态图片各自被选定的总次数的比值。
在一些实施例中，用来移动第二正方形判定区的至少一个宏块位置在第一正方形判定区之外。
在一些实施例中，第二正方形判定区的移动是根据第一正方形判定区移动时所依据的运动向量来完成。
在一些实施例中，每个宏块包括64个像素点。
在一些实施例中，第一浮窗区和第二浮窗区互相不重叠。
本发明的实施例有助于便捷地使商家与消费者进行互动，让消费者在视频中发现感兴趣的物品之后立即就可进行详细查询和购买，并且高效地获取消费者感兴趣的商品信息，以便对每个消费者提供个性化的视频购物体验。本发明的实施例进一步还允许消费者在视频中展示的多件商品出现重叠时根据其他消费者的反馈以浮窗相对大小的形式直观地给出对这多件商品的选择建议，避免了用户将时间花费在从多件商品的列表中进行选择，因此可以提高购买过程的效率并提高转化率。本发明尤其适用于对通过媒体平台用视频展示物品进行快速购买。
附图说明
本公开提供了附图以便于进一步理解所公开的内容，附图图示出体现本发明概念的非限制性示例，而不是用于做出任何限制。
图1是根据本公开实施例的视频信息播放系统的示意图。
图2是根据本公开实施例的重叠判定区的示意图。
图3是根据本公开实施例的视频信息播放方法的流程图。
具体实施方式
本领域技术人员将理解尽管术语第一、第二等可在本文中用于描述各种元素，但这些元素不应由这些术语限制。这些术语仅用于将各种元素彼此区分开。
图1是根据本公开实施例的视频信息播放系统100的示意图。系统100包括远程服务器104以及通过互联网或移动互联网等各种网络与该远程服务器104进行通信的用户终端。用户终端包括处理器101，输入装置102和显示器103。处理器101可以是任何通用或专用的中央处理单元或控制器等。输入装置102可以是鼠标，也可以与显示器103集成在一起而形成触摸屏。用户可以通过用户终端观看视频文件，该视频文件既可以存放在本地，也可以存储在远程服务器104上并通过网络进行传送。
在电影、直播等视频中显示的物品有可能以各种角度和旋转而出现，而交互区域则被定义为是包围物品的轮廓线，因此该轮廓线一般都构成不规则的形状和起伏的边缘。例如，如图1中实现所示的交互区域的轮廓线111可能根据物品的不同而在大小、旋转和形状上不同。对不规则的形状进行图像识别实现起来较为复杂，且还可能需要在用户终端和远程服务器104之间传递各种物品的交互区域信息。为了降低所需的处理量，此处定义包围交互区域的轮廓线111的正方形判定区。例如图1中虚线所示的正方形判定区110将交互区域包括在内。由于用户在很多情况下是用手机等移动终端进行观看视频以及购物，在手机屏幕上展示的物品实际尺寸也将因为屏幕大小而较小，一般约等于用户指尖的尺寸。在此情况下，并不需要非常精确的判定区，而是可以利用正方形判定区110起到简化流程并且易于点击的作用。
图2是根据本公开实施例的重叠判定区的示意图。在视频中显示的多个物品的交互区域可能彼此出现重叠，例如主播所播放的视频中可以展示主播全身服装的搭配情况，这时服装的交互区域可能会与手袋的交互区域产生重叠，并可能将手袋的交互区域包括在内。图2中的第一正方形判定区120包围第一交互区域121，第二正方形判定区130包围第二交互区域131，而第一正方形殴打求120位于第二正方形判定区130之内。此时若用户选定第一正方形判定区120，则也同时选定了第二正方形判定区130。为了解决可能产生的混淆以及避免用户过多操作的麻烦，定义了如图3所示的视频信息播放方法。
图3的流程首先开始于步骤s301，其中首先在所播放的视频的多帧图像中的参考帧中定义上述的交互区域以及包围交互区域的正方形判定区。参考帧的选取可以按照每10帧、30帧、60帧选取一次的固定间隔进行选取，也可以通过事先对视频的编排而包括一系列的多个预先选择的帧。参考帧较优选地包括i帧(帧内编码帧)或p帧(前向预测编码帧)，可以根据视频中何时出现交互内容而进行选取。可以通过用户终端的处理器101读取视频中预先存储的商品提供者定义的交互区域并定义正方形判定区，也可以通过人工手段定义交互区域之后在传输视频的内容的同时将交互区域信息，例如坐标值和时间轴信息，传递到用户终端以便处理器101在播放视频时附加交互区域和正方形判定区。在每幅图像中定义交互区域和正方形判定区工作量较大，尤其是采用人工定义的场合，因此在步骤s302中，在参考帧之后的帧中根据每个正方形判定区中至少一个宏块的运动向量来移动正方形判定区。从正方形判定区中可以选择多个宏块，每个宏块例如包括对应8*8共64个像素(采样)，或16*16共256个像素(采样)的亮度和色度等内容，通过宏块在多帧之间的移动可以判断图像在帧间的相对变化。例如，可以将一个或多个宏块的移动所构成的运动向量直接作用于正方形判定区，从而在只定义参考帧的情况下自动在其余帧中定义交互区域和正方形判定区。在本身包括运动向量的视频压缩格式中，还可直接调用其所包含的运动向量而不用另行计算。一般来说，用来移动所述第二正方形判定区130的宏块位置可布置在第一正方形判定区120之外以免造成混淆。但在特殊情况下，如在主播进行相对位置相对固定的服装饰品等内容展示时，或者展示货柜中所陈列的多件相对静止的物品时，还可以不对第二正方形判定区130单独进行计算，而且根据其内部的第一正方形判定区120移动时所依据的运动向量来移动外部的第二正方形判定区130以减少运算量。远程服务器104可以通过设置指示符来确定应采取何种方式移动正方形判定区。正方形判定区的位置以及运动情况还可以发送到远程服务器104以便进行同步。
在步骤s303中，响应用户在第一正方形判定区120内进行选定动作而从远程服务器104接收分别与第一和第二正方形判定区120、130最为相似的第一和第二静态图片以及分别与第一和第二静态图片相关联的统一资源定位符信息。用户的选定动作例如鼠标点击、手指触摸等。所定义的正方形判定区及其所包含的交互区域将被用于与资源库中所存储中的静态图片进行匹配。该匹配可在用户终端或远程服务器104上进行，在本实施例中因重叠情况较为复杂且可能涉及实时直播，优选为远程服务器104上执行并且用户终端仅接收匹配结果。视频可以根据其分类和摘要信息而在播放时即与资源库中的多个训练集进行关联，并通过所点击的正方形判定区与训练集中图片的相似度匹配来寻找最为近似的静态图片。而每幅静态图片可以对应一种商品，并在用户终端或远程服务器104上存储有对应于其的统一资源定位符(url)信息以及价格信息、类型信息、优惠信息、快递信息等辅助信息。这些信息优选存储在远程服务器104上，并且可由商品提供者进行修改，以及通过网络发送到用户终端。在找到最为近似的静态图片并查找到对应的url信息后可以直接将其进行显示，也可以以超链接形式将url与静态图片相关联并且在用户点击静态图片时链接到该url。
寻找最为近似的静态图片首先可以使用特征向量方式，通过查找与正方形判定区所构成的像素矩阵的特征向量的相关度最高的静态图片来进行。例如正方形判定区本身可以构成像素矩阵，或者可以从该正方形判定区的各个位置的宏块中选取一系列像素来构成像素矩阵。可以通过多种现有的计算机算法查找该矩阵的特征向量，并且与各静态图片的相应特征矩阵的特征向量进行对比。寻找最为近似的静态图片其次可以使用例如卷积神经网络等机器学习方式，将正方形判定区内容输入使用多种商品的静态图片训练后的分类器以便进行识别。最后，寻找最为近似的静态图片还可以使用色彩范围、色彩分布、边缘识别等图像上的特征来进行匹配。例如可以先查找颜色范围与像素矩阵近似的区域，再通过边缘查找和各个颜色通道值的比较来进一步限制查找范围。此外，对宏块的运动向量的计算也可以采用以上方法来完成。优选地应使第二正方形判定区130的大小远大于第一正方形判定区120的大小，例如为其两倍以上或更多，这样可以提供匹配的精确度。用户终端接下来应在第二正方形判定区130之外定义初始具有相同尺寸的第一浮窗区和第二浮窗区123和133，如图2所示。所接收的第一和第二静态图片分别在第一浮窗区123和第二浮窗区133中显示。如图2中所示，所接收到的最接近静态图片分别对应箱包商品和服装商品，则这些静态图片将在第二正方形判定区130之外的第一浮窗区123和第二浮窗区133中进行显示。第一浮窗区123和第二浮窗区133具有的相同的初始大小，且后续大小即使被变更，也优选不发生彼此的重叠，以便帮助用户进行区分。
在经过预定时间周期之后用户终端将发送反馈信息到远程服务器104，该反馈信息包括选定动作的发生位置，例如指示选定动作是否发生在第一浮窗区123和第二浮窗区133之内，以及发生时视频的播放时间信息，以便在视频中进行定位。该预定时间周期可以由远程服务器104进行自定义，例如1秒、3秒、5秒等。因为多个用户将同时观看视频，所以远程服务器104将在接收反馈信息后得出所有用户对第一浮窗区123和第二浮窗区133进行选定的各自总次数。如果用户并未选定第一浮窗区123和第二浮窗区133，即选定动作的发生位置在第一浮窗区123和第二浮窗区133以外，则反馈信息可以用于得知用户对何种物品感兴趣。如果已定义的交互区域所对应的各种商品都并未包括用户感兴趣的内容，则可以根据该反馈信息添加用户感兴趣的商品，这对于商品提供者是非常有用的。反馈信息还可以包括用户的用户名、手机等联系方式以及操作历史等，这样可以根据反馈信息为用户实现个性化的互动内容，为每位用户有针对性地提供其所感兴趣的商品，而长期未被选定的商品类型可以删除其交互区域。
在步骤s204中，用户终端将再从远程服务器104接收第一浮窗区123和第二浮窗区133中第一和第二静态图片各自被选定的总次数，即选定动作的发生位置在第一浮窗区123和第二浮窗区133中的次数，并调整第一浮窗区123和第二浮窗区133的尺寸的比值使其等于第一和第二静态图片各自被选定的总次数的比值。如图2所示，因用户选择第二浮窗区133的总次数大于选择第一浮窗区123的总次数，相应将第二浮窗区133的尺寸相对于第一浮窗区123进行放大。这一过程可以每隔一定时间刷新并实时动态地进行，以便直观地向所有用户表示哪种物品更加受到关注。这以助于提升购买互动过程的进行效率，并提高用户观看视频时的参与感。随着调整第一浮窗区123和第二浮窗区133的相对尺寸，也可以从远程服务器104接收并显示用户选定次数的实时信息，以及url信息、价格信息、类型信息、优惠信息等。
本领域技术人员在查看所示附图和说明书时将明白依据于本发明概念和原则的实施例的其它各种装置和/或方法都包括在本发明的公开范围内，而不限于上述明确描述的内容。