交互式视频播放方法和系统与流程

本公开关于人机交互的领域，更具体地，关于一种在购物时使用的交互式视频播放方法和系统。

背景技术

当前通过互联网尤其是移动互联网进行网络购物已经是非常普遍的现象，网络购物中商品一般在专门的购物网站上通过图片和文字结合的广告方式进行宣传，而用户则需要通过关键词等在购物网站上进行搜索才能找到感兴趣的商品。如果用户在观看电影、电视剧、直播、综艺节目等视频内容时对视频中的特定物品感兴趣想要购买，则必须先自行进行搜索确定该物品名称和型号等，这会花费用户的额外时间，导致用户可能中止购买。在当前，多数视频中只能通过前置广告或暂停插入广告的简单方式让用户直接从视频进入购买链接，而此类广告与视频内容毫无互动性，在影响用户体验的同时也使得购买转化率较不理想。

技术实现要素：

本发明的目的在于提供一种交互式视频播放方法和系统，使得用户可以在观看视频中随时与视频中展示的物品进行更方便和直接的互动。

根据本发明的一种交互式视频播放方法包括在视频的多帧图像中的参考帧中定义交互区域以及包围交互区域的正方形判定区；在参考帧之后的帧中根据正方形判定区中至少一个宏块的运动向量来移动正方形判定区；在用户在正方形判定区之内进行选定动作时显示与正方形判定区最为相似的静态图片并且接收和显示与该最为相似的静态图片相关联的统一资源定位符信息；在用户在正方形判定区之外进行选定动作时发送反馈信息，该反馈信息包括选定动作的发生位置以及发生时视频的播放时间信息；以及仅在发生位置与正方形判定区边缘像素的距离小于预先确定的偏移量时，根据反馈信息对正方形判定区的移动进行修正。

在一些实施例中，与正方形判定区最为相似的静态图片是根据与正方形判定区所构成的像素矩阵的特征向量的相关度来确定。

在一些实施例中，静态图片在正方形判定区之内进行显示。

在一些实施例中，如果选定动作的发生位置在两个以上交互区域的正方形判定区之内，则所显示的静态图片和统一资源定位符信息根据该两个以上正方形判定区中的两个对角顶点位置的平均值与选定动作的发生位置最接近的一个正方形判定区来确定。

在一些实施例中，反馈信息还包括用户在正方形判定区之外和之内进行选定动作的次数之比。

在一些实施例中，每个宏块包括64个像素点。

根据本发明的一种交互式视频播放系统包括远程服务器和用户终端，用户终端包括用户输入装置、显示器和处理器，其中处理器配置成在视频的多帧图像中的参考帧中定义交互区域以及包围交互区域的正方形判定区；在参考帧之后的帧中根据正方形判定区中至少一个宏块的运动向量来移动正方形判定区；在用户在正方形判定区之内进行选定动作时指示显示器显示与正方形判定区最为相似的静态图片，且从远程服务器接收与该最为相似的静态图片相关联的统一资源定位符信息并指示显示器显示该统一资源定位符信息；在用户在正方形判定区之外进行选定动作时向远程服务器发送反馈信息，该反馈信息包括选定动作的发生位置以及发生时视频的播放时间信息；以及仅在发生位置与正方形判定区边缘像素的距离小于预先确定的偏移量时，根据反馈信息对正方形判定区的移动进行修正。

在一些实施例中，与正方形判定区最为相似的静态图片是由处理器根据与正方形判定区所构成的像素矩阵的特征向量的相关度来确定。

在一些实施例中，静态图片在正方形判定区之内由显示器进行显示。

在一些实施例中，如果选定动作的发生位置在两个以上交互区域的正方形判定区之内，则所显示的静态图片和统一资源定位符信息根据该两个以上正方形判定区中的两个对角顶点位置的平均值与选定动作的发生位置最接近的一个正方形判定区来确定。

本发明的实施例允许在不影响消费者观看视频的情况下便捷地使商家与消费者进行互动，让消费者在视频中发现感兴趣的物品之后立即就可进行详细查询和购买。本发明的实施例还可用于高效地获取消费者感兴趣的商品信息，以便对每个消费者提供个性化的视频购物体验。本发明尤其适用于对通过媒体平台播放视频展示物品进行快速购买。

附图说明

本公开提供了附图以便于进一步理解所公开的内容，附图图示出体现本发明概念的非限制性示例，而不是用于做出任何限制。

图1是根据本公开实施例的交互式视频播放系统的示意图。

图2是根据本公开实施例的交互式视频播放方法的流程图。

具体实施方式

本领域技术人员将理解尽管术语第一、第二等可在本文中用于描述各种元素，但这些元素不应由这些术语限制。这些术语仅用于将各种元素彼此区分开。

图1示出了根据本公开实施例的交互式视频播放系统100。系统100包括远程服务器104以及通过互联网或移动互联网等各种网络与该远程服务器104进行通信的用户终端。用户终端包括处理器101，输入装置102和显示器103。处理器101可以是任何通用或专用的中央处理单元或控制器等。输入装置102可以是鼠标，也可以与显示器103集成在一起而形成触摸屏。用户可以通过用户终端观看视频文件，该视频文件既可以存放在本地，也可以存储在远程服务器104上并通过网络进行传送。

图2是根据本公开实施例的交互式视频播放方法的流程图。该方法的流程图在包括用户终端和远程服务网104的系统中执行。其中在步骤s201中，在所播放的视频的多帧图像中的参考帧中定义交互区域以及包围交互区域的正方形判定区。参考帧的选取可以按照每10帧、30帧、60帧选取一次的固定间隔进行选取，也可以通过事先对视频的编排而包括一系列的多个预先选择的帧。参考帧优选包括i帧(帧内编码帧)或p帧(前向预测编码帧)，可以根据视频中何时出现交互内容而进行选取。在电影、直播等视频中显示的物品有可能以各种角度和旋转而出现，而交互区域则是包围物品的轮廓线，因此该轮廓线一般都构成不规则的形状和起伏的边缘。例如，如图1中实现所示的交互区域的轮廓线111可能根据物品的不同而在大小、旋转和形状上不同。对不规则的形状进行图像识别实现起来较为复杂，且还可能需要在用户终端和远程服务器104之间传递各种物品的交互区域信息。为了降低所需的处理量，此处定义包围交互区域的轮廓线111的正方形判定区。例如图1中虚线所示的正方形判定区110将交互区域包括在内。由于用户在很多情况下是用手机等移动终端进行观看视频以及购物，在手机屏幕上展示的物品实际尺寸也将因为屏幕大小而较小，一般约等于用户指尖的尺寸。在此情况下，并不需要非常精确的判定区，而是可以利用正方形判定区110起到简化流程并且易于点击的作用。

可以通过用户终端的处理器101读取视频中预先存储的商品提供者定义的交互区域并定义正方形判定区，也可以通过人工手段定义交互区域之后在传输视频的内容的同时将交互区域信息，例如坐标值和时间轴信息，传递到用户终端以便处理器101在播放视频时附加交互区域和正方形判定区。在每幅图像中定义交互区域和正方形判定区工作量较大，尤其是采用人工定义的场合，因此在步骤s202中，在参考帧之后的帧中根据正方形判定区中至少一个宏块的运动向量来移动正方形判定区。从正方形判定区中可以选择多个宏块，每个宏块例如包括对应8*8共64个像素(样本)，或16*16共256个像素(样本)的亮度和色度等内容，通过宏块在多帧之间的移动可以判断图像在帧间的相对变化。例如，可以将一个或多个宏块的移动所构成的运动向量直接作用于正方形判定区，从而在只定义参考帧的情况下自动在其余帧中定义交互区域和正方形判定区。在本身包括运动向量的视频压缩格式中，还可直接调用其所包含的运动向量而不用另行计算。

在步骤s203中，响应于用户在正方形判定区之内的选定，例如鼠标点击、手指触摸等，而显示与正方形判定区最为相似的静态图片并且接收和显示与该最为相似的静态图片相关联的统一资源定位符信息。所定义的正方形判定区以及所包含的交互区域将被用于与资源库中所存储中的静态图片进行匹配，该匹配可在用户终端或远程服务器104任一个之上进行。视频可以根据其分类和摘要信息而在播放时即与资源库中的多个训练集进行关联，并通过所点击的正方形判定区与训练集中图片的相似度匹配来寻找最为近似的静态图片。而每幅静态图片可以对应一种商品，并在用户终端或远程服务器104上存储有对应于其的统一资源定位符(url)信息以及价格信息、类型信息、优惠信息、快递信息等辅助信息。这些信息优选存储在远程服务器104上，并且可由商品提供者进行修改，以及通过网络发送到用户终端。在找到最为近似的静态图片并查找到对应的url信息后，可在所点击的正方形判定区之内显示上述信息。也可以以超链接形式将url与静态图片相关联并且在用户点击静态图片时链接到该url。静态图片可以以部分透明和边缘高亮的方式在正方形判定区上显示，并与交互区域大致重合，这有助于让用户得到更准确的反馈互动。

寻找最为近似的静态图片首先可以使用特征向量方式，通过查找与正方形判定区所构成的像素矩阵的特征向量的相关度最高的静态图片来进行。该相关度例如可以是相关系数，向量距离等。例如正方形判定区本身可以构成像素矩阵，或者可以从该正方形判定区的各个位置的宏块中选取一系列像素来构成像素矩阵。可以通过多种现有的计算机算法查找该矩阵的特征向量，并且与各静态图片的相应特征矩阵的特征向量进行对比。寻找最为近似的静态图片其次可以使用例如卷积神经网络等机器学习方式，将正方形判定区内容输入使用多种商品的静态图片训练后的分类器以便进行识别。最后，寻找最为近似的静态图片还可以使用色彩范围、色彩分布、边缘识别等图像上的特征来进行匹配。例如可以先查找颜色范围与像素矩阵近似的区域，再通过边缘查找和各个颜色通道值的比较来进一步限制查找范围。此外，对宏块的运动向量的计算也可以采用以上方法来完成。

如果用户进行了正方形判定区以外的选定动作，则如步骤s204中向远程服务器104发送反馈信息，该反馈信息包括选定动作的发生位置以及发生时视频的播放时间信息。远程服务器104可以通过播放时间信息和发生位置提取用户所点击的区域对应的图像，并将该图像提供给商品提供者以用于得知用户对何种物品感兴趣的信息。如果已定义的交互区域所对应的各种商品并未包括用户感兴趣的内容，则可以根据该反馈信息添加用户感兴趣的商品，这对于商品提供者是非常有用的。反馈信息还可以包括用户的用户名、手机等联系方式以及操作历史等，这样可以根据反馈信息为用户实现个性化的互动内容，为每位用户有针对性地提供其所感兴趣的商品，而长期未被选定的商品类型可以删除其交互区域。反馈信息还可以包括用户当前时刻已经在正方形判定区之外和之内所进行的选定动作的次数之比，如果该比值明显大于1，可以说明用户对于当前所推送缺乏兴趣，应相应对推送的交互区域进行修改。

在步骤s205中，仅在用户选定的发生位置与正方形判定区边缘像素的距离小于预先确定的偏移量时，根据反馈信息对正方形判定区的移动进行修正。边缘像素指正方形判定区边缘所在位置的像素。如果用户点击的位置在正方形判定区之外，但仍然离正方形判定区边缘像素的距离小于一预定偏移量，则此时可能是用户点击到了物品，但因为正方形判定区的位置出现偏差导致判定区未能将物品完全包括在内。该偏移量优选是正方形判定区对角线长度的一半，在用户终端或远程服务器104检测到用户点击位置距离最近的正方形判定区的距离小于该偏移量时，尤其是多于一次点击位置距离最近的正方形判定区的距离小于该偏移量时，应根据反馈信息中的发生位置在之后的帧中对正方形判定区附加一个运动向量，该附近的运动向量与根据宏块移动所得出的运动向量叠加使得其移动到更好地与商品重合的位置。这一调整可以通过机器或人工进行，并且调整结果可以保存以供之后的播放使用。

如果选定动作的发生位置在两个以上交互区域的正方形判定区之内，则所显示的静态图片和统一资源定位符信息根据该两个以上正方形判定区中的两个对角顶点位置的平均值与选定动作的发生位置最接近的一个正方形判定区来确定。在商品较为密集时，部分帧中多个交互区域的正方形判定区可能出现重叠，用户点击重叠区域时的位置与哪个正方形判定区中的两个对角顶点位置的平均值最接近，就判定用户所选定的为该正方形判定区。还可以在选定重叠区域时同时提供多种静态图片和统一资源定位符信息以便用户从中进行选择。正方形判定区的位置以及移动情况还可以发送到远程服务器104以便进行同步。

本领域技术人员在查看所示附图和说明书时将明白依据于本发明概念和原则的实施例的其它各种装置和/或方法都包括在本发明的公开范围内，而不限于上述明确描述的内容。