基于视频中的可交互对象的交互方法及系统与流程

本发明涉及视频应用技术，特别是涉及一种基于视频中的可交互对象的交互方法及系统。

背景技术：

1、如今，消费者可以通过点击视频下方显示的产品链接，获取产品信息并购买产品。许多现有技术允许用户通过鼠标甚至手指与屏幕上的静止照片或图片中的某些特定对象进行交互。这可以通过一些软件工具(例如photoshop)添加一些链接到屏幕上的照片或图片中的某些像素来轻松完成。在视频中，广告通常作为“新”标签覆盖在视频每帧的图像之上(例如那些所谓的“横幅广告”)。然而，这个“新”标签通常会让用户非常恼火，因为它会妨碍用户欣赏视频。

2、当某位用户观看在线的视频时，用户无法与视频内容中的对象(例如，电视或汽车)进行交互，来获得视频中该对象的信息。例如，如果用户在观看视频时，对某个对象感兴趣，例如一台电视，用户却无法与这台视频中的电视进行交互，以访问其相关的信息。

3、需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的主要目的在于克服上述背景技术的缺陷，提供一种基于视频中的可交互对象的交互方法及系统。

2、为实现上述目的，本发明采用以下技术方案：

3、一种基于视频中的可交互对象的交互方法，包括如下步骤：

4、s1、识别出视频中的对于用户可交互的可交互对象的像素区域，其中，所述对于用户可交互的可交互对象符合预定义的视觉特征；

5、s2、为所述视频中的所述可交互对象的所述像素区域建立可访问的超链接；

6、s3、监听用户针对所述视频中的所述可交互对象的所述像素区域的交互指令；

7、s4、当监听到所述交互指令时，触发对所述超链接的访问。

8、进一步地，所述交互指令来自于用户的触摸动作或手势动作，或是通过对用户的眼部跟踪所产生的指令。

9、进一步地，所述超链接指向购买产品或服务的网页。

10、进一步地，步骤s1中，所述识别出视频中的对于用户可交互的可交互对象的像素区域包括：采用计算机视觉(cv)模型识别所述视频中的所述可交互对象，并通过像素扫描确定构成所述对象的每个像素的二维坐标。

11、进一步地，步骤s1中，采用计算机视觉(cv)模型识别所述视频的每一帧中符合预定义的视觉特征的所述可交互对象；以及，通过对所述视频的每一帧进行像素扫描，确定在所述视频的每一帧中所识别到的对象的边界区域内的像素的二维坐标；

12、步骤s2中，将在所述视频的每一帧中所识别到的对象的像素及其二维坐标关联到所述超链接。

13、进一步地，所述边界区域内的像素包括所述边界区域内的全部像素或所述边界区域内的部分像素。

14、进一步地，所述计算机视觉(cv)模型为mask r-cnn模型，其中，向所述mask r-cnn模型输入视频帧，然后由所述mask r-cnn模型输出所述可交互对象的边界区域。

15、一种基于视频中的可交互对象的交互方法，包括如下步骤：

16、r1、识别出视频中的对于用户可交互的可交互对象的像素区域，其中，所述对于用户可交互的可交互对象符合预定义的视觉特征；

17、r2、为所述视频中的所述可交互对象的所述像素区域建立可访问的超链接,以便当监听到用户针对所述视频中的所述可交互对象的所述像素区域的交互指令时，触发对所述超链接的访问。

18、一种基于视频中的可交互对象的交互方法，包括如下步骤：

19、t1、监听用户针对视频中的对于用户可交互的可交互对象的像素区域的交互指令；其中，所述对于用户可交互的可交互对象符合预定义的视觉特征，且所述视频中的所述可交互对象的所述像素区域经过预先配置具有可访问的超链接；

20、t2、当监听到所述交互指令时，对所述超链接进行访问。

21、一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现基于视频中的可交互对象的交互方法，所述方法包括如下步骤：

22、s1、识别出视频中的对于用户可交互的可交互对象的像素区域，其中，所述对于用户可交互的可交互对象符合预定义的视觉特征；

23、s2、为所述视频中的所述可交互对象的所述像素区域建立可访问的超链接；

24、s3、监听用户针对所述视频中的所述可交互对象的所述像素区域的交互指令；

25、s4、当监听到所述交互指令时，触发对所述超链接的访问；

26、或者

27、所述方法包括如下步骤：

28、r1、识别出视频中的对于用户可交互的可交互对象的像素区域，其中，所述对于用户可交互的可交互对象符合预定义的视觉特征；

29、r2、为所述视频中的所述可交互对象的所述像素区域建立可访问的超链接,以便当监听到用户针对所述视频中的所述可交互对象的所述像素区域的交互指令时，触发对所述超链接的访问。

30、或者

31、所述方法包括如下步骤：

32、t1、监听用户针对视频中的对于用户可交互的可交互对象的像素区域的交互指令；其中，所述对于用户可交互的可交互对象符合预定义的视觉特征，且所述视频中的所述可交互对象的所述像素区域经过预先配置具有可访问的超链接；

33、t2、当监听到所述交互指令时，对所述超链接进行访问。

34、一种基于视频中的可交互对象的交互系统，包括人机交互界面、处理器和所述的计算机可读存储介质，所述处理器与所述人机交互界面与所述计算机可读存储介质分别相连。

35、本发明具有如下有益效果：

36、本发明提供一种基于视频中的可交互对象的交互方法及系统，使用户能够与视频中的预定义可交互对象的像素区域进行交互，即，用户可与视频本身进行交互，来获取其中的对象的信息。与传统视频中的广告通常以“新”标签的方式覆盖在视频的每帧图像之上不同，本发明中，可供用户进行交互的可交互对象属于视频内容本身的一部分，因此，不存在需要将“新”标签覆盖在视频上的问题，不会妨碍用户欣赏视频，从而有效地提升了用户的体验。例如，如果用户在通过移动终端的触摸屏观看视频时对视频中某个对象感兴趣，例如一台电视或一台汽车，而该对象已经预先建立了可访问的超链接，用户就可以通过点击触摸视频中的电视或汽车来与之进行交互，触发对该电视或该汽车的超链接的访问，从而获取与其相关的产品或服务的信息。这种访问可以是(但不限于)通过链接到特定的网页的方式。

技术特征：

1.一种基于视频中的可交互对象的交互方法，其特征在于，包括如下步骤：

2.如权利要求1所述的交互方法，其特征在于，所述交互指令来自于用户的触摸动作或手势动作，或是通过对用户的眼部跟踪所产生的指令。

3.如权利要求1或2所述的交互方法，其特征在于，所述超链接指向购买产品或服务的网页。

4.如权利要求1至3任一项所述的交互方法，其特征在于，步骤s1中，采用计算机视觉(cv)模型识别所述视频的每一帧中符合预定义的视觉特征的所述可交互对象；以及，通过对所述视频的每一帧进行像素扫描，确定在所述视频的每一帧中所识别到的对象的边界区域内的像素的二维坐标；

5.如权利要求4所述的交互方法，其特征在于，所述边界区域内的像素包括所述边界区域内的全部像素或所述边界区域内的部分像素。

6.如权利要求4至5任一项所述的交互方法，其特征在于，所述计算机视觉(cv)模型为mask r-cnn模型，其中，向所述mask r-cnn模型输入视频帧，然后由所述mask r-cnn模型输出所述可交互对象的边界区域。

7.一种基于视频中的可交互对象的交互方法，其特征在于，包括如下步骤：

8.一种基于视频中的可交互对象的交互方法，其特征在于，包括如下步骤：

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序由处理器执行时，实现基于视频中的可交互对象的交互方法，所述方法包括如下步骤：

10.一种基于视频中的可交互对象的交互系统，其特征在于，包括人机交互界面、处理器和如权利要求9所述的计算机可读存储介质，所述处理器与所述人机交互界面与所述计算机可读存储介质分别相连。

技术总结
一种基于视频中的可交互对象的交互方法，包括如下步骤：S1、识别出视频中的对于用户可交互的可交互对象的像素区域，其中，所述对于用户可交互的可交互对象符合预定义的视觉特征；S2、为所述视频中的所述可交互对象的所述像素区域建立可访问的超链接；S3、监听用户针对所述视频中的所述可交互对象的所述像素区域的交互指令；S4、当监听到所述交互指令时，触发对所述超链接的访问。由于可供用户进行交互的可交互对象属于视频内容本身的一部分，不需要将“新”标签覆盖在视频上，不会妨碍用户欣赏视频。

技术研发人员：林柏杰,张汉裕
受保护的技术使用者：晒趣科技有限公司
技术研发日：
技术公布日：2024/2/19