一种流媒体视频用户触摸信息传递的方法及系统与流程

【技术领域】

本发明涉及具备触摸屏的流媒体播放终端技术领域，特别是涉及一种流媒体视频用户触摸信息传递的方法及系统。

背景技术：

用户观看视频的互动方式目前仅停留在快进、快退、播放、暂停等操控上。随着人工智能的兴起，识别技术越来越成熟。但目前在视频智能识别领域，识别内容有限，只能够根据特定特征来识别视频内容。例如，视频中的人脸识别，当前的做法只能实现将整个播放画面截取之后，对整个画面内容的人脸识别。无法实现根据用户选择的区域进行识别。

视频画面中的内容较为丰富，除了人物以外，可能还有动物、植物、物品、风景、楼房、道路标识等等。用户在观看视频的时候，对视频内容感兴趣的地方不同。如何让用户对流媒体视频进行操作，选择自己感兴趣的视频内容。将用户选择信息和视频相关信息告知给边缘具备计算能力的服务器，而不依赖终端设备本身必须具备技术能力。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

技术实现要素：

本发明要解决的技术问题是用户在观看视频的时候，对视频内容感兴趣的地方不同，如何让用户对流媒体视频进行操作，选择自己感兴趣的视频内容。将用户选择信息和视频相关信息告知给边缘具备计算能力的服务器，而不依赖终端设备本身必须具备技术能力。

本发明采用如下技术方案：

第一方面，本发明提供了一种流媒体视频用户触摸信息传递的方法，开始播放网络视频，方法包括：

建立当前网络视频播放的触摸收集区域；

监测屏幕触摸信息，判断触摸行为是否为预设触摸动作；若满足预设动作，则根据所述触摸区域坐标起始点、轨迹点和终点，计算并映射为视频画面区域；

获取网络视频的实际地址信息和触摸时视频播放时间；

将网络视频的实际地址信息、映射视频画面区域信息和视频播放时间发送给边缘服务器，以便于所述边缘服务器根据收到的相关信息，还原出用户侧完整的触摸内容。

优选的，在所述预设触摸动作为闭合区域或者近似闭合区域时，则所述监测屏幕触摸信息，判断触摸行为是否为预设触摸动作，具体包括：

根据所述触摸区域坐标起始点、轨迹点和终点，分析所述标起始点、轨迹点和终点，确认是否构成闭合区域或者近似闭合区域；

若确认为满足构成闭合区域或者近似闭合区域，则分析结果为满足预设动作。

优选的，若根据所述触摸区域坐标起始点、轨迹点和终点，确定触摸信息是网络视频播放界面中的按键操作或者应用程序的默认操作时，完成与之对应的按键操作或者应用程序的默认操作。

优选的，所述网络视频播放界面中的按键操作包括调整亮度、音量、快进、快退和拖动播放条中的一种或者多种；所述应用程序的默认操作包括全屏显示、窗口显示、关闭网络视频播放应用中的一种或者多种。

优选的，视频在流媒体服务器上存储的分辨率确定的，在终端设备上播放网络视频时，视频允许发生缩放、旋转和局部显示中的一项或者多项操作，则所述根据所述触摸区域坐标起始点、轨迹点和终点，计算并映射为视频画面区域，具体包括：

记录用户观看视频时的缩放操作、旋转操作和局部显示操作中的一项或者多项操作信息，将用户触摸区域信息、所述操作信息与视频本身分辨率结合起来，计算出以视频本身分辨率为基准的用户触摸区域。

优选的，获取网络视频的实际地址信息和触摸时视频播放时间，具体包括：

视频播放时，用户触摸屏幕，记录此时的视频播放时间，并计算此时视频的显示时间戳信息；其中，所述显示时间戳用于播放器显示视频帧数据时，确定具体的播放时间；

将视频的实际地址、视频播放时间和显示时间戳信息保存下来，联合映射视频画面区域信息一起发送给边缘计算服务器。

优选的，获取网络视频的实际地址信息，具体包括：

网络视频的请求地址不是存放视频的实际地址，在获取网络视频时经过了播放地址跳转的；

根据获取的网络视频，记录播放的网络视频的实际地址。

优选的，所述边缘服务器根据收到的相关信息，还原出用户侧完整的触摸内容，具体包括：

边缘计算服务器根据网络视频实际地址、用户触摸区域信息、播放时间和显示时间戳信息，找到用户触摸视频中的画面区域；

根据用户触摸视频中的画面区域，进行目标对象识别、兴趣点收集和/或关联视频扩展业务推广。

第二方面，本发明还提供了一种流媒体视频用户触摸信息传递的系统，包括智能终端、媒体服务器和边缘服务器，具体包括：

智能终端从媒体服务器中获取媒体流，并开始播放网络视频；

智能终端还用于建立当前网络视频播放的触摸收集区域，监测屏幕触摸信息，判断触摸行为是否为预设触摸动作；若满足预设动作，则根据所述触摸区域坐标起始点、轨迹点和终点，计算并映射为视频画面区域；

智能终端还用于获取网络视频的实际地址信息和触摸时视频播放时间，将网络视频的实际地址信息、映射视频画面区域信息和视频播放时间发送给边缘服务器；

所述边缘服务器根据收到的相关信息，还原出用户侧完整的触摸内容。

优选的，还包括：

边缘计算服务器根据网络视频实际地址、用户触摸区域信息、播放时间和显示时间戳信息，找到用户触摸视频中的画面区域；

根据用户触摸视频中的画面区域，进行目标对象识别、兴趣点收集和/或关联视频扩展业务推广。

第三方面，本发明还提供了一种流媒体视频用户触摸信息传递的装置，用于实现第一方面所述的流媒体视频用户触摸信息传递的方法，所述装置包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行第一方面所述的流媒体视频用户触摸信息传递的方法。

第四方面，本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的流媒体视频用户触摸信息传递的方法。

本发明对实现将用户在观看视频中对视频操作的触摸信息和视频信息传递给具备计算能力的边缘服务器。边缘计算服务器可以根据这些信息提取出用户操作时的画面，也能根据触摸信息得知用户操作的区域，将很大程度提高用户和流媒体视频的互动感知。

本发明可在视频播放过程中，通过极小的数据内容传输，实现用户对视频操作内容的还原。通过获取用户所操作的区域，将触摸区域与视频分辨率结合，映射到视频区域。在边缘服务器侧进行完整触摸区域内容对象的还原，使得终端侧的计算资源得到有效的节约。

本发明降低终端的需求，不需要终端具备识别能力。使用最小容量的信息(播放地址、坐标、时间、显示时间戳等等字节信息)发送给边缘计算服务器，可实现用户画面与流媒体服务器保持一致。由边缘计算服务器完成识别和计算。对于终端计算能力无要求。也不需要截图发给边缘计算服务器。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种流媒体视频用户触摸信息传递的方法流程示意图；

图2是本发明实施例提供的一种流媒体视频用户触摸信息传递的方法流程示意图；

图3是本发明实施例提供的一种流媒体视频用户触摸信息传递的方法流程示意图；

图4是本发明实施例提供的一种流媒体视频用户触摸信息传递的系统架构示意图；

图5是本发明实施例提供的一种流媒体视频用户触摸信息传递的方法流程示意图；

图6是本发明实施例提供的一种流媒体视频用户触摸信息传递的装置结构示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明要实现一种流媒体视频用户触摸信息传递的方法及系统，当用户观看网络视频，且对视频画面进行触摸操作的时候。将用户的触摸区域信息结合视频特征发送给边缘计算服务器。边缘计算服务器能够依靠终端发送的这些信息找到该视频，并且能定位到用户操作的画面，以及知道用户操作的区域。要实现以上功能需要解决以下三个问题。第一，获取有效的用户触摸信息。用户观看视频时，可能会有快进、快退、拖动进度等操作，这类操作不属于本发明要获取的范围。需要区分触摸屏上的操作，识别出用户对视频内容的操作。第二，视频播放出来可能涉及到分辨率切换、画面缩放等因素影响，导致用户在触摸屏上操作的区域不直接等于视频区域。需要通过计算将用户操作屏幕的位置映射到原始视频的位置。第三，用户操作屏幕时，观看视频的画面服务器不知晓。如果传递图片，传递的信息量较大。如何实现较小信息量的传输，使服务器知道用户看的画面是要解决的问题。

实施例1:

本发明实施例1提供了一种流媒体视频用户触摸信息传递的方法，开始播放网络视频，如图1所示，方法包括：

在步骤201中，建立当前网络视频播放的触摸收集区域。

其中，建立当前网络视频播放的触摸收集区域，是建立在记录用户观看视频时的缩放操作、旋转操作和局部显示操作中的一项或者多项操作信息，将用户触摸区域信息、所述操作信息与视频本身分辨率结合起来，计算出以视频本身分辨率为基准的触摸收集区域。

在步骤202中，监测屏幕触摸信息，判断触摸行为是否为预设触摸动作；若满足预设动作，则根据所述触摸区域坐标起始点、轨迹点和终点，计算并映射为视频画面区域。

由于在本发明的具体实现过程中，监测屏幕触摸信息的优先级可以低于或者高于已有的屏幕界面常规操作内容。在优选的方案中，为了不影响网络视频播放时候的操作响应灵敏度，可以将监测屏幕触摸信息的优先级设置为低于屏幕界面常规操作内容；因为，在我们方案中屏幕触摸的时间信息一旦被记录，其所屏幕触摸的相应帧视频就被定格了，即可通过下面步骤204的实际地址信息、映射视频画面区域信息和视频播放时间，还原出历史的屏幕触摸内容。进一步，若我们方案着力点在于进行目标对象识别、兴趣点收集和/或关联视频扩展业务推广的，尤其是非及时性要求很高的业务内容，完全可以将优先级让给屏幕界面常规操作内容；并且，在确认并非属于相应屏幕界面常规操作内容之后，在进行本发明所提出的步骤202中的预设触摸动作的分析。

在步骤203中，获取网络视频的实际地址信息和触摸时视频播放时间。

由于本发明的核心点在于将原本终端侧做的分析动作交由边缘服务器来完成，并且，保证两者交互的内容被巧妙的精简和压缩。因此，网络视频的实际地址信息会影响着实际视频的分辨率，视频帧的具体内容等等；而触摸时视频播放时间则是记录着用户进行屏幕触摸的触发、经过和/或完成时间，用于边缘服务器还原出具体触摸对象。

在步骤204中，将网络视频的实际地址信息、映射视频画面区域信息和视频播放时间发送给边缘服务器，以便于所述边缘服务器根据收到的相关信息，还原出用户侧完整的触摸内容。

本发明实施例对实现将用户在观看视频中对视频操作的触摸信息和视频信息传递给具备计算能力的边缘服务器。边缘计算服务器可以根据这些信息提取出用户操作时的画面，也能根据触摸信息得知用户操作的区域，将很大程度提高用户和流媒体视频的互动感知。将用户选择信息和视频相关信息告知给边缘具备计算能力的服务器，而不依赖终端设备本身必须具备技术能力。

在本发明实施例中，在所述预设触摸动作可以是两个手指的点触动作，也可以是连续的单指螺旋动作，还可以是单指的画×动作，不过上述诸多动作在考虑到本发明的业务模式和对应于用户所要表达的信息而言，并非最优的动作方式。因此，结合本发明实施例还提供了一种优选的实现方案，所述预设触摸动作具体为闭合区域或者近似闭合区域时，则所述监测屏幕触摸信息，判断触摸行为是否为预设触摸动作，如图2所示，具体包括：

在步骤301中，根据所述触摸区域坐标起始点、轨迹点和终点，分析所述标起始点、轨迹点和终点，确认是否构成闭合区域或者近似闭合区域。

在步骤302中，若确认为满足构成闭合区域或者近似闭合区域，则分析结果为满足预设动作。

依据上面的举例，所述步骤301和步骤302的执行内容，会根据不同的预设触摸动作而产生些许的不同，但是，综合来说都是去实现一种实际触摸动作产生的触摸信息与历史预设的触摸动作之间的匹对。

作为方案的完整性考虑，作为上述确认结果的补充分支，还包括步骤303，若根据所述触摸区域坐标起始点、轨迹点和终点，确定触摸信息是网络视频播放界面中的按键操作或者应用程序的默认操作时，完成与之对应的按键操作或者应用程序的默认操作。

在本发明实施例中，所述网络视频播放界面中的按键操作包括调整亮度、音量、快进、快退和拖动播放条中的一种或者多种；所述应用程序的默认操作包括全屏显示、窗口显示、关闭网络视频播放应用中的一种或者多种。

本发明实施例在具体实现过程中，通常视频在流媒体服务器上存储的分辨率确定的，在终端设备上播放网络视频时，视频允许发生缩放、旋转和局部显示中的一项或者多项操作，表现为用户触摸屏幕的区域并不等于视频本身的区域；则所述根据所述触摸区域坐标起始点、轨迹点和终点，计算并映射为视频画面区域，具体包括：

记录用户观看视频时的缩放操作、旋转操作和局部显示操作中的一项或者多项操作信息，将用户触摸区域信息、所述操作信息与视频本身分辨率结合起来，计算出以视频本身分辨率为基准的用户触摸区域。

在本发明实施例中，获取网络视频的实际地址信息和触摸时视频播放时间，同样提供了一种具体过程表现形式，如图3所示，具体包括：

在步骤401中，视频播放时，用户触摸屏幕，记录此时的视频播放时间，并计算此时视频的显示时间戳(presentationtimestamp，简写为：pts)信息。其中，所述显示时间戳用于播放器显示视频帧数据时，确定具体的播放时间。

在步骤402中，将视频的实际地址、视频播放时间和显示时间戳信息保存下来，联合映射视频画面区域信息一起发送给边缘计算服务器。

在本发明实施例中，获取网络视频的实际地址信息，同样提供了一种具体过程表现形式，具体包括：

网络视频的请求地址不是存放视频的实际地址，在获取网络视频时经过了播放地址跳转的；根据获取的网络视频，记录播放的网络视频的实际地址。

在本发明实施例中，所述边缘服务器根据收到的相关信息，还原出用户侧完整的触摸内容，具体包括：

边缘计算服务器根据网络视频实际地址、用户触摸区域信息、播放时间和显示时间戳信息，找到用户触摸视频中的画面区域；根据用户触摸视频中的画面区域，进行目标对象识别、兴趣点收集和/或关联视频扩展业务推广。

本发明实施例可在视频播放过程中，通过极小的数据内容传输，实现用户对视频操作内容的还原。通过获取用户所操作的区域，将触摸区域与视频分辨率结合，映射到视频区域。在边缘服务器侧进行完整触摸区域内容对象的还原，使得终端侧的计算资源得到有效的节约。

本发明实施例降低终端的需求，不需要终端具备识别能力。使用最小容量的信息(播放地址、坐标、时间、显示时间戳等等字节信息)发送给边缘计算服务器，可实现用户画面与流媒体服务器保持一致。由边缘计算服务器完成识别和计算。对于终端计算能力无要求。也不需要截图发给边缘计算服务器。

实施例2：

本发明实施例提供了一种流媒体视频用户触摸信息传递的系统，本发明是与实施例1基于共同发明构思所提出的系统侧的技术方案表现，因此，在实施例1中所涉及的相关扩展技术内容同样可以使用于本发明实施例，如图4所示，包括智能终端、媒体服务器和边缘服务器，其中，智能终端可以表现为图中的掌上平板、个人pc、瘦客户端等等，具体包括：

智能终端从媒体服务器中获取媒体流，并开始播放网络视频；

智能终端还用于建立当前网络视频播放的触摸收集区域，监测屏幕触摸信息，判断触摸行为是否为预设触摸动作；若满足预设动作，则根据所述触摸区域坐标起始点、轨迹点和终点，计算并映射为视频画面区域；

智能终端还用于获取网络视频的实际地址信息和触摸时视频播放时间，将网络视频的实际地址信息、映射视频画面区域信息和视频播放时间发送给边缘服务器；

所述边缘服务器根据收到的相关信息，还原出用户侧完整的触摸内容。

本发明实施例对实现将用户在观看视频中对视频操作的触摸信息和视频信息传递给具备计算能力的边缘服务器。边缘计算服务器可以根据这些信息提取出用户操作时的画面，也能根据触摸信息得知用户操作的区域，将很大程度提高用户和流媒体视频的互动感知。将用户选择信息和视频相关信息告知给边缘具备计算能力的服务器，而不依赖终端设备本身必须具备技术能力。

结合本发明实施例，还包括：边缘计算服务器根据网络视频实际地址、用户触摸区域信息、播放时间和显示时间戳信息，找到用户触摸视频中的画面区域；根据用户触摸视频中的画面区域，进行目标对象识别、兴趣点收集和/或关联视频扩展业务推广。

在本发明实施例中，还提供了一种智能终端的功能模块实现方案，所述智能终端包括：

触摸信息收集分析模块，负责建立整个屏幕的触摸信息收集区域。对用户触摸信息进行分析，如果是闭合区域/近似闭合区域则进行保留。

区域映射模块，结合用户触摸信息、视频旋转角度、视频缩放情况将用户触摸区域信息与视频本身分辨率结合起来，计算出以视频本身分辨率为基准的用户触摸区域。

信息发送模块，将网络视频播放的实际地址记录、视频播放时间、视频的显示时间戳信息，联合区域映射模块计算出来的坐标信息一起发送给边缘计算服务器。

实施例3:

本发明实施例从较为完整的方法流程，并结合特定场景下的表述特性，阐述实施例1的技术方案的一种实现方案，如图5所示，包括：

在步骤501中，开始播放网络视频，获取网络视频的实际地址信息。

这里主要是通过视频流的中的数据包报文头信息解析来获取，就像实施例1中介绍的，为了避免可能发生的视频地址跳转的问题。

在步骤502中，触摸信息收集分析模块建立触摸收集区域。

在本发明实施例中引入一些功能模块的表述，例如上述的触摸信息收集分析模块，其目的在于将原本分散的步骤过程，通过相应模块的引入进行功能性划分，使得方法过程能够被更为清晰的界定过程节点和实现要素。

在步骤503中，检测屏幕触摸信息。

在步骤504中，判断触摸行为是否为本地操作。若是执行步骤505，若不是执行步骤506。

在步骤505中，执行本地操作，丢弃触摸信息(不传递给边缘服务器)。

在步骤506中，获取触摸区域坐标起始点、轨迹和终点。

其中，触摸起始，即启动获取视频播放时间和pts信息，与坐标信息对应起来。以坐标信息变化为单位，将用户的触摸与视频帧对应。此内容可以防止用户触摸行为还没有结束而视频帧的内容出现较大变化。而作为用户的操作习惯而言，第一下触摸的即其理想目标对象所在的帧视频。

在本发明实施例实现过程中，还提出了一种优选的改进方案，对于边缘服务器根据网络视频的实际地址信息、映射视频画面区域信息、视频播放时间和显示时间戳信息，并未分析出有效内容对象时，即通过图像识别确定相应区域并非有效潜在目标对象时，则可以进一步向当前分析的视频帧的前1-3帧视频进行补充分析，这里是考虑到用户真实触摸到屏幕产生触摸信息，很可能是存在延时的，而相应的目标对象信息可能转瞬即逝因为延时的原因，已经在用户想要操作的下一帧视频帧中消失了，这时候，仍然按部就班的依照本发明实施例所提出的方法过程，很可能最后分析不出有效的目标对象。而采用上述优选方案，可以进一步保证成功分析出目标对象。

在步骤507中，判断是否形成闭合区域。若是涉及边框，则边框不用触摸也算用户选择对区域。

在步骤508中，获取触摸闭合区域坐标信息。

在步骤509中，计算并映射为视频画面区域。

在步骤510中，获取触摸时视频播放时间、获取显示时间戳pts信息。

在步骤511中，将网络视频的实际地址信息、映射视频画面区域信息、视频播放时间和显示时间戳信息发送给边缘服务器。

在本发明实施例中，存在一种优选的实现方案，以pts信息为参考，将相同pts信息下的同一触摸闭合区域坐标信息仅保留时间最早的1项。再以触摸闭合区域坐标信息为参考，将相同坐标，不同的pts信息删除，仅保留时间最早的1项数据。这么处理既可以减少因pts变化导致偏差，也可以节省传递给平台的数据。可以实现在视频播放过程中，对画面进行操作，而不用暂停。这里是考虑到，用户的操作动作存在延时性，例如：用户在进行画圈操作时，其第一下落点可能会停留1s左右，而此时产生的对应视频帧信息可能已经达到几十帧，而其中真正有效的其实是初始触发的位置，而后续位置信息不变的，处于停留状态的相关视频帧其实是重复的没有附加价值的视频帧，因此是可以做删除操作的。

若pts个数除以码率大于指定值(例如指定值为5)，则认为用户选择的是视频段。此时将坐标信息及视频的起始时间点信息发给边缘服务器，不用发送pts信息。可以降低信息传输数据量，避免用户长期不进行闭合操作导致终端数据过大的问题，还可以提高边缘服务器计算效率。

在步骤512中，获取边缘服务器反馈的结果。

实施例4:

如图6所示，是本发明实施例的流媒体视频用户触摸信息传递的装置的架构示意图。本实施例的流媒体视频用户触摸信息传递的装置包括一个或多个处理器21以及存储器22。其中，图6中以一个处理器21为例。

处理器21和存储器22可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器22作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序和非易失性计算机可执行程序，如实施例1中的流媒体视频用户触摸信息传递的方法。处理器21通过运行存储在存储器22中的非易失性软件程序和指令，从而执行流媒体视频用户触摸信息传递的方法。

存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1中的流媒体视频用户触摸信息传递的方法，例如，执行以上描述的图1-图3和图5所示的各个步骤。

值得说明的是，上述装置和系统内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的处理方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。