一种多源视频剪辑播放方法及系统与流程

文档序号:11235207阅读:503来源:国知局
一种多源视频剪辑播放方法及系统与流程

本发明涉及视频数据处理技术领域,具体涉及一种多源视频剪辑播放方法及系统。



背景技术:

球类运动是世界上最广泛的体育运动,深受广大球迷的喜爱。而球类运动视频实时转播过程中,由于场地的广阔性以及运动球员数量较多,因而一些精彩的镜头无法被视频采集装置智能捕捉和切换。目前的球类赛事直播过程中,对于精彩事件的切换采用人工导播切换的方式,而人为的方式容易造成时延和错过精彩事件,也无法精准地切换到精彩事件的最佳观看角度。目前的现有技术中也有一些是通过视觉信息进行精彩事件检测从而根据检测结果来进行视频剪辑或切换,但是其主要是根据球门和镜头类型来进行识别和判定,其识别的精彩事件更多发生至球门或者禁区附近,而其他区域的精彩事件,例如精准传球配合、争抢犯规等没有发生在禁区或者球门附近的事件,则无法准确检测判定并进行智能视频剪辑切换。



技术实现要素:

为此,需要提供一种多源视频剪辑播放方法及系统,通过对球和球员身上的可穿戴设备发送的定位信息进行在线实时检测,根据精准的定位算法还原球和球员在视频画面中的精确位置,并根据球和球员的位置信息的变化来实现对视频的剪辑播放。

为实现上述目的,本发明提供了一种多源视频剪辑播放方法,包括以下步骤:

步骤1:对球场进行实时镜头画面捕捉,获取整个球场的同步视频流,并将该视频流进行本地保存,实时保存至视频服务器的本地视频存储单元;

步骤2:获取球场的球和球员的球场位置坐标系上定位信息,并将该定位信息传输至视频服务器中,映射成图形画面坐标系上的定位信息;

步骤3:根据球场位置坐标系上定位信息获取球或球员所处的方向角,并根据该方向角生成切换画面指令切换画面指令,根据该切换画面指令切换画面指令切换至局部画面;

步骤4:对该局部画面进行进行放大处理,生成放大画面;

步骤5:根据图形画面坐标系上的定位信息作为画面中心点,对放大画面按第一尺寸标准进行截取,获得截取图像,并将截取图像输出至显示终端。

进一步的,还包括步骤21,对历史赛事的海量数据进行球场事件的机器学习和训练,获得时间预测和判断模型。

进一步的,步骤2中,所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。

更进一步的,步骤2中,将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息,其映射方法如下:

(1)

其中:

为足球/球员的在xoy中的位置,为平行于光轴的维度;

为足球/球员在uov中的位置;

为从xoy尺度单位到uov尺度单位的缩放矩阵;

为位置坐标的旋转与平移矩阵;

为位置坐标的旋转矩阵;

为位置坐标分别绕z,x轴的旋转矩阵;

为位置坐标的平移矩阵。

更进一步的,步骤3中,根据计算出球或球员在以球场长边中点为圆心,x轴正方向为0度基准线的所处方位角,再根据所处方位角下达切换画面指令到对应方位角朝向的镜头,从而实现局部画面的切换。

更进一步的,步骤4中,根据预设的画面清晰度,对局部画面进行进行放大处理,生成放大画面。

更进一步的,步骤5中,根据截取放大画面,以(u,v)作为画面中心,截取第一尺寸标准的图像作为截取图像,并将截取图像输出至显示终端进行画面输出。

本发明还提供了一种多源视频剪辑播放系统,包括:镜头画面捕捉模组、球和球员定位信息获取模组、视频服务器和视频直播输出接口,在所述视频服务器内部署视频存储单元、画面切换处理单元、画面放大处理单元和画面追踪处理单元,其中镜头画面捕捉模组与视频存储单元相连,球和球员定位信息获取模组分别与画面切换处理单元和画面追踪处理单元相连,画面切换处理单元、画面放大处理单元和画面追踪处理单元依次相连,画面追踪处理单元与视频存储单元相连,画面追踪处理单元与视频直播输出接口相连,

镜头画面捕捉模组对球场进行实时镜头画面捕捉,获取整个球场的同步视频流,并将该视频流进行本地保存,实时保存至视频服务器的本地视频存储单元,

画面切换处理单元,获取球场的球及球员的球场位置坐标系上定位信息,并将该定位信息传输至视频服务器中,映射成图形画面坐标系上的定位信息,根据球场位置坐标系上定位信息获取球或球员所处的方向角,并根据该方向角生成切换画面指令,根据该切换画面指令切换至局部画面,

画面放大处理单元,对该局部画面进行进行放大处理,生成放大画面,

画面追踪处理单元,根据图形画面坐标系上的定位信息作为画面中心点,对放大画面按第一尺寸标准进行截取,获得截取图像,并将截取图像输出至显示终端。

进一步的,还包括球场事件智能处理单元,所述球场事件智能处理单元输入端与球和球员定位信息获取模组相连,球场事件智能处理单元输出端分别与画面切换处理单元、画面放大处理单元和画面追踪处理单元相连,球场事件智能处理单元还连接有事件日志,所述球场事件智能处理单元对历史赛事的海量数据进行球场事件的机器学习和训练,获得时间预测和判断模型。

进一步的,所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。

更进一步的,将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息,其映射方法如下:

定义球场位置坐标系为xoy坐标系,定义图形画面坐标系为uov坐标系:

(1)

其中:

为足球/球员的在xoy中的位置,为平行于光轴的维度;

为足球/球员在uov中的位置;

为从xoy尺度单位到uov尺度单位的缩放矩阵;

为位置坐标的旋转与平移矩阵;

为位置坐标的旋转矩阵;

为位置坐标分别绕z,x轴的旋转矩阵;

为位置坐标的平移矩阵。

更进一步的,根据计算出球或球员在以球场长边中点为圆心,x轴正方向为0度基准线的所处方位角,再根据所处方位角下达切换画面指令到对应方位角朝向的镜头,从而实现局部画面的切换。

更进一步的,根据预设的画面清晰度,对局部画面进行进行放大处理,生成放大画面。

更进一步的,根据截取放大画面,以(u,v)作为画面中心,截取第一尺寸标准的图像作为截取图像,并将截取图像输出至显示终端进行画面输出。

区别于现有技术,上述技术方案通过设计一种多源视频剪辑播放方法及系统,根据对实时多源镜头画面捕捉后,并将获取的同步视频流进行本地存储,再根据球和球员在双坐标系中的位置映射关系实现球和球员的位置的匹配,通过对历史赛事的海量数据进行球场事件的机器学习和训练,获得局部战术判断模型,根据局部战术判断模型与球场事件进行精彩事件中的球或球员的锚定,进而根据球场位置坐标系的方向角来实现镜头的切换,再根据图形画面坐标系上的定位信息来实现图像截取及输出,最终输出剪辑后的精彩赛事。

附图说明

图1为本发明实施例1的结构示意图。

图2为本发明实施例1的另一结构示意图。

图3为本发明实施例2中的结构示意图。

图4为本发明实施例2中的另一结构示意图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。

实施例1:

请参阅图1和图2,本实施例为实现上述目的,一种多源视频剪辑播放方法,包括以下步骤:

步骤1:对球场进行实时镜头画面捕捉,获取整个球场的同步视频流,并将该视频流进行本地保存,实时保存至视频服务器的本地视频存储单元;

步骤2:获取球场的球和球员的球场位置坐标系上定位信息,并将该定位信息传输至视频服务器中,映射成图形画面坐标系上的定位信息;所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。

将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息,其映射方法如下:

(1)

其中:

为足球/球员的在xoy中的位置,为平行于光轴的维度;

为足球/球员在uov中的位置;

为从xoy尺度单位到uov尺度单位的缩放矩阵;

为位置坐标的旋转与平移矩阵;

为位置坐标的旋转矩阵;

为位置坐标分别绕z,x轴的旋转矩阵;

为位置坐标的平移矩阵。

步骤3:根据球场位置坐标系上定位信息获取球或球员所处的方向角,并根据该方向角生成切换画面指令,根据该切换画面指令切换至局部画面;具体地:根据计算出球或球员在以球场长边中点为圆心,x轴正方向为0度基准线的所处方位角,再根据所处方位角下达切换画面指令到对应方位角朝向的镜头,从而实现局部画面的切换。

步骤4:根据预设的画面清晰度,对该局部画面进行进行放大处理,生成放大画面。

步骤5:根据图形画面坐标系上的定位信息作为画面中心点,对放大画面按第一尺寸标准进行截取,获得截取图像,并将截取图像输出至显示终端。具体地根据截取放大画面,以(u,v)作为画面中心,截取第一尺寸标准的图像作为截取图像,并将截取图像输出至显示终端进行画面输出。

在本实施例的方法中,对画面进行切换的过程中,其切换的画面可以是某一镜头的某一局部画面,也可以是通过拼接手段将多个视频流进行拼接后的整体视频的局部画面。

参考图1和图2所示,本实施例1还提供了一种多源视频剪辑播放系统,包括:镜头画面捕捉模组、球和球员定位信息获取模组、视频服务器和视频直播输出接口,在所述视频服务器内部署视频存储单元、画面切换处理单元、画面放大处理单元和画面追踪处理单元,其中镜头画面捕捉模组与视频存储单元相连,球和球员定位信息获取模组分别与画面切换处理单元和画面追踪处理单元相连,画面切换处理单元、画面放大处理单元和画面追踪处理单元依次相连,画面追踪处理单元与视频存储单元相连,画面追踪处理单元与视频直播输出接口相连,

镜头画面捕捉模组对球场进行实时镜头画面捕捉,获取整个球场的同步视频流,并将该视频流进行本地保存,实时保存至视频服务器的本地视频存储单元,

画面切换处理单元,获取球场的球及球员的球场位置坐标系上定位信息,并将该定位信息传输至视频服务器中,映射成图形画面坐标系上的定位信息,根据球场位置坐标系上定位信息获取球或球员所处的方向角,并根据该方向角生成切换画面指令,根据该切换画面指令切换至局部画面,所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。

将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息,其映射方法如下:

定义球场位置坐标系为xoy坐标系,定义图形画面坐标系为uov坐标系:

(1)

其中:

为足球/球员的在xoy中的位置,为平行于光轴的维度;

为足球/球员在uov中的位置;

为从xoy尺度单位到uov尺度单位的缩放矩阵;

为位置坐标的旋转与平移矩阵;

为位置坐标的旋转矩阵;

为位置坐标分别绕z,x轴的旋转矩阵;

为位置坐标的平移矩阵。

画面放大处理单元,根据预设的画面清晰度,对该局部画面进行进行放大处理,生成放大画面,

画面追踪处理单元,根据图形画面坐标系上的定位信息作为画面中心点,对放大画面按第一尺寸标准进行截取,获得截取图像,并将截取图像输出至显示终端。根据计算出球或球员在以球场长边中点为圆心,x轴正方向为0度基准线的所处方位角,再根据所处方位角下达切换画面指令到对应方位角朝向的镜头,从而实现局部画面的切换。根据截取放大画面,以(u,v)作为画面中心,截取第一尺寸标准的图像作为截取图像,并将截取图像输出至显示终端进行画面输出。

举例:球员a从球场中线开始带球往中路球门前进,定位系统定位a球员在位置(x1,y1,z1),根据公式(1),

计算出在正对球场中线摄像头的画面坐标(u1,v1),此时画面撷取以(u1,v1)为中心对放大画面按第一尺寸标准进行截取,获得截取图像,并将截取图像输出至显示终端;当球员a带球接近到球门的位置(x2,y2,z2),此时,根据公式(1)计算正对球门的摄像头的画面坐标(u2,v2),并切换(u2,v2)为中心对放大画面按第一尺寸标准进行截取,获得截取图像,并将截取图像输出至显示终端。

在本实施例的方法中,对画面进行切换的过程中,其切换的画面可以是某一镜头的某一局部画面,也可以是通过拼接手段将多个视频流进行拼接后的整体视频的局部画面。

实施例2:

参考图3和图4所示,本实施例2中,该一种多源视频剪辑播放方法,包括以下步骤:

步骤1:对球场进行实时镜头画面捕捉,获取整个球场的同步视频流,并将该视频流进行本地保存,实时保存至视频服务器的本地视频存储单元;

步骤2:获取球场的球和球员的球场位置坐标系上定位信息,并将该定位信息传输至视频服务器中,映射成图形画面坐标系上的定位信息;所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。

将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息,其映射方法如下:

(1)

其中:

为足球/球员的在xoy中的位置,为平行于光轴的维度;

为足球/球员在uov中的位置;

为从xoy尺度单位到uov尺度单位的缩放矩阵;

为位置坐标的旋转与平移矩阵;

为位置坐标的旋转矩阵;

为位置坐标分别绕z,x轴的旋转矩阵;

为位置坐标的平移矩阵。

步骤21,对历史赛事的海量数据进行球场事件的机器学习和训练,获得局部战术判断模型。

步骤3:根据球场位置坐标系上定位信息获取球或球员所处的方向角,并根据该方向角生成切换画面指令,根据该切换画面指令切换至局部画面。具体地:步骤3中,根据计算出球或球员在以球场长边中点为圆心,x轴正方向为0度基准线的所处方位角,再根据所处方位角下达切换画面指令到对应方位角朝向的镜头,从而实现局部画面的切换。

步骤4:根据预设的画面清晰度,对该局部画面进行进行放大处理,生成放大画面;

步骤5:根据图形画面坐标系上的定位信息作为画面中心点,对放大画面按第一尺寸标准进行截取,获得截取图像,并将截取图像输出至显示终端。具体地,根据截取放大画面,以(u,v)作为画面中心,截取第一尺寸标准的图像作为截取图像,并将截取图像输出至显示终端进行画面输出。

本实施例2还提供了一种多源视频剪辑播放系统,包括:镜头画面捕捉模组、球和球员定位信息获取模组、视频服务器和视频直播输出接口,在所述视频服务器内部署视频存储单元、画面切换处理单元、画面放大处理单元和画面追踪处理单元,其中镜头画面捕捉模组与视频存储单元相连,球和球员定位信息获取模组分别与画面切换处理单元和画面追踪处理单元相连,画面切换处理单元、画面放大处理单元和画面追踪处理单元依次相连,画面追踪处理单元与视频存储单元相连,画面追踪处理单元与视频直播输出接口相连,

镜头画面捕捉模组对球场进行实时镜头画面捕捉,获取整个球场的同步视频流,并将该视频流进行本地保存,实时保存至视频服务器的本地视频存储单元,

画面切换处理单元,获取球场的球及球员的球场位置坐标系上定位信息,并将该定位信息传输至视频服务器中,映射成图形画面坐标系上的定位信息,

将球场位置坐标系上定位信息映射成图形画面坐标系上的定位信息,其映射方法如下:

定义球场位置坐标系为xoy坐标系,定义图形画面坐标系为uov坐标系:

(1)

其中:

为足球/球员的在xoy中的位置,为平行于光轴的维度;

为足球/球员在uov中的位置;

为从xoy尺度单位到uov尺度单位的缩放矩阵;

为位置坐标的旋转与平移矩阵;

为位置坐标的旋转矩阵;

为位置坐标分别绕z,x轴的旋转矩阵;

为位置坐标的平移矩阵。

参考图3所示,本实施例中还包括云端海量数据服务器,用于与球场事件智能处理单元连接,存储海量球场事件数据。

球场事件智能处理单元,所述球场事件智能处理单元输入端与球和球员定位信息获取模组相连,球场事件智能处理单元输出端分别与画面切换处理单元、画面放大处理单元和画面追踪处理单元相连,球场事件智能处理单元还连接有事件日志,所述球场事件智能处理单元对历史赛事的海量数据进行球场事件的机器学习和训练,获得局部战术判断模型。通过球场事件智能处理单元,实现球场上的事件(运球、传球、抢断、拦截和射门)智能预测、判断与高效及时处理与视频直播,其核心在于利用机器学习算法结合高性能并行计算技术,达到实时高效的分析与处理,请参阅图3和图4,具体步骤如下:

(1)根据历史赛事的海量数据进行球场事件的机器学习和训练,以得到较高准确性的战术预测和判断模型;

(2)在“实现球场上球/球员(对象)的画面切换与追踪”的基础上,不再是直接根据球/球员定位信息来实现画面切换与追踪,而是通过球场智能处理单元这一中间处理模块,实现基于智能化的事件预测与判断的画面切换、缩放和追踪处理,实现更好的视觉体验。

画面切换处理单元根据球场位置坐标系上定位信息获取球或球员所处的方向角,并根据该方向角生成切换画面指令,根据该切换画面指令切换至局部画面,所述球场位置坐标系上定位信息通过设置在球和球员上的位置采集终端采集。具体地根据计算出球或球员在以球场长边中点为圆心,x轴正方向为0度基准线的所处方位角,再根据所处方位角下达切换画面指令到对应方位角朝向的镜头,从而实现局部画面的切换。

画面放大处理单元,根据预设的画面清晰度,对该局部画面进行进行放大处理,生成放大画面,

画面追踪处理单元,根据图形画面坐标系上的定位信息作为画面中心点,对放大画面按第一尺寸标准进行截取,获得截取图像,并将截取图像输出至显示终端。根据截取放大画面,以(u,v)作为画面中心,截取第一尺寸标准的图像作为截取图像,并将截取图像输出至显示终端进行画面输出。

单场球赛收集的数据以时间为序列,针对赛事事件的智能判断分为二种情况做处理:

第一种是以事件处理单元计算出的重要事件当作主要剪辑事件,例如射门的事件为重要事件,在事件发生的前后时间段自动生成射门的视频;

第二种是以连续事件所组合成的局部进攻战术当作主要剪辑事件.局部进攻战术(传切配合,交叉掩护配合,二过一配合,定位球战术等)是由两名或两名以上球员完成进攻配合的战术。换句话说一个进攻战术是由一连串时间续列的球员位置,球位置与事件所组成的。本战术判断模型利用循环神经网络进行局部进攻战术侦测与判断。所有在时间点i上球员与球的位置posi={pos1,i,pos2,i,...pos22,i,posb,i}、连同事件处理单元计算出的事件eventi(如运球dribi、传球passi、射门shoti等)为一个时间单元循环神经网络的输入。而神经网络的输出oi则是进攻战术的种类(传切配合,交叉掩护配合,二过一配合,定位球战术等)与侦测判断。若侦测到进攻战术,则在战术发生的前后时间段自动生成进攻战术的视频。

举例:在时间点ibegin到iend主队球员p1在边路运球并将球传给在中路切入的进攻球员p2。系统利用战术判断模型从ibegin到iend输入球员坐标及事件.在时间点iend时战术判断模型侦测到传切配合后便自动生成从ibegin到iend的进攻战术的视频。

区别于现有技术,上述技术方案通过设计一种多源视频剪辑播放方法及系统,根据对实时多源镜头画面捕捉后,并将获取的同步视频流进行本地存储,再根据球和球员在双坐标系中的位置映射关系实现球和球员的位置的匹配,通过对历史赛事的海量数据进行球场事件的机器学习和训练,获得时间预测和判断模型,根据时间预测和判断模型进行精彩事件中的球或球员的锚定,进而根据球场位置坐标系的方向角来实现镜头的切换,再根据图形画面坐标系上的定位信息来实现图像截取及输出,最终输出剪辑后的精彩赛事。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外,在本文中,“大于”、“小于”、“超过”等理解为不包括本数;“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白,上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机设备可读取的存储介质中,用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备,包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等;所述的存储介质,包括但不限于:ram、rom、磁碟、磁带、光盘、闪存、u盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器,使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管已经对上述各实施例进行了描述,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改,所以以上所述仅为本发明的实施例,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1