基于大数据的分布式视频切割模型及应用的制作方法

本发明涉及图像和视频处理技术领域，特别涉及一种基于大数据的分布式视频切割模型及应用。

背景技术：

视频和图像的分割,指按一定的标准把图像或图像序列分割成多个空间区域,从中分离出被关注的对象。视频和图像分割在诸如数字娱乐、视频编码、视觉监控、电视电话会议、视频数据库检索等多媒体应用领域,有着非常重要的地位和作用,其研究具有重要的理论意义和广阔的应用前景。

cn103606158a公开了一种视频剪切的预处理方法，包括：从指定的视频播放时间开始沿着视频播放的进度方向搜索视频文件的关键帧；从所述视频文件的关键帧中获取预设个数的视频场景中每一个视频场景的特征信息，所述特征信息包括：视频场景的开始帧及其对应的时间、结束帧及其对应的时间、视频场景包括的关键帧数中至少一种信息；将所述每一个视频场景的特征信息展现给用户，以供用户以所述特征信息中的开始帧或者结束帧为选择依据选择视频剪切点。本发明实施例还公开了一种终端。采用本发明，具有可降低视频剪切点的查找难度，提高视频剪切点的查找效率，提高视频剪切的效率和用户体验的优点。

cn105719297a公开了一种基于视频的物体切割方法及装置，包括：提取视频的其中一帧图像，通过图切割算法切割出所述图像中的指定物体；对切割出的物体进行特征学习，获取所述物体的物体区域、非物体区域及边界的统计特征；基于获取到的所述物体的统计特征，通过条件随机场模型对所述视频的其他帧图像中的所述物体进行切割。本发明基于第一帧图像的切割结果，学习切割出的物体的统计特征，进而通过条件随机场模型来实现对该视频片段其它帧的该物体的切割，从而能够完成对任意视频中任意物体的自动切割，使得物体切割不再受背景静止、相机静止、前景运动或者背景已知等条件的限制，提高了物体切割算法的处理能力。

同上述2个专利公开文本中存在相同的问题，现有的视频处理程序主要针对单视频进行切割融合，当存在大量视频时视频切割效率大打折扣，同时消耗大量硬件资源，并且缺少数据分析基础，仅仅根据时间段或事件进行简单切分。

技术实现要素：

为了解决以上现有技术中视频切割处理程序这存在的效率低、消耗资源大、缺少数据分析基础的问题，本申请公开了一种分布式切割技术，通过分布式基础均衡负载切割任务，提高软硬件资源利用率，提高视频切割效率的基于大数据的分布式视频切割模型。

现将大数据分析、分布式、视频切割等技术相结合，通过对足球队员的场上表现、关键传球、犯规、体能数据等为依据，对视频进行综合分析，将关键时间段视频摘取出来，并对当前视频简历关键点索引，同时借助分布式技术实现内存共享、多点切割提高视频切割效率。

本发明是通过以下措施得到的：

基于大数据的分布式视频切割模型，是通过以下步骤构建得到的：

（1）对待切割视频进行分析，提取出事件，记录事件及事件开始时间和事件结束时间，记录为体能数据；

（2）根据事件开始、结束时间以及联动事件开始结束时间，确定切分视频长度l，公式如下：

l=（ue-ub）/2-（ne-nb）/2

l:视频切割长度

ub：上一事件开始时间

ue:上一事件结束时间

nb：下一事件开始时间

ne:下一事件结束时间；

（3）将体能数据、视频存储到hadoop分布式文件系统，通过spark对数据进行分析，存储到hbase中，视频切割任务控制器通过hbase提供api，获取事件列表，根据步骤（2）中的切割视频长度l的算法，确定切割视频时长、开始时间、结束时间，生成视频切割指令，根据分布式任务分配算法，依据节点数量、cpu、内存使用率，对视频切分任务进行分配：

首先根据节点数量对切分任务进行取模运算，将任务分为若干份；

然后将任务分配到cpu、内存平均利用率低于60%的节点，如果不存在资源利用率低于60%的节点，则采用轮训的方式平均分配任务，如果70%节点资源利用率高于80%，则发出告警提示；

（4）将切割后的视频,建立视频图书馆,并建立视频检索，接收到相应调用指令后进行调用。

所述的的分布式视频切割模型，优选所述事件为足球比赛中可能发生的所有事件。

所述的的分布式视频切割模型，优选所述事件包括传球、传中、抢断、犯规、任意球、角球、球门球、进球。

所述的的分布式视频切割模型，优选所述传球包括形成射门的传球、形成角球的传球、形成任意球的传球。

一种基于大数据的分布式视频切割系统，由以下3个部分组成：

（1）数据存储层：采用分布式文件系统架构，由hadoop、hbase、oralce数据存储系统组成，其中hadoop用来存储视频文件、日志文件；hbase用来存储非关系性数据，采用key-value方式进行数据存储；oracle用来存储关联关系强的业务数据；

（2）数据分析层：采用spark、map-reduce实现对原始数据进行分析，解析事件的开始与结束时间、发生坐标、目标坐标、球员编码，并根据视频切割算法，生成视频切割任务，视频切割算法根据事件开始、结束时间以及联动事件开始结束时间，确定切分视频长度l，公式如下：

l=（ue-ub）/2-（ne-nb）/2

l:视频切割长度

ub：上一事件开始时间

ue:上一事件结束时间

nb：下一事件开始时间

ne:下一事件结束时间；

（3）事件处理层：由视频切割任务调度器controlnode与任务处理器jobnode组成，视频切割任务调度器controlnode读取视频切割任务，根据分布式任务处理算法，将视频切割任务分配到各任务处理器jobnode进行视频切割。分布式算法根据首先根据jobnode节点数量对切分任务进行取模运算，将任务分为若干份；然后将任务分配到cpu、内存平均利用率低于60%的节点，如果不存在资源利用率低于60%的节点，则采用轮训的方式平均分配任务，如果70%节点资源利用率高于80%，则发出告警提示。系统架构图如图1所示。

所述的分布式视频切割系统，系统部署2台controlnode作为master–slave当前其中一台发生故障时，另一台立即启用增加系统稳定性；可根据任务量部署多台jobnode，能够实现横向的动态扩容，分布式节点部署如图2。

所述的分布式视频切割系统，优选步骤（1）中的视频文件包括比赛原始视频、原始体能数据、比赛视频切片、球员热区图等。

所述的分布式视频切割系统，优选所述步骤（1）中的事件包括传球、传中、抢断、犯规、任意球、角球、球门球、进球。

基于大数据的分布式视频切割模型或基于大数据的分布式视频切割系统在足球竞技中的应用。

所述的应用，优选根据检索内容分析视频种类和足球比赛相关信息对切割后的视频进行科学的关联，形成视频分析应用。

本发明的有益效果：

1、大数据分析技术，通过与hadoop、hbase、spark等技术相结合，实现原数据的分布式存储与快速计算，为视频切割提供数据基础，精准对足球赛事视频进行切割，赛前推演、赛后分析、球员分析提供直观的视频数据源；

2、分布式切割技术，通过分布式基础均衡负载切割任务，提高软硬件资源利用率，提高视频切割效率，同时节省硬件投入成本；

3、系统运行稳定，实现动态扩容，部署扩容灵活，各节点通过心跳监测，实现容灾备份。

附图说明

图1为系统架构图；

图2为分布式节点部署图，其中，1、主服务器任务调度器1,2、从服务器任务调度器2,3、任务处理器1,4、任务处理器2,5、任务处理器3,6、任务处理器n。

具体实施方式

下面结合具体实施例对本发明进行进一步说明：

实施例1

基于大数据的分布式视频切割模型，构建方法如下：

（1）对待切割视频进行分析，提取出事件，包括传球、传中、抢断、犯规、任意球、角球、球门球、进球等事件，其中传球又可细分为形成射门的传球、形成角球的传球、形成任意球的传球等联动事件，记录事件及事件开始时间和事件结束时间，记录为体能数据；

（2）根据事件开始、结束时间以及联动事件开始结束时间，确定切分视频长度l，公式如下：

l=（ue-ub）/2-（ne-nb）/2

l:视频切割长度

ub：上一事件开始时间

ue:上一事件结束时间

nb：下一事件开始时间

ne:下一事件结束时间；

（3）将体能数据、视频存储到hadoop分布式文件系统，通过spark对数据进行分析，存储到hbase中，视频切割任务控制器通过hbase提供api，获取事件列表，根据步骤（2）中的切割视频长度l的算法，确定切割视频时长、开始时间、结束时间，生成视频切割指令，根据分布式任务分配算法，依据节点数量（n）、cpu、内存使用率等，对视频切分任务进行分配：

首先根据节点数量对切分任务进行取模运算，将任务分为若干份；

然后将任务分配到cpu、内存平均利用率低于60%的节点，如果不存在资源利用率低于60%的节点，则采用轮训的方式平均分配任务，如果70%节点资源利用率高于80%，则发出告警提示；

（4）基于足球项目对视频资料处理需求的个体化和频繁变化的特点，把切割后的视频,有效的组织起来,建立视频图书馆,并建立视频检索。根据检索内容分析视频种类和足球比赛相关有意信息对切割后的视频进行科学的关联，形成强有力的视频分析应用，接收到相应调用指令后进行调用。

实施例2

一种基于大数据的分布式视频切割系统，由以下3个部分组成：

（1）数据存储层：采用分布式文件系统架构，由hadoop、hbase、oralce数据存储系统组成，其中hadoop用来存储视频文件、日志文件，包括比赛原始视频、原始体能数据、比赛视频切片、球员热区图等；hbase用来存储非关系性数据，采用key-value方式进行数据存储；oracle用来存储关联关系强的业务数据；

（2）数据分析层：采用spark、map-reduce实现对原始数据进行分析，解析事件的开始与结束时间、发生坐标、目标坐标、球员编码，并根据视频切割算法，生成视频切割任务，视频切割算法根据事件开始、结束时间以及联动事件开始结束时间，确定切分视频长度l，公式如下：

l=（ue-ub）/2-（ne-nb）/2

l:视频切割长度

ub：上一事件开始时间

ue:上一事件结束时间

nb：下一事件开始时间

ne:下一事件结束时间；

事件包括传球、传中、抢断、犯规、任意球、角球、球门球、进球等足球竞技中所有的事件；

（3）事件处理层：由视频切割任务调度器controlnode与任务处理器jobnode组成，视频切割任务调度器controlnode读取视频切割任务，根据分布式任务处理算法，将视频切割任务分配到各任务处理器jobnode进行视频切割。分布式算法根据首先根据jobnode节点数量对切分任务进行取模运算，将任务分为若干份；然后将任务分配到cpu、内存平均利用率低于60%的节点，如果不存在资源利用率低于60%的节点，则采用轮训的方式平均分配任务，如果70%节点资源利用率高于80%，则发出告警提示。系统架构图如图1所示。系统部署2台controlnode作为master–slave当前其中一台发生故障时，另一台立即启用增加系统稳定性；可根据任务量部署多台jobnode，能够实现横向的动态扩容，分布式节点部署如图2。

实施例3

本发明中的分布式视频切割模型与分布式视频切割系统并不是独立的，而是一个紧密结合的整体，下面就从整体流程来进行阐述。

（1）比赛或者训练结束后，通过摄像机、穿戴设备等，采集比赛/训练视频以及体能数据，将视频文件与体能数据，存放到指定hadoop存放目录；

（2）通过事件解析器，对hadoop存放原始数据进行分析，提取关键事件包括传球、传中、犯规、角球、任意球等事件信息以及球员与球在球场的坐标信息，例如事件开始结束时间、事件开始坐标、目标坐标、事件类型、事件触犯人员等等，原始数据解析完成后，将转化后的标准数据，存放到hbase中并生成视频切割任务；

（3）分时式视频切割系统，定期检索hbase中视频切割任务，检索到未处理任务，通过系统中任务分配器，将任务分配给当前空闲机器执行具体视频切割任务，最终将切割后视频存放到视频文件服务器，并将路径信息存储、事件信息、视频索引信息同步到业务数据库中；

（4）前端系统，通过业务数据库中存储的视频路径信息、事件信息、视频索引等，进行相关业务处理，例如技术白板中视频索引、技术白板中事件视频播放等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受实施例的限制，其它任何未背离本发明的精神实质与原理下所做的改变、修饰、组合、替代、简化均应为等效替换方式，都包含在本发明的保护范围之内。