一种基于海量视频的快速特征提取系统的制作方法
【技术领域】
[0001]本发明属于视频监控技术领域，涉及一种基于海量视频的快速特征提取系统。
【背景技术】
[0002]视频监控已经广泛应用于平安城市、智能交通等多个领域，视频监控市场每年都在增长，前端摄像头不断地铺设，产生的海量的视频数据存储在磁盘中。
[0003]当需要检索视频资源时，需要进行海量视频的快速特征提取，随着信息技术的发展，海量视频信息提取逐渐成为需求热点。现有技术中视频的特征提取大都采用单服务器进行处理，但是随着特征提取的视频数据量的增大，海量视频的快速特征提取对服务器性能、网络带宽要求高，而且分析速率也不尽人意。
【发明内容】
[0004]本发明实施例的目的在于提供一种基于海量视频的快速特征提取系统，以解决现有技术分析速率低、服务器成本高的问题。
[0005]本发明实施例是这样实现的，一种基于海量视频的快速特征提取系统，所述系统包括:海量视频分析深度应用模块A、海量视频分析应用服务模块B、海量视频源模块C、视频大数据处理模块D和基础资源模块E ；
[0006]所述海量视频分析深层应用模块A向用户提供海量视频的快速特征提取服务，根据登录用户的权限信息，接收用户下发的作业任务；
[0007]所述海量视频分析应用服务模块B通过webservice向所述海量视频分析深层应用模块A提供服务接口，对所述系统各节点进行监控，将所述海量视频分析深层应用模块A下达的作业任务下发给所述视频大数据处理模块D ;
[0008]所述海量视频源模块C向所述视频大数据处理模块D提供视频数据获取的接口 ；
[0009]所述视频大数据处理模块D包括算法控制模块F、任务切分模块G、算法注入模块H、任务调度模块I和数据存储K ；
[0010]所述视频大数据处理模块D在接收所述作业任务后，根据视频源信息调用所述任务切分模块G对作业切分并封装成小任务；通过所述任务调度模块I将所述小任务下发到各个集群分析节点，所述分析节点通过所述算法控制模块F和所述算法注入模块H对视频切片进行分析；所述分析节点将处理结果汇聚到存储集群中的所述存储模块K中存储；所述存储集群为所述海量视频分析应用服务模块B提供分析结果的快速检索功能；
[0011 ] 所述基础资源模块E包括IT基础资源，所述IT基础资源包括网络资源、节点物理机资源和存储设备。
[0012]本发明提供的一种基于海量视频的快速特征提取系统的第一优选实施例中，所述视频大数据处理模块D控制基础资源模块E进行作业任务处理；
[0013]任务管理节点LOO收到任务以后，向各分析节点LI?Ln发送取任务的广播，各分析节点根据各自并发处理能力按需向所述管理节点请求任务，所述管理节点下发任务；
[0014]完成任务的所述分析节点，继续请求新的任务。
[0015]本发明提供的一种基于海量视频的快速特征提取系统的第二优选实施例中，所述任务切分模块G通过维护作业监控链表Gl和待处理作业队列G2进行任务切分；
[0016]所述视频大数据处理模块D收到所述海量视频分析应用服务模块B下发的作业，发送到所述任务切分模块G的所述待处理作业队列G2队尾，所述任务切分模块G从所述待处理作业队列G2队头取出作业，根据作业信息向所述海量视频源模块C获取视频信息，并将作业插入所述作业监控链表Gl ；
[0017]收到视频信息以后，将所述作业从所述作业监控链表Gl取出，对所述作业进行切分，封装成小任务，根据作业的用户级别插入到所述任务调度模块I进行处理。
[0018]本发明提供的一种基于海量视频的快速特征提取系统的第三优选实施例中，所述任务调度模块I通过维持优先级队列、任务监控链表和轮转调度模块15进行任务调度；
[0019]所述优先级队列包括至少两个的不同优先级的队列，所述任务切分模块G对作业进行切分后，根据用户的优先权限将任务插入到对应的优先级队列中；
[0020]当收到各分析节点的任务请求，所述轮转调度模块15依次从不同优先级的优先级队列中获取不同个数的任务，所述优先级队列的优先级越高，获取的任务的个数越多；周期轮转将任务下发个各个所述分析节点。
[0021]本发明提供的一种基于海量视频的快速特征提取系统的第四优选实施例中，所述系统基于HBase进行特征数据的存储和快速检索。
[0022]本发明实施例提供的一种基于海量视频的快速特征提取系统的优点包括:
[0023]1、本发明实施例提供的一种基于海量视频的快速特征提取系统，用户通过海量视频分析深度应用模块A进行视频的快速特征提取服务时，任务切分模块对服务作业的视频进行切分，根据用户选择的算法将任务下发到各个集群分析节点进行处理。针对出现的越来越大的视频数据量，单服务器进行视频的快速特征提取时对服务器性能、网络带宽要求高，分析速率不尽人意的情况，通过布置多个相对低性能服务器进行分布式处理进行解决。这大大降低了成本和带宽要求，实现了海量视频的快速分析、特征提取和快速检索功能，解决了分布式系统的负载均衡问题，并提高了算法分析和结果检索的效率；
[0024]2、任务处理时采用自适应负载均衡算法，任务分析节点完成任务后向管理节点请求新的任务，能者多劳，实现自适应负载均衡；
[0025]3、不同的用户设置不同的权限，任务调度模块I能够根据用户权限优先级进行任务处理的排序，同时用户还可以自己选择不同的任务算法；
[0026]4、基于HBase进行特征数据的存储和快速检索，可进行海量数据的实时读写，分布式存储，同时可通过简单的增加机器来提升系统的存储和运算能力。
【附图说明】
[0027]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]图1是本发明实施例提供的一种基于海量视频的快速特征提取系统的结构示意图；
[0029]图2是本发明实施例提供的自适应负载均衡算法示意图；
[0030]图3是本发明实施例提供的基于优先级的任务切分轮转调度算法流程图；
[0031]图中:
[0032]A—海量视频分析深度应用模块出一海量视频分析应用服务模块；C一海量视频源模块；D_视频大数据处理模块；E-基础资源模块；F_算法控制模块；G_任务切分模块；H-算法注入模块；1_任务调度模块；J_数据挖掘模块；K-数据存储模块；L-1T基础资源模块；M-资源监控模块；G1—作业监控链表；G2—待处理作业队列；11一优先级I队列；12—优先级2队列；13—优先级3队列；14一任务监控链表；15—轮转调度；L1 一分析节点I ;L2—分析节点I ;L3—分析节点3 ;L4—分析节点4 ;Ln-分析节点n ;L00-管理节点；L01_网络；L11-线程I ;L12-线程2 ；Lln-线程n ；Lnl-线程I ;Ln2-线程2 ；Lnn-线程η。
【具体实施方式】
[0033]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0034]为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
[0035]如图1所示为本发明提供的一种基于海量视频的快速特征提取系统的结构示意图，所述系统包括:海量视频分析深度应用模块Α、海量视频分析应用服务模块B、海量视频源模块C、视频大数据处理模块D和基础资源模块Ε。
[0036]海量视频分析深层应用模块A向用户提供海量视频的快速特征提取服务，根据用户的登陆信息判断用户的权限后接收用户下发的作业任务。
[0037]海量视频分析应用服务模块B通过w