一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法与流程

本发明属于视频图像应用领域，具体涉及视频大数据标准化汇聚技术。

背景技术：

为了解决传统的通过人工观看方式从视频中获取线索的低效率问题，视频分析技术被广泛应用到各类视频监控系统中，可对所提取目标的相关特征信息如车牌号、车辆颜色、车辆品牌等进行识别，并对目标和属性信息进行存储，以方便用户对视频中的目标进行管理和查询。

然而，在实际应用过程中存在多个视频分析系统同时部署的情况，大量的视频特征数据在各自系统中独立存储，相互隔离。由于视频分析系统种类繁多，且视频特征数据根据各自字段定义进行存储，数据格式各异，从而难以利用全部视频特征数据进行全局研判。

因此，面对大量存在的视频分析系统，如何高效地实现视频的统一标准化存储和应用，提升数据应用价值，成为视频分析系统应用中的一个重要问题。

技术实现要素：

针对现有方案中视频特征数据难以统一汇聚应用的问题，需要一种新的视频数据分析处理方案。

为此，本发明的目的在于提供一种基于任务统计特性的视频大数据标准化汇聚网关系统。该系统将独立的视频分析系统所产生的视频特征数据按照标准规范进行标准化转换和汇聚，解决了视频特征数据孤立应用的问题，提升了数据应用价值。同时，系统基于任务统计特性进行高效的任务调度，具有良好的扩展性。本发明基于该系统还提供一种任务统计特性的视频大数据标准化汇聚方法。

为了达到上述目的，本发明提供的基于任务统计特性的视频大数据标准化汇聚网关系统，该系统包括：

汇聚输入模块，所述汇聚输入模块提供适应多个视频分析系统的输入接口，用于接收多系统视频特征数据的汇聚输入；

任务调度模块，所述任务调度模块用于评估不同来源的各视频分析系统输出数据的转换复杂度及不同计算节点的处理能力分级，并依据标准化转换计算节点的处理能力对任务调度策略进行动态调整，按调度策略将视频特征数据分发到系统中至少一个视频数据标准化转换模块进行并行转换；

视频数据标准化转换模块，所述视频数据标准化转换模块用于根据输入视频特征数据的来源，确定对应的转换规则，将每一项视频特征数据由原系统的定义值转换为符合标准规范的视频特征数据；

任务统计模块，所述任务统计模块用于统计视频特征数据标准化转换的任务特征、任务执行时间，并反馈至任务调度模块，作为任务调度的参考依据；

标准化数据输出模块，所述标准化数据输出模块用于汇总符合标准规范的视频特征数据，并输出至视频大数据平台。

进一步地，所述汇聚输入模块从多个视频分析系统获取输出的视频特征数据。

进一步地，所述系统中包含至少一个视频数据标准化转换模块，至少一个视频数据标准化转换模块之间并行设置和并行运行。

进一步地，所述视频数据标准化模块分别布置在系统的计算节点之上，并与任务调度模块数据连接。

进一步地，所述系统中的计算节点可通过注册的方式进行扩展，并实现可调度。

为了达到上述目的，本发明提供的基于任务统计特性的视频大数据标准化汇聚方法，包括：

(1)接收多个系统输出的视频特征数据，标记系统来源信息后进行标准化转换任务调度；

(2)根据来源系统数据的转换复杂度分级和标准化计算转换节点的处理能力分级，从计算资源池中挑选合适的计算节点作为目标节点，进行标准化转换任务分发；

(3)根据标准化转换任务的视频特征数据来源，确定转换规则，将视频特征数据由原系统的定义值转换为符合标准规范的数据，生成符合标准规范定义的json文件；

(4)统计视频特征数据标准化转换过程的任务特征、任务执行时间，反馈至步骤(2)，作为调度策略动态调整的依据。

(5)将步骤(3)标准化转换后的视频特征数据输出至视频大数据平台，以便后续应用。

进一步地，所述方法中进行任务调度时，根据步骤(4)返回的周期性统计特性，进行标准化转换任务的转换复杂度估算，计算节点处理能力估算，标准化任务转换复杂度分级以及确定调度策略。

进一步地，所述方法进行任务调度时，根据视频特征数据的来源系统确定本次标准化转换任务的复杂度等级，并在对应同样等级的计算节点池中选择空闲节点进行任务分配；若对应同样等级的计算节点池中所有节点都在工作中，则依次在较高等级的计算节点池中选择空闲节点进行任务分配。

本发明所提供地视频大数据标准化汇聚网关方案提供了一种视频特征数据标准化转换策略，可对视频特征数据进行快速标准化转换。本方案中通过汇聚输入模块、任务调度模块、视频标准化转换模块、任务统计模块和标准化数据输出模块之间的相互协调工作，实现了各独立系统视频特征数据的快速标准化转换和汇聚输出。本方案将独立的视频分析系统所产生的视频特征数据按照标准规范进行标准化转换和汇聚，解决了视频特征数据孤立应用的问题，提升了数据应用价值。同时，系统基于任务统计特性进行高效的任务调度，具有良好的扩展性。

具体而言，本发明方案具有以下技术效果：

(1)汇聚的标准性。在本发明所描述的视频大数据标准化汇聚网关系统中，各视频特征字段根据标准进行标准化转换并输出，从而为基于多系统视频特征数据的汇聚和联合应用提供支撑；

(2)转换的高效性。视频特征数据通过任务调度后在多台服务器并行完成标准化转换，缩短了整体转换时间，解决了由单一服务器串行化转换所造成的转换效率问题；

(3)系统的可扩展性。当接入视频特征数据随着应用规模增长而快速增长时，系统支持标准化转换服务器动态添加，扩充标准化转换处理能力，实现系统的可扩展性，提升系统整体的转换效能。

(4)调度的灵活性。通过对视频特征数据按转换复杂度进行分级，对标准化计算节点按处理能力进行分级，并实现级别匹配的调度，使得系统在实现高效并行的同时又兼顾了负载均衡。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为基于任务统计特性的视频大数据标准化汇聚网关系统架构图；

图2为任务调度模块工作流程示意图；

图3为视频数据标准化转换模块工作流程示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

针对不同的视频分析系统具有不同的数据定义规范，本方案给出一种视频大数据标准化汇聚方案，用于多个视频分析系统集成应用时的视频特征数据汇聚，对于不符合标准的视频特征数据需要根据规则进行数据转换处理后再汇聚。

参见图1，其所示为本方案给出的基于任务统计特性的视频大数据标准化汇聚网关系统的构成原理示例。

该视频大数据标准化汇聚网关系统将汇聚输入的视频特征数据调度到多台服务器，由部署于服务器上的视频数据标准化转换模块完成标准化转换，转换结果汇总到标准化数据输出模块并输出。任务统计模块统计一个周期内的标准化转换任务特征、任务执行时间，并反馈至任务调度模块，作为任务调度的参考依据。

由图可知，该系统主要包括汇聚输入模块201，任务调度模块301，若干视频数据标准化转换模块401、402、…、40m，任务统计模块501，以及标准化数据输出模块601。

本发明系统通过汇聚输入模块201，任务调度模块301，若干视频数据标准化转换模块401、402、…、40m，任务统计模块501，以及标准化数据输出模块601之间的相互协调工作，实现对多个视频分析系统101、102、…、10n输出的视频特征数据的快速标准化转换和汇聚输出。

本系统中的汇聚输入模块201负责对多个视频分析系统101、102、…、10n输出的视频特征数据的汇聚输入。

该汇聚输入模块201具体主要包括输入接口管理、视频特征数据的接收和任务队列管理，其提供适应多个视频分析系统的输入接口，实现从多个视频分析系统获取输出的视频特征数据。

本系统中的任务调度模块301与汇聚输入模块201数据连接，用于评估不同来源的各视频分析系统输出数据的转换复杂度及不同计算节点的处理能力分级，并依据标准化转换计算节点的处理能力对任务调度策略进行动态调整，按调度策略将视频特征数据分发到系统中多台服务器进行并行转换。

具体的，本任务调度模块301采用自适应动态调整任务调度算法，在一个周期的标准化转换任务完成后评估不同标准化转换任务的转换复杂度分级，以及各计算节点的处理能力分级。再者，根据分级情况对来自多系统的视频特征数据进行调度，将视频特征数据合理地分发到系统中多台服务器进行并行转换，确保标准化转换的高效率。

本系统中的多个视频数据标准化转换模块401、402、…、40m部署于计算节点之上，与任务调度模块301相接，用于根据标准规范要求转换每一项输入的视频特征数据。

具体的，多个视频数据标准化转换模块401、402、…、40m部署于各台服务器中，是系统的核心工作模块，能够根据输入视频特征数据的来源，确定相应的转换规则，并将每一项视频特征数据由原系统的定义值转换为符合标准规范的视频特征值；完成视频特征数据标准化转换后，生成符合标准规范定义的json文件。生成的json文件发送到标准化数据输出模块6，作为本网关的标准化输出。

本系统中的任务统计模块501用于统计每个视频特征数据标准化转换任务涉及的处理信息量、任务完成时长等参数，在一个周期的标准化转换任务完成后发送到任务调度模块301。任务调度模块301将以此为主要依据进行任务调度，提高整个系统的运行效率。任务统计模块501不参与具体的标准化转换过程，是任务调度模块301的前端探针。

本系统中的标准化数据输出模块601从各台服务器的视频数据标准化转换模块401、402、…、40m获取标准化的视频特征数据，解析标准化后的json文件，并将数据汇总后输出至视频大数据平台。

由此构成的基于任务统计特性的视频大数据标准化汇聚网关系统，在实现多视频特征数据的高效转换汇聚时，首先接收多系统的视频特征数据，接下来基于动态任务调度策略，将视频特征数据分发到系统中多台服务器进行并行转换处理。视频数据标准化转换模块能够根据输入数据的来源，确定相应的转换规则，由原系统的定义值转换为符合标准规范的视频特征数据；系统最后汇总标准化的视频特征数据，并将数据输出至视频大数据平台。本系统还根据任务负载统计确定的任务调度策略可在确保系统高效运行的同时，兼顾不同标准化转换计算节点间的负载平衡。

作为举例，本基于任务统计特性的视频大数据标准化汇聚网关系统进行运行时的基本流程如下：

①汇聚输入模块接收多个系统输出的视频特征数据，标记系统来源信息后提交至任务调度模块进行标准化转换任务调度。

②任务调度模块接受任务后，根据来源系统数据的转换复杂度分级和标准化计算转换节点的处理能力分级，从计算资源池中挑选合适的计算节点作为目标节点，进行标准化转换任务分发。

③视频数据标准化转换模块根据标准化转换任务的视频特征数据来源，确定转换规则，将视频特征数据由原系统的定义值转换为符合标准规范的数据，生成符合标准规范定义的json文件，并将json文件发送至标准化数据输出模块。

④任务统计模块统计视频特征数据标准化转换过程的任务特征、任务执行时间，反馈至任务调度模块，作为调度策略动态调整的依据。

⑤标准化数据输出模块将标准化转换后的视频特征数据输出至视频大数据平台，以便后续应用。

由此可见，本方案给出的视频大数据标准化汇聚网关系统与传统的视频资源汇聚系统不同，传统系统主要实现视频原始数据的汇聚和调用，主要解决的是视频原始数据的传输、存储及共享问题；而本系统面向的是视频特征数据的汇聚和标准化转换，将视频特征数据所包含的每个视频特征字段按照标准规范进行转换后输出。同时，本系统进行视频特征数据的标准化转换不是一个串行化的过程，而是将视频标准化转换任务被提交至任务调度模块后，将由任务调度模块根据标准化转换任务计算复杂度、计算节点的处理能力等，将任务调度到多台服务器的视频标准化转换模块上，从而实现并行高效处理。

针对上述方案，以下通过以具体应用实例来进一步说明其实施过程。

基于上述方案构建基于任务统计特性的视频大数据标准化汇聚网关系统(如图1所示)。该系统运行时，汇聚输入模块201获取各视频分析系统101、102、…、10n生成的视频特征数据，每个视频特征数据包含平台系统序号i和具体的视频特征数据如车牌号码、车辆颜色特征等。

系统中的任务调度模块301根据任务统计模块501返回的周期性统计特性，评估不同标准化转换任务的转换复杂度分级，以及各计算节点的处理能力分级。并与汇聚输入模块201数据相接，按照调度策略将汇聚输入模块201中的视频特征数据转发至对应的视频数据标准化转换模块401、402、…、40m，进行视频标准化转换。

系统中任务调度模块301调度策略如下：

标准化转换任务的转换复杂度估算：根据一个周期内的标准化转换过程估算每个视频分析平台产生视频特征数据的转换复杂度，计算方式如下：

其中，ci为对应于视频分析平台i的转换复杂度，bi表示来自该视频分析平台的视频特征数据第i次标准化过程处理的有效特征值数量，n表示近一个周期内来自该视频分析平台的视频特征数据标准化转换总次数。

计算节点处理能力估算：根据一个周期内的标准化转换过程估算每个标准化转换服务器的处理能力，计算方式如下：

其中，fj为对应于标准化计算节点j的处理能力，bj表示运行于当前计算节点的第j次标准化过程处理的有效特征值数量，tj表示运行于当前计算节点的第j次标准化过程的处理时间，m表示近一个周期内运行于该计算节点的标准化转换总次数。

标准化任务转换复杂度分级：根据估算的标准化过程计算复杂度ci进行排序，分为3个等级，ci值较小的视频分析系统为1级，并依次递增。标准化任务的分级会在一个周期结束后根据任务统计模块5的反馈进行动态调整。

计算节点分级：根据估算的计算节点处理能力fj进行排序并分为3个等级，fj值较小的计算节点为1级，并依次递增。计算节点的分级会在一个周期结束后根据任务统计模块5的反馈进行动态调整。

调度策略：任务调度的原则是尽可能实现标准化转换任务和计算节点等级的匹配，具体的调度过程为：根据视频特征数据的来源系统确定本次标准化转换任务的复杂度等级，并在对应同样等级的计算节点池中选择空闲节点进行任务分配；若对应同样等级的计算节点池中所有节点都在工作中，则依次在较高等级的计算节点池中选择空闲节点进行任务分配。

由此，系统中任务调度模块301工作流程示意图如图2所示。在接收视频特征数据标准化任务后，首先确定任务的复杂度等级，再根据调度策略选择空闲的计算节点进行分配。如所有对应等级或较高等级的计算节点均未空闲，则等待节点空闲后再进行标准化任务分配，开展标准化转换过程。

系统中多个视频数据标准化转换模块部署于计算节点之上，与任务调度模块301相接，用于根据标准规范要求转换每个输入的视频特征数据。

参见图3，系统中的视频数据标准化转换模块进行工作的流程如下：

第一步，根据视频特征数据来源进行数据解析，获得每一项具体的视频特征数据，如车型、车牌、车辆颜色等。

第二步，根据数据来源从转换规则库中选择标准化转换规则。每个不同的视频分析平台对应一个预先设定的转换规则。转换规则预先存储于转换规则库中，包括进行特征值转换、图片格式转换等。以车身颜色特征的特征值转换为例，下表描述了具体的转换要求：

表1转换规则示例

根据解析获得的每一条视频特征，对照视频分析平台的标准化转换规则表，对不符合标准要求的进行转换。如无对应转换规则，则不进行转换，直接进行输出。

第三步，根据标准规范要求，将转换后的视频特征数据打包生成json文件。

第四步，将任务执行情况发送至任务统计模块5，将json文件发送至汇聚输出模块6。

系统中的任务统计模块501与视频数据标准化转换模块401、402、…、40m相接，在标准化任务完成后，接收视频数据标准化转换模块401、402、…、40m发送的任务执行情况，包含任务处理量、任务起止时间、任务完成情况等，统计视频特征数据的有效处理数量及任务的执行时长，在一个设定的周期后反馈至任务调度模块301。

系统中的汇聚输出模块601与视频数据标准化转换模块401、402、…、40m相接。用于接收视频数据标准化转换模401、402、…、40m转化形成的json文件，最终导入视频大数据平台。

本系统通过视频标准化转换方案，可以将多系统产生的视频特征数据转换为符合标准规范的标准化特征数据。同时，在任务调度时使用任务和计算节点分级的方式，尽可能将任务分配到处理能力匹配的计算节点，保障系统运行高效的同时兼顾负载平衡。最后，完成标准化转换的视频特征数据进行汇聚，输出到视频大数据平台，便于后续全局研判应用。

最后，需要说明的，上述本发明的方法，或特定系统单元、或其部份单元，为纯软件架构，可以透过程序代码布设于实体媒体，如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体)，当机器加载程序代码且执行(如智能型手机加载且执行)，机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体，如电缆、光纤、或是任何传输型态进行传送，当程序代码被机器(如智能型手机)接收、加载且执行，机器成为用以实行本发明的装置。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。