面基于事件内容的相关度，另一方面也需要考虑数据运算负荷的均衡化。由于非结构化数据的分析运算一般会消耗相对更多的资源，因此数据分配节点会在每个分布式存储节点上同时放置结构化数据以及非结构化数据，以便实现异构数据的协调分析处理。具体来说，数据分配节点执行并行的结构化数据分配线程和非结构化数据分配线程，按照上述事件内容相关度，将结构化和非结构化数据分别分配给各个分布式存储节点。
[0043]各个数据分布式存储节点对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统。并且分布式存储节点从不同的维度上提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索弓I，以关键信息索引作为数据项，构建了系统资源库、事件资源库、案件资源库、智能设备库、安全管理库等分布式索引数据库。基于各个分布式索引数据库，分布式存储平台提供了分布式资源管理框架接口，利用该框架接口调用各分布式索引数据库，能够实现分布式资源集群和工作流调度，提供分布式批处理，实现分布式的事件处理、全文搜索以及图像检索等功能。
[0044]在分布式存储平台的基础上，系统提供了分布式内存分析层。该分布式内存分析层提供了 OLAP高速查询分析、交互式分析能力，具有内存列式库，支持PL/SQL以及R语言，因此能够支持更强的统计分析能力。分布式内存分析层具有请求解析调度单元，该单元对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理，实现了海量结构化、非结构化数据的分布式并行分析处理。
[0045]在内存分析层之上，系统进一步提供了面向应用层的统一的数据交换接口，实现视频图像信息数据共享交换。对于应用层的各种应用平台，可以通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。所述数据交换接口可以包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。从而，通过提供视频图像信息数据的分析处理功能，结合多种报表工具，提供了交互式数据分析、即时报表和可视化能力。
[0046]通过本发明提供的处理海量级数据的视频图像信息的数据库系统，在应用层可以相应构建视频图像信息应用平台、大数据分析应用工具以及其它应用平台和资源库。能够满足公安社会管理实战当中对海量级的视频图像信息资源的应用需要，针对视频图像信息数据，提供实时布控、告警以及共享交换功能。
[0047]本发明在上述视频图像信息数据库系统的基础上，如图4所示，提供了一种处理海量级数据的视频图像信息的方法，包括视频图像信息数据的前端采集步骤，视频图像信息数据的实时流处理步骤、基于事件的视频图像内容信息流分布式存储步骤、分布式任务分配和并行分析处理步骤以及视频图像内容信息的查询分析应用步骤。
[0048]视频图像数据的前端采集步骤中，基于智能设备实现视频图像信息的采集，从而通过统一的接口将视频图像信息数据上传到视频图像信息数据库系统。负责视频图像信息采集的各采集前端系统在地域空间上呈广域分布，并且可以提供不同类型和结构的视频图像信息数据，例如视频图像具有不同的图像格式以及不同的附加信息。
[0049]视频图像信息数据的实时流处理步骤中，调用数据库系统的实时流处理引擎，从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的信息队列，满足实时和非实时海量信息数据的派发，并且实现对信息数据的流处理。信息队列可以包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，从而可应用于具有较高的时间性要求的视频信息应用；非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间则允许具有相对更长的延迟。根据视频图像信息数据流的结构化和非结构化特征，可以建立结构化信息队列和非结构化信息队列；结构化信息队列实现对具有结构化数据格式的视频图像信息数据流的处理，而非结构化信息队列实现对非结构化数据格式的视频图像信息数据流的处理。
[0050]实时流处理步骤包括对其中视频片段和图片文件进行内容提取和标注，从而根据视频片段和图片的产生原因定义视频图像信息的事件内容，进而形成基于事件内容的结构化和/或非结构化数据，从而在原始的视频图像信息流的基础上结合所定义的事件建立了视频图像内容信息流。视频图像内容信息流包括事件内容描述信息以及与该事件内容描述信息关联的视频图像。所述事件内容描述信息是在实时流处理引擎的流处理过程当中所定义的，该事件内容描述信息包括对与之关联的视频片段和图片的事件内容的描述，例如事件的发生时间、事件的类型等。事件内容描述信息通过帧序列号关联到视频图像信息流当中的视频片段和图片。在对事件内容描述信息的定义过程中，首先执行对结构化和非结构化的视频图像信息流的帧抽样，从视频片段当中抽取若干关键帧图像，可以利用场景识别技术从视频图像信息流当中判断出不同的场景，进而对于每个场景下的视频片段抽取相应的关键帧图像；视频图像信息流当中的静态图片可以直接作为关键帧图像使用。对于被抽取的关键帧图像，进而实现内容提取以及事件内容描述信息的定义。对于结构化的视频图像信息，实时流处理通过检索与关键帧图像关联的标签、描述信息、附加信息等结构化数据，获得事件内容描述信息。对于非结构化的视频图像信息，实时流处理可以执行自动、半自动以及人工的内容提取和标注，从而由非结构化的视频图像信息当中生成事件内容描述?目息O
[0051]基于事件的视频图像内容信息流分布式存储步骤中，基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点的数据分配步骤实现到各个分布式存储节点的分配。数据分配节点提取视频图像内容信息流当中的事件内容描述信息，并且通过该事件内容描述信息分析当前的视频图像内容信息相关联的事件与各个分布式存储节点已有的事件之间的相关度，从而决定为当前视频图像内容信息所分配的分布式存储节点。例如，数据分配节点可根据事件类型，将具有相同或者相近事件类型的视频图像内容信息分配到同一个或者几个分布式存储节点。数据分配节点的数据分配步骤一方面基于事件内容的相关度，另一方面也需要考虑数据运算负荷的均衡化，因此数据分配节点会在每个分布式存储节点上同时放置结构化数据以及非结构化数据，以便实现异构数据的协调分析处理。具体来说，数据分配步骤中执行并行的结构化数据分配线程和非结构化数据分配线程，按照上述事件内容相关度，将结构化和非结构化数据分别分配给各个分布式存储节点。
[0052]各个数据分布式存储节点对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统。并且分布式存储节点从不同的维度上提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索弓I，以关键信息索引作为数据项，构建了系统资源库、事件资源库、案件资源库、智能设备库、安全管理库等分布式索弓I数据库。基于各个分布式索弓I数据库，可以利用分布式资源管理框架接口调用各分布式索引数据库，能够实现分布式资源集群和工作流调度，提供分布式批处理，实现分布式的事件处理、全文搜索以及图像检索等功能。
[0053]分布式任务分配和并行分析处理步骤当中，对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现了海量结构化、非结构化数据的分布式并行分析处理。
[0054]视频图像内容信息的查询分析应用步骤中，应用层的各种应用平台可以通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。所述数据交换接口可以包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。从而，通过提供视频图像信息数据的分析处理功能，结合多种报表工具，提供了交互式数据分析、即时报表和可视化能力。
[0055]从而，本发明的系统和方法利用大数据平台高扩展性和高性能可以克服视频图像信息数据处理的规模不断增长和实时性需求，整合了面向海量非结构化视频、图像数据的云存储和基于云计算的数据并行处理技术，以及横向扩展的MPP关系数据