一种处理海量级数据的视频图像信息的方法及数据库系统的制作方法
【技术领域】
[0001]本发明涉及与视频相关的信息技术领域，尤其涉及一种处理海量级数据的视频图像信息的方法及数据库系统。
【背景技术】
[0002]视频图像信息资源是一项非常重要的城市管理基础资源。例如，公安机关可依托视频监控系统采集视频图像信息，并基于视频监控及时开展治安防控和打击。
[0003]然而，传统视频监控系统功能有限，对于视频信息缺乏对与公安实战紧密结合的功能的深度挖掘，难以支持差异化的视频监控深化应用需求。这些系统当前存在的矛盾和问题主要体现在:一、由于监控系统广域布设，使得采集的涉案视频信息资源基本都分散在办案民警手中，形成了众多的信息孤岛，不便资源的共享，也不利于不同地区和不同案件侦查中串并案分析处理。有些系统虽然通过对广域范围内视频监控系统的集中整合，完成了对视频信息资源的统一存储，但是会形成海量的视频图像信息，导致日后对视频图像信息的应用非常困难，很难提取出有用视频信息。二、电子警察、智能卡口系统等监控手段与视频监控系统还没实现有机融合，应用效能没有完全释放。三、视频信息应用需要跟公安机关的其它信息化系统对接才能够发挥更大的作用，比如PGIS、打防控系统、人口信息、车辆信息等；现有技术缺乏能将视频信息应用与公安实战业务紧密结合的信息化系统，难以支持不同警种差异化的视频信息应用需求。
[0004]现有技术存在上述问题，其核心的瓶颈在于，由于视频图像信息资源的数据量大，数据类型、编码协议和文件格式都呈现多样异构特征，数据多为结构化和非结构化混合数据，而现有技术缺乏对海量存储的视频图像信息进行统一管理和有效处理的机制，这就使得系统无法承载直接针对海量视频信息进行运算所带来的负荷，也无法实现在海量视频资源的基础上实现与其它信息的整合应用，对外不能提供可用性和兼容性强的接口。
[0005]因而，为了满足现有的公安管理需要，迫切需要一套能够支撑海量级数据的视频图像信息数据库系统，可以管理海量级的视频图像信息资源并实现应用。该视频图像信息数据库系统应当是一个提供除传统连续视频流以外的视频图像内容信息流的存储和相应服务的新的基础设施，与公安实战应用能够深度结合，基于视频图像信息可以形成深化应用服务功能的支撑平台。
【发明内容】
[0006]为了克服上述现有技术存在的缺陷，本发明提供了一种处理海量级数据的视频图像信息的方法及相应的数据库系统。本发明利用大数据处理技术，实现海量级视频图像信息数据的处理、存储、交换与分析应用。对于海量级视频图像信息，本发明以事件为核心，通过定义视频图像的事件内容，形成基于事件内容的结构化和/或非结构化数据，从而在视频流的基础上建立了视频图像内容信息流。进而，本发明的数据库系统为视频图像信息及基于事件内容的结构化和/或非结构化数据构建了分布式存储平台和分布式并行分析处理机制，从而对视频图像内容信息流实现了实时流处理。本发明的数据库系统对外提供了统一的数据交换接口，能够支撑面向视频图像信息对象应用的相关服务功能。
[0007]本发明提供了一种处理海量级数据的视频图像信息数据库系统，其特征在于，包括:
[0008]采集接口，处于视频图像信息数据库系统的底层，作为采集前端系统与该视频图像信息数据库之间的服务接口，主要功能是用于在联网通信的基础上将视频图像信息实时写入视频图像信息数据库；
[0009]实时流处理引擎，从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，并且为分布式信息队列实现实时和非实时视频图像信息数据的派发，以及用于对视频图像信息数据的流处理生成基于事件内容的视频图像内容信息流；
[0010]分布式存储平台，基于分布式文件系统实现结构化和非结构化数据的分布式存储，所述分布式存储平台包括若干分布式存储节点，并且在分布式存储平台的每个分布式存储节点上，根据事件内容之间的关联性，同时放置结构化数据以及非结构化数据；
[0011]分布式内存分析层，具有请求解析调度单元，该请求解析调度单元对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析请求的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理；
[0012]数据交换接口，用于实现视频图像信息数据共享交换；对于应用层的各种应用平台，可以通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。
[0013]优选的是，所述实时流处理引擎将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的分布式信息队列；分布式信息队列包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间允许具有相对实时性信息队列更长的延迟；并且，所述分布式信息队列还包括结构化信息队列和非结构化信息队列；结构化信息队列实现对具有结构化数据格式的视频图像信息数据流的处理，而非结构化信息队列实现对非结构化数据格式的视频图像信息数据流的处理。
[0014]优选的是，所述分布式存储平台以基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点实现到各个分布式存储节点的分配；所述数据分配节点提取视频图像内容信息流当中的事件内容描述信息，并且通过该事件内容描述信息分析当前的视频图像内容信息相关联的事件与各个分布式存储节点已有的事件之间的相关度，从而决定为当前视频图像内容信息所分配的分布式存储节点。
[0015]优选的是，所述分布式存储节点对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统，并且分布式存储节点提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索引，以关键信息索引作为数据项，构建分布式索引数据库；基于各个分布式索引数据库，分布式存储平台提供分布式资源管理框架接口，利用该分布式资源管理框架接口调用各分布式索引数据库。
[0016]优选的是，所述数据交换接口包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。
[0017]本发明进而提供了一种处理海量级数据的视频图像信息的方法，包括:
[0018]视频图像数据的前端采集步骤，基于智能设备实现视频图像信息的采集，从而通过统一的接口将视频图像信息数据上传到视频图像信息数据库系统；
[0019]视频图像信息数据的实时流处理步骤，调用数据库系统的实时流处理引擎，从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的信息队列，为分布式信息队列实现实时和非实时海量信息数据的派发，并且实现对信息数据的流处理生成基于事件内容的视频图像内容信息流；
[0020]基于事件的视频图像内容信息流分布式存储步骤，基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点的数据分配步骤实现到各个分布式存储节点的分配，并且数据分配步骤在每个分布式存储节点上同时放置结构化数据以及非结构化数据；
[0021]分布式任务分配和并行分析处理步骤，对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理；
[0022]视频图像内容信息的查询分析应用步骤，由应用层的各种应用平台通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。
[0023]优选的是，所述实时流处理步骤将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的分布式信息队列；分布式信息队列包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间允许具有相对实时性信息队列更长的延迟；并且，所述分布式信息队列还包括结构化信息队列和非结构化信息队列；结构化信息队列