库存储和无共享大规模并行数据流处理技术，可以实现不同类型的大数据统一分析处理，解决多源异构的大数据处理的复杂性问题。本发明提供统一的视频图像信息数据接口，实现视频图像信息数据共享交换，克服了数据孤岛，增强了数据的深化应用。
[0056]以上实施例仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
【主权项】
1.一种处理海量级数据的视频图像信息数据库系统，其特征在于，包括: 采集接口，处于视频图像信息数据库系统的底层，作为采集前端系统与该视频图像信息数据库之间的服务接口，主要功能是用于在联网通信的基础上将视频图像信息实时写入视频图像信息数据库； 实时流处理引擎，从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，并且为分布式信息队列实现实时和非实时视频图像信息数据的派发，以及用于对视频图像信息数据的流处理生成基于事件内容的视频图像内容信息流； 分布式存储平台，基于分布式文件系统实现结构化和非结构化数据的分布式存储，所述分布式存储平台包括若干分布式存储节点，并且在分布式存储平台的每个分布式存储节点上，根据事件内容之间的关联性，同时放置结构化数据以及非结构化数据； 分布式内存分析层，具有请求解析调度单元，该请求解析调度单元对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析请求的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理； 数据交换接口，用于实现视频图像信息数据共享交换；对于应用层的各种应用平台，可以通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。2.根据权利要求1所述的处理海量级数据的视频图像信息数据库系统，其特征在于，所述实时流处理引擎将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的分布式信息队列；分布式信息队列包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间允许具有相对实时性信息队列更长的延迟；并且，所述分布式信息队列还包括结构化信息队列和非结构化信息队列；结构化信息队列实现对具有结构化数据格式的视频图像信息数据流的处理，而非结构化信息队列实现对非结构化数据格式的视频图像信息数据流的处理。3.根据权利要求2所述的处理海量级数据的视频图像信息数据库系统，其特征在于，所述分布式存储平台以基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点实现到各个分布式存储节点的分配；所述数据分配节点提取视频图像内容信息流当中的事件内容描述信息，并且通过该事件内容描述信息分析当前的视频图像内容信息相关联的事件与各个分布式存储节点已有的事件之间的相关度，从而决定为当前视频图像内容信息所分配的分布式存储节点。4.根据权利要求3所述的处理海量级数据的视频图像信息数据库系统，其特征在于，所述分布式存储节点对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统，并且分布式存储节点提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索引，以关键信息索引作为数据项，构建分布式索引数据库；基于各个分布式索引数据库，分布式存储平台提供分布式资源管理框架接口，利用该分布式资源管理框架接口调用各分布式索引数据库。5.根据权利要求4所述的处理海量级数据的视频图像信息数据库系统，其特征在于，所述数据交换接口包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。6.一种处理海量级数据的视频图像信息的方法，包括: 视频图像数据的前端采集步骤，基于智能设备实现视频图像信息的采集，从而通过统一的接口将视频图像信息数据上传到视频图像信息数据库系统； 视频图像信息数据的实时流处理步骤，调用数据库系统的实时流处理引擎，从底层的采集接口获得采集的视频图像信息数据，生成分布式信息队列，将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的信息队列，为分布式信息队列实现实时和非实时海量信息数据的派发，并且实现对信息数据的流处理生成基于事件内容的视频图像内容信息流； 基于事件的视频图像内容信息流分布式存储步骤，基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点的数据分配步骤实现到各个分布式存储节点的分配，并且数据分配步骤在每个分布式存储节点上同时放置结构化数据以及非结构化数据； 分布式任务分配和并行分析处理步骤，对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理； 视频图像内容信息的查询分析应用步骤，由应用层的各种应用平台通过相应的数据交换接口调用视频图像信息数据，对案件、事件、视频、图片等信息进行新增、修改、删除、查询操作。7.根据权利要求6所述的处理海量级数据的视频图像信息的方法，其特征在于，所述实时流处理步骤将从采集接口获得的视频图像信息数据流按照其数据特征和实时性要求被分配给相应的分布式信息队列；分布式信息队列包括实时性信息队列和非实时性信息队列；实时性信息队列可调用的分布式数据处理资源能够实现对该队列中的视频图像信息数据流的处理时间在预定时间延迟阈值以内，非实时性信息队列调用的分布式数据处理资源对视频图像信息数据流的处理时间允许具有相对实时性信息队列更长的延迟；并且，所述分布式信息队列还包括结构化信息队列和非结构化信息队列；结构化信息队列实现对具有结构化数据格式的视频图像信息数据流的处理，而非结构化信息队列实现对非结构化数据格式的视频图像信息数据流的处理。8.根据权利要求7所述的处理海量级数据的视频图像信息的方法，其特征在于，基于事件的视频图像内容信息流分布式存储步骤以基于事件内容的视频图像内容信息流作为数据源，通过至少一个数据分配节点实现到各个分布式存储节点的分配；所述数据分配节点提取视频图像内容信息流当中的事件内容描述信息，并且通过该事件内容描述信息分析当前的视频图像内容信息相关联的事件与各个分布式存储节点已有的事件之间的相关度，从而决定为当前视频图像内容信息所分配的分布式存储节点。9.根据权利要求8所述的处理海量级数据的视频图像信息的方法，其特征在于，所述基于事件的视频图像内容信息流分布式存储步骤中，对于所分配的结构化数据和非结构化数据，按照预定的文件格式进行存储生成分布式文件系统，并且分布式存储节点提取结构化数据和非结构化数据当中的关键信息，形成链接到各个视频图像内容信息的关键信息索弓I，以关键信息索引作为数据项，构建分布式索引数据库；基于各个分布式索引数据库，分布式存储平台提供分布式资源管理框架接口，利用该分布式资源管理框架接口调用各分布式索引数据库。10.根据权利要求9所述的处理海量级数据的视频图像信息的方法，其特征在于，视频图像内容信息的查询分析应用步骤采用的数据交换接口包括案件应用接口、事件应用接口、视频应用接口、图像应用接口、编程接口、文件接口以及其它接口。
【专利摘要】本发明提供了一种处理海量级数据的视频图像信息的方法及相应的数据库系统。本发明利用大数据处理技术，实现海量级视频图像信息数据的处理、存储、交换与分析应用。对于海量级视频图像信息，本发明以事件为核心，通过定义视频图像的事件内容，形成基于事件内容的结构化和/或非结构化数据，从而在视频流的基础上建立了视频图像内容信息流。进而，本发明的数据库系统为视频图像信息及基于事件内容的结构化和/或非结构化数据构建了分布式存储平台和分布式并行分析处理机制，从而对视频图像内容信息流实现了实时流处理。本发明实现视频图像信息数据共享交换，克服了数据孤岛，增强了数据的深化应用。
【IPC分类】G06Q50/26, G06F17/30
【公开号】CN105045820
【申请号】CN201510362447
【发明人】郑仙斌, 赵问道, 戴斌
【申请人】浙江立元通信技术股份有限公司
【公开日】2015年11月11日
【申请日】2015年6月25日