一种数据处理方法和装置与流程

[0001]
本发明涉及视频处理技术领域，特别是涉及一种数据处理方法和一种数据处理装置。


背景技术：

[0002]
现有视频监控系统的主要发展方向是综合化、智能化和网络化。各研究机构和各大公司都积极开展了人工智能、数据管理、地理信息系统、无线通信、传感器网络等新技术相集成的视频监测监控系统的研发和开发。除进一步完善系统集成技术外，还注重传感器及传感器系统的研究与开发。不仅包括视频监控设备，还包括各种红外、远红外、激光等传感器的监控，一些特定场合的检测还包括有甲烷传感器、一氧化碳传感器、二氧化硫传感器、二氧化氮传感器、氧气传感器等特定的传感器，进而还有光纤传感器等。导致了信息融合监控系统中不仅包括了多种多样的信息采集设备采集信息的融合，还包括多个监控系统之间的信息融合。由于多种监控设备及多种监控系统带来的信息格式杂乱，相互关联不易查找等问题，是困扰业内统一监控的主要问题。


技术实现要素：

[0003]
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法和相应的一种数据处理装置。
[0004]
为了解决上述问题，本发明实施例公开了一种数据处理方法，应用于监控服务器，所述监控服务器与多个监控信息存储终端连接，所述监控服务器部署有至少一个数据库，所述方法包括：
[0005]
接收所述监控信息存储终端发送的多个监控数据；
[0006]
预处理所述多个监控数据，生成特征矢量；
[0007]
采用串并关联分析对所述特征矢量进行分析，建立所述多个监控数据的关联关系；
[0008]
依据所述关联关系，生成监控数据源；
[0009]
将所述监控数据源存储至所述数据库；
[0010]
共享所述数据库。
[0011]
可选地，所述预处理所述多个监控数据，生成特征矢量的步骤包括：
[0012]
预处理所述多个监控数据，生成预制数据；
[0013]
提取所述预制数据的特征；
[0014]
采用所述预制数据的特征，生成特征矢量。
[0015]
可选地，所述监控服务器部署有地理信息系统gis，所述预处理所述多个监控数据，生成预制数据的步骤包括：
[0016]
将所述多个监控数据与所述gis关联，获得所述多个监控数据的实际地理位置；
[0017]
依据所述实际地理位置将所述多个监控数据分类，生成预制数据。
[0018]
可选地，所述多个监控数据包含视频数据，所述gis包含gis地图，所述方法还包括：
[0019]
对所述视频数据进行配准融合，确定投射图像；
[0020]
将所述投射图像投射于所述gis地图。
[0021]
可选地，所述对所述视频数据进行配准融合，确定投射图像的步骤包括：
[0022]
确定所述视频数据与所述gis地图之间的空间位置关系；
[0023]
采用透视投影算法确定所述视频数据在所述gis地图的投影；
[0024]
依据所述空间位置关系以及所述投影，确定所述投射图像。
[0025]
可选地，述监控服务器与客户端连接，所述方法还包括：
[0026]
接收所述客户端发送的查询请求，所述查询请求包含查询条件；
[0027]
在所述第一数据库中确定满足所述查询条件的目标监控数据；
[0028]
将所述目标监控数据发送至所述客户端。
[0029]
可选地，所述查询条件包含查询子条件和关联子条件，所述在所述第一数据库中确定满足所述查询条件的目标监控数据的步骤包括：
[0030]
确定在所述数据库中满足所述查询子条件的第一监控数据；
[0031]
依据所述关联子条件，确定与所述第一监控数据关联的第二监控数据；
[0032]
将所述第一监控数据与所述第二数据确定为目标监控数据。
[0033]
本发明实施例还公开了一种数据处理装置，应用于监控服务器，所述监控服务器与多个监控信息存储终端连接，所述监控服务器部署有至少一个数据库，所述装置包括：
[0034]
接收模块，用于接收所述监控信息存储终端发送的多个监控数据；
[0035]
预处理模块，用于预处理所述多个监控数据，生成特征矢量；
[0036]
分析模块，用于采用串并关联分析对所述特征矢量进行分析，建立所述多个监控数据的关联关系；
[0037]
监控数据源模块，用于依据所述关联关系，生成监控数据源；
[0038]
存储模块，用于将所述监控数据源存储至所述数据库；
[0039]
共享模块，用于共享所述数据库。
[0040]
本发明实施例还公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理方法的步骤。
[0041]
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理方法的步骤。
[0042]
本发明实施例包括以下优点：通过接收所述监控信息存储终端发送的多个监控数据；预处理所述多个监控数据，生成特征矢量；采用串并关联分析对所述特征矢量进行分析，建立所述多个监控数据的关联关系；依据所述关联关系，生成监控数据源；将所述监控数据源存储至所述数据库；共享所述数据库。将监控数据统一融合，并存储到数据库，共享数据库，使得各个监控设备或系统可以其他监控设备或系统的监控数据。
附图说明
[0043]
图1是本发明的一种监控服务器所在的监控多级联网平台总体结构示意图；
[0044]
图2是本发明的一种数据处理方法实施例的步骤流程图；
[0045]
图3是本发明的一种数据处理装置实施例的结构框图。
具体实施方式
[0046]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0047]
参照图1，示出了本发明的一种日志服务器所在的监控多级联网平台总体结构示意图；
[0048]
监控多级联网平台是用于检测海面、道路范围内的目标(运动目标和静止目标)状态，以达到目标状态监控、统计、预警、回放的一个综合管理系统。
[0049]
这一平台不仅包括全区域的监控和分析，监控方式包括了摄像机、雷达、光电感应仪器、无人机、巡逻车以及其它一系列的监控手段，系统可以自由调用所有的监控手段，结合电子地图，对区域内的设施和活动目标进行监控、预警和跟踪处理。
[0050]
监控多级联网平台系统总体架构由基础设施层、数据源层、数据服务层、数据存储层、应用支撑层、应用层组成。整个监控多级联网平台系统的软硬件平台统一采用了大数据处理技术，实现不同的终端都可以在基于大数据处理平台的基础之上，进行一系列的数据管理、查询和维护等操作。
[0051]
监控多级联网平台系统包括，告警服务器、数据库服务器、视频服务器、日志服务器以及asid(address space identifier，地址空间标识)客户端。
[0052]
其中，告警服务器用于当检测道海面、道路范围内的目标(运动目标和静止目标)状态存在异常现象时，发出告警信息，提醒用户对异常情况进行处理。
[0053]
数据库服务器用于对监控多级联网平台系统提供数据库，为监控多级联网平台系统提供数据的存储空间，以及控制数据进出数据库的数据流向。
[0054]
视频服务器用于对监控多级联网平台系统中的监控视频进行处理的服服务器，实时接收监控终端拍摄的监控视频，将监控视频进行分析、统计、存储等。其中，监控服务器下属于视频服务器，负责处理监控视频数据。
[0055]
日志服务器用于记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过日志服务器获取日志以检查错误发生的原因。
[0056]
asid客户端为系统中多个进程进行唯一标识，使得每一个进程都有唯一的地址空间标识符，提供地址空间保护。
[0057]
在监控多级联网平台系统运行时，对实时视频、电子地图、告警管理、配置管理等业务进行处理时，对不同的业务使用不同进程，每种业务都有对应的不同进程进行处理。当需要处理上述的至少一种业务时，调用其对应的进程，asid客户端根据配置文件为每个调用的进程提供一个唯一的地址空间标识；然后，通过数据服务在对应的业务服务器对业务进行相应的处理。
[0058]
参照图2，示出了本发明的一种数据方法实施例的步骤流程图，本发明实施例应用于监控服务器，所述监控服务器与多个监控信息存储终端连接，所述监控服务器部署有至少一个第一数据库，所述方法具体可以包括如下步骤：
[0059]
步骤201，接收所述多个监控信息存储终端发送的多个监控数据；
[0060]
在本发明实施例中，监控信息存储终端可以是监控多级联网平台系统中的监控前端感知和互动设备包括视频监控终端、雷达、ais(automatic identification system，船舶自动设别系统)、光电跟踪仪、巡逻车、无人机、gps(global positioning system，全球定位系统)、卡口检测终端等，可以对实际环境的进行监控，生成并存储监控数据的终端设备或系统。
[0061]
监控服务器的结构可以抽象分成集中式和分布式两种。而分布式又可以包括多种结构，如分层结构、树状结构、完全分散式结构、并行分散式结构、带反馈分散式结构、无反馈分散式结构等形式。本发明实施例对此不作限定。
[0062]
为了对多个监控信息存储终端存储的监控数据进行融合处理，首先，统一接收多个监控信息存储终端发送的多个监控数据。
[0063]
步骤202，预处理所述多个监控数据，生成特征矢量；
[0064]
由于各个监控信息存储终端的监控数据存在类型、格式、采集方式等差异，不能直接进行融合处理，需要对接收多个监控数据进行预处理，整理多个监控数据生成特征矢量。
[0065]
可选地，所述步骤202包括：
[0066]
步骤s2021，预处理所述多个监控数据，生成预制数据；
[0067]
对监控数据进行统一整理，删除监控数据的冗余信息，统一分类监控数据生成预制数据。
[0068]
可选地，所述监控服务器部署有地理信息系统gis，所述步骤s2021包括：
[0069]
步骤s20211，将所述多个监控数据与所述gis关联，获得所述多个监控数据的实际地理位置；
[0070]
gis是一种空间信息系统。在计算机硬、软件系统支持下，对整个或部分地球表层(包括大气层)空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的技术系统。
[0071]
将多个监控数据与gis平台关联，获取每个监控数据监控的实际地理位置；
[0072]
步骤s20212，依据所述实际地理位置将所述多个监控数据分类，生成预制数据。
[0073]
依据监控数据的实际地理位置对其进行分类，成成预制数据。
[0074]
步骤s2022，提取所述预制数据的特征；
[0075]
可以采用数据挖掘算法提取预制数据的特征，数据挖掘算法可以使用关联规则挖掘、发现分类挖掘、聚类分析挖掘、统计挖掘以及协同过滤挖掘至少一种。
[0076]
关联规则发现方法，可以从日志数据中找到的各类操作的相关性。关联规则是寻找在同一个事件中出现的不同项的相关性，用数学模型来描述关联规则发现的问题：x＝>y的蕴含式，其中x，y为属性—值对集(或称为项目集)，且x∩y空集。在数据库中若s％的包含属性—值对集x的事务也包含属性—值集y，则关联规则x＝>y的置信度为c％。
[0077]
关联规则挖掘技术用于发现日志中属性之间的有趣联系。一般使用支持度(support)和置信度(confidence)两个参数来描述关联规则的属性。举例而言，采用关联分析apriori算法进行挖掘。它的基本思想是：首先找出所有具有超出最小支持度的支持度项集，用频繁的(k—1)-项集生成候选的频繁k-项集；其次利用大项集产生所需的规则；任何频繁项集的所有子集一定是频繁项集是其核心。
[0078]
apriori算法需要两个步骤：第一个是生成条目集；第二个是使用生成的条目集创
建一组关联规则。
[0079]
在时间戳有序的事务集中，序列模式的发现就是指那些如“一些项跟随另一个项”这样的内部事务模式。
[0080]
发现分类规则可以给出识别一个特殊群体的公共属性的描述，这种描述可以用于分类学习者。分类包括的挖掘技术将找出定义了一个项或事件是否属于数据中某特定子集或类的规则。该类技术是最广泛应用于各类业务问题的一类挖掘技术。分类算法最知名的是决策树方法，此外还有神经元网络、贝叶斯bayesian分类等，本领域技术人员可以根据实际要求选择，本发明实施例对此并不限定。
[0081]
聚类分析可以从日志数据中聚类出具有相似特性的操作。聚类是将数日志据集划分为多个类，使得在同一类中的日志数据之间有较高的相似度，而在不同类别中的日志数据差别尽可能大。在聚类技术中，没有预先定义好的类别和训练样本存在，所有记录都根据彼此相似程度来加以归类。主要算法有k—means聚类、dbscan(density-based spatial clustering of applications with noise，具有噪声的基于密度的具有噪声聚类方法)等。本领域技术人员可以根据实际要求选择，本发明实施例对此并不限定。聚类分析是把具有相似特征的用户或数据项归类,通过聚类具有相似行为的用户操作或者事件。
[0082]
统计方法是从日志文件中抽取知识的最常用方法,它通过分析日志文件,对各类操作和状态等统计分析。
[0083]
协同过滤技术采用最近邻技术，利用客户的历史、喜好信息计算用户之间的距离，目标客户对特定商品的喜好程度由最近邻居对商品的评价的加权平均值来计算。
[0084]
步骤s2023，采用所述预制数据的特征，生成特征矢量。
[0085]
将预制数据的特征导入多维数据立方体中，用olap(online analytical processing，联机分析处理)工具进行分析，生成特征矢量。
[0086]
步骤203，采用串并关联分析对所述特征矢量进行分析，建立所述多个监控数据的关联关系。
[0087]
通过串并关联分析对特征矢量进行分析，从而建立监控数据之间的关联关系。
[0088]
步骤204，依据所述关联关系，生成监控数据源；
[0089]
依据关联关系，将多个相对分散的、独立运行的监控信息存储终端中的监控数据进行整合处理，将其组成一个统一的监控数据源。
[0090]
步骤205，将所述监控数据源存储至所述数据库；
[0091]
将监控数据源存储至数据库中，其中该数据可以是一个全新的空的数据库。
[0092]
步骤206，共享所述数据库。
[0093]
将存储统一的监控数据源的数据库共享给各个监控信息存储终端使用。
[0094]
可选地，所述多个监控数据包含视频数据，所述gis包含gis地图，所述方法还包括：
[0095]
步骤s1，对所述视频数据进行配准融合，确定投射图像；
[0096]
对视频与gis融合技术经过后台视频配准和前端视频融合显示，确定透射图像。
[0097]
可选地，所述步骤s1包括：
[0098]
步骤s11，确定所述视频数据与所述gis地图之间的空间位置关系；
[0099]
确定视频数据拍摄地点在gis地图中的空间位置，其中空位置关系可以通过坐标
位置点。其中还可以确定用户视角、相机视角
[0100]
步骤s12，采用透视投影算法确定所述视频数据在所述gis地图的投影；
[0101]
基于视频与gis地图之间的空间位置关系，和/或用户视角、和/或相机视角，采用透视投影算法进行投影计算，确定视频数据在gis地图的投影。
[0102]
步骤s13，依据所述空间位置关系以及所述投影，确定所述投射图像。
[0103]
由于投影只是二维的图像，而gis地图采用三维沉浸式显示，因此，将投影结合空间位置关系即可确定在视频数据在三维gis地图中的投射图像。
[0104]
步骤s2，将所述投射图像投射于所述gis地图。
[0105]
将投射图像投射于所述gis地图，给出监控区域和视频更为直观和立体的视觉效果，并增强了用户与系统交互的友好性和便捷性。
[0106]
可选地，所述监控服务器与客户端连接，所述方法还包括：
[0107]
步骤s3，接收所述客户端发送的查询请求，所述查询请求包含查询条件；
[0108]
当用户需要查询监控信息存储终端中的监控数据，可以直接查询数据库。用户通过客户端发送查询请求给监控服务器，调取查询请求包含查询条件，调取条件可以是具体的监控数据或具体某一类别的监控数据等。
[0109]
可选地，所述查询条件包含查询子条件和关联子条件，所述步骤s3包括：
[0110]
步骤s31，确定在所述数据库中满足所述查询子条件的第一监控数据；
[0111]
步骤s32，依据所述关联子条件，确定与所述第一监控数据关联的第二监控数据；
[0112]
步骤s33，将所述第一监控数据与所述第二数据确定为目标监控数据。
[0113]
当查询条件包含查询子条件和关联子条件时，首先，在数据库中，满足查询子条件的第一监控数据，然后，根据关联子条件，以第一监控数据为起点，查找满足关联子条件的第二监控数据。最后，将第一监控数据与第二数据确定为目标监控数据。
[0114]
步骤s4，在所述第一数据库中确定满足所述查询条件的目标监控数据；
[0115]
由于将监控信息存储终端都统一融合到数据库中，因此，日志服务器根据查询条件遍历数据库中监控数据源的监控数据，确定满足查询条件的所有监控数据源中的监控数据为目标监控数据。
[0116]
步骤s5，将所述目标监控数据发送至所述客户端。
[0117]
将目标监控数据发送至客户端，客户端可以展示目标监控数据。
[0118]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0119]
参照图2，示出了本发明的一种数据处理装置实施例的结构框图，本发明实施例应用于监控服务器，所述监控服务器与多个监控信息存储终端连接，所述监控服务器部署有至少一个数据库，所述装置具体可以包括如下模块：
[0120]
接收模块301，用于接收所述监控信息存储终端发送的多个监控数据；
[0121]
预处理模块302，用于预处理所述多个监控数据，生成特征矢量；
[0122]
分析模块303，用于采用串并关联分析对所述特征矢量进行分析，建立所述多个监
控数据的关联关系；
[0123]
监控数据源模块304，用于依据所述关联关系，生成监控数据源；
[0124]
存储模块305，用于将所述监控数据源存储至所述数据库；
[0125]
共享模块306，用于共享所述数据库。
[0126]
可选地，所述预处理模块302包括：
[0127]
预处理子模块，用于预处理所述多个监控数据，生成预制数据；
[0128]
提取子模块，用于提取所述预制数据的特征；
[0129]
特征矢量子模块，用于采用所述预制数据的特征，生成特征矢量。
[0130]
可选地，所述监控服务器部署有地理信息系统gis，所述预处理子模块包括：
[0131]
关联单元，用于将所述多个监控数据与所述gis关联，获得所述多个监控数据的实际地理位置；
[0132]
分类单元，用于依据所述实际地理位置将所述多个监控数据分类，生成预制数据。
[0133]
可选地，所述多个监控数据包含视频数据，所述gis包含gis地图，所述装置还包括：
[0134]
配准融合模块，用于对所述视频数据进行配准融合，确定投射图像；
[0135]
投射模块，用于将所述投射图像投射于所述gis地图。
[0136]
可选地，所述配准融合模块包括：
[0137]
空间位置子模块，用于确定所述视频数据与所述gis地图之间的空间位置关系；
[0138]
投影子模块，用于采用透视投影算法确定所述视频数据在所述gis地图的投影；
[0139]
投射图像子模块，用于依据所述空间位置关系以及所述投影，确定所述投射图像。
[0140]
可选地，所述监控服务器与客户端连接，所述装置包括：
[0141]
查询模块，用于接收所述客户端发送的查询请求，所述查询请求包含查询条件；
[0142]
目标监控数据模块，用于在所述第一数据库中确定满足所述查询条件的目标监控数据；
[0143]
发送模块，用于将所述目标监控数据发送至所述客户端。
[0144]
可选地，所述查询条件包含查询子条件和关联子条件，所述目标监控数据模块包括：
[0145]
第一监控数据子模块，用于确定在所述数据库中满足所述查询子条件的第一监控数据；
[0146]
第二监控数据子模块，用于依据所述关联子条件，确定与所述第一监控数据关联的第二监控数据；
[0147]
确定子模块，用于将所述第一监控数据与所述第二数据确定为目标监控数据。
[0148]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0149]
本发明一实施例还提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理方法的步骤。
[0150]
本发明一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理方法的步骤。
[0151]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0152]
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0153]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0154]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0155]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0156]
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0157]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0158]
以上对本发明所提供的一种数据处理方法和一种数据处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。