一种基于分布式调度的公安部级审计数据查询方法与流程

【技术领域】

本发明涉及分布式技术领域，尤其涉及一种基于分布式调度的公安部级审计数据查询方法。

背景技术：

在公安行业内，审计数据是存储在应用服务器上的，或是按区域进行汇聚。当前公安网的审计数据存储，区域性特性明显，且各地存储的数据独立存在，无法集中使用，对于公安上级机关，无法实现对下级机关范围内所有审计数据的统一查询。

目前，公安行业审计数据的存储，是不区分区域范围的，采用集中存储的方式，但部分审计数据是具有区域安全性的保护要求的，集中存储无法解决该问题，且对于审计数据的查询，需要在全部的海量数据中进行筛选查询，工作量大。

因此，有必要设计一种新的基于分布式调度的公安部级审计数据查询方法，以解决或减轻上述一个或多个问题。

技术实现要素：

有鉴于此，本发明提供了一种基于分布式调度的公安部级审计数据查询方法，采用分布式调度，能够实现各个节点的独立查询以及每个节点对其子孙节点的审计数据查询，提升了审计数据检索查询的性能和数据安全性。

一方面，本发明提供一种基于分布式调度的审计数据查询方法，其特征在于，所述查询方法构建一个具有级联结构的审计系统，将审计数据分布式地存储在所述审计系统的各级节点中；

所述审计系统包括一级证书应用审计系统、二级证书应用审计系统和三级证书应用审计系统三种节点；所述一级证书应用审计系统向下级联若干个二级证书应用审计系统，每一个二级证书应用审计系统向下级联若干个三级证书应用审计系统；

每一个节点的证书应用审计系统均具有独立的审计数据存储功能、计算和查询功能、任务调度功能，能够实现任务调度、任务处理和数据计算；。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，每一个节点的证书应用审计系统均采用审计数据计算结果异步主动上报的方式实现各级节点间的级联通信。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，对每一个节点的证书应用审计系统的审计数据访问权限做限定，使各个节点仅能查询本节点及其所属子孙节点上的审计数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，每一个证书应用审计系统均包括调度引擎、计算引擎、数据清洗模块、数据转换模块、数据存储模块和结果展示模块。

所述调度引擎的主要功能包括：任务启动和分布执行指令的下发、对任务执行结果的概况信息进行汇总并上报、获取子节点上报的任务结果信息、实现任务停止和删除、对系统的访问量进行统计汇总和上报、身份认证和心跳管理。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述计算引擎的主要功能包括：组件任务相关的接口实现、组件执行管理、数据库的操作接口和系统访问量的统计。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述数据存储模块接收pc上报的审计数据，并将接收的数据保存到数据库中。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述数据清洗模块主要功能为从数据库中获取原始的审计数据，根据html格式进行分析和处理，去掉多余的符号，提取出文档中有用的数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述调度引擎工作的具体方式包括：在启动任务且子节点有结果进行概况上报后，通过调度引擎去获取子节点的数据；获取数据时，判断获取的索引范围是否已缓存，若未缓存，从计算引擎和各个子节点获取到一定数量的结果后，缓存到调度引擎中，从缓存中取出结果返回；返回的结果集合，保证第一次查看和第n次查看时，数据的顺序不变；如果调度引擎对应的计算引擎任务完成，首先从该节点获取结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，组件任务相关的接口实现的具体方式为：提供组件任务相关的接口，调度引擎调用该类接口；接口包括：任务下发接口、任务执行结果详情查询接口、任务停止接口和任务删除接口。

与现有技术相比，本发明可以获得包括以下技术效果：采用分布式调度布局，可保持审计数据区域性安全独立，为各区域内管理人员提供审计数据的查询，同时也能解决上级层面的业务审计数据的查询问题；解决了审计数据查询权限控制问题，将各级对审计数据的查询权限限制在其行政管理区域范围内，保障了数据的安全性，并且，各节点具备独立的审计运算能力，提升了审计数据检索查询的性能和数据安全性。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一个实施例提供的分布式调度和计算的组网结构图；

图2是本发明一个实施例提供的调度引擎任务下发线程的处理流程图；

图3是本发明一个实施例提供的调度引擎任务结果概况信息接收的流程图；

图4是本发明一个实施例提供的调度引擎任务结果概况信息上报的流程图；

图5是本发明一个实施例提供的调度引擎中任务结果信息获取线程的流程图；

图6是本发明一个实施例提供的调度引擎中系统访问量统计信息的接收处理流程图；

图7是本发明一个实施例提供的调度引擎中系统访问量统计信息的上报处理流程图；

图8是本发明一个实施例提供的任务组件执行流程图；

图9是本发明一个实施例提供的数据库的操作接口的处理流程图；

图10是本发明一个实施例提供的查询数据接口处理流程图；

图11是本发明一个实施例提供的数据库写接口处理流程图；

图12是本发明一个实施例提供的计算引擎中被访问的未确认业务系统的统计排名流程图；

图13是本发明一个实施例提供的全文检索组件的任务执行接口的实现和处理流程图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了克服现有技术的不足，本发明将各区域审计数据在各区域内集中独立保存，在数据服务方面，各区域为分布节点，可独立提供基于本节点的数据计算和审计查询服务。各节点通过服务级联的分布式调度的方式，又可实现在公安上级机关层面，进行各区域的审计数据的调度和计算。具体为，各节点通过数据服务接口的交互组合构成整个公安行业内的分布式的审计数据调度与计算系统。

本发明难点在于满足各区域审计数据独立存储和计算的同时，同时支撑上级层面进行审计数据的调度和计算，其中分布式调度是本发明中的重要内容。本发明实现后，可保持审计数据区域性安全独立，为各区域内管理人员提供审计数据的查询，同时也能解决上级层面的业务审计数据的查询问题。

各审计服务系统中，提供独立的审计数据的计算服务，同时增设任务调度的服务接口，实现任务调度、任务处理、数据计算等，采用审计数据计算结果异步主动上报的方式，将全国的各层级独立的审计服务，级联为分布式的的审计信息调度与计算网络。

各地的审计数据在各地的服务器上独立存储，通过分布式架构将各个节点组成层级网络，每个节点均包含各自的数据池，调度策略和计算模型，以一级机关系统为根节点，以二级系统为二级节点，以三级系统为三级节点，构建全国证书应用审计系统的树形结构，保证各节点审计数据存储和分析的独立性，确保全国范围数据分析的可行性。各审计服务系统中，提供独立的审计数据的计算服务，同时增设任务调度的服务，实现任务调度、任务处理、数据计算等，采用审计数据计算结果异步主动上报的方式，将全国的各层级独立的审计服务，级联为分布式的审计信息调度与计算网络。

图1是本发明一个实施例提供的分布式调度和计算的组网结构图。如图1所示，本发明采用分布式的数据存储和数据调度方案，对于地市级审计数据在各地市存储，省级别的审计数据在省级存储，公安部级别数据在部级存储，每一个部级节点(即一级证书应用审计系统)对应着若干个省级节点(即二级证书应用审计系统)，每一个省级节点对应着若干个市级节点(即三级证书应用审计系统)。每一个节点都是一个独立的证书应用审计系统，均具有独立计算的能力和独立的审计数据分析和查询的能力。每一个证书应用审计系统包括调度引擎、计算引擎、数据清洗模块、数据转换模块、数据存储模块和结果展示模块。

各模块功能及彼此之间关联：

1、调度引擎：为独立的服务，与审计系统部署在同一台服务器上。其主要功能包括：任务启动和分布执行指令的下发、对任务执行结果的概况信息进行汇总并上报、获取子节点上报的任务结果信息、实现任务停止和删除、对系统的访问量进行统计汇总和上报、身份认证和心跳管理。

本模块实现任务的启动及分布执行指令的下发，提供任务启动接口，调度引擎的任务下发接口。接收任务管理模块(或第三方服务)通过任务启动接口，启动并执行任务，该接口通过启动线程进行任务下发，线程启动后，接口返回。调度引擎的任务下发接口，接收上级调度引擎下发的任务，在本级服务中保存任务信息，然后启动线程进行任务下发，线程启动后，接口返回。调度引擎的任务下发线程，通过任务下发接口，将任务下发给本节点的计算引擎和下级证书应用审计系统的调度引擎，将已派发到计算引擎或下级节点调度引擎任务，作为当前任务的子任务，生成子任务id，与子任务的节点信息一起记录到数据库的子任务信息表中，并记录任务状态为已启动。任务下发线程的处理流程图如图2所示。

本模块实现任务执行概况信息的汇聚，提供任务执行结果概况上报接口。接收任务执行概况的接口，接收计算引擎或下级调度引擎上报的任务执行概况，然后汇总结果概况信息，并向上级调度引擎上报任务执行概况。任务结果概况信息的接收，接收本节点计算引擎、下级节点的证书应用审计系统的调度引擎上报的任务执行结果概况信息，保存结果概况信息到本节点的数据库中，同时启动任务结果概况汇聚线程。任务结果概况信息汇聚线程，累加子任务的任务结果记录数，并计算任务执行总进度，保存到任务信息记录表中；如果子任务全部完成，同时更新任务状态为完成，进度100％；如果任务为上级节点派发的任务，则继续上报任务结果概况信息到上级节点的调度引擎。调度引擎对任务执行结果概况信息接收的流程如图3所示。调度引擎对任务执行结果概况信息上报的流程如图4所示。

在启动任务后，子节点有结果进行概况上报后，页面控制端查看任务，通过调度引擎去访获取子节点的数据。获取数据时，判断获取的索引范围是否已缓存，若未缓存，从计算引擎和各个子节点获取到一定数量的结果后，缓存到调度引擎中，从缓存中取出结果返回。返回的结果集合，保证第一次查看和第n次查看时，数据的顺序不变。如果调度引擎对应的计算引擎任务完成，首先从该节点获取结果。内部实现时：建立一个子节点集合，将每个有结果的子节点添加进去，然后每次获取结果时，首先更新此集合，保证子节点集合数量是最新状态；建立一个虚拟缓存队列，由每个虚拟区间组成，虚拟区间包含的基本信息有：当前添加的子节点、虚拟区间对应于任务结果总集的开始和结束索引、虚拟区间对应在子节点结果集合上的开始和结束索引、和任务结果总集数量、创建时间等；建立一个缓存结果链表，用以保存真实的结果数据，该集合超过过期时间后，进行清空；获取结果时，首先判断该次请求的范围是否被缓存，如果没有被缓存，则访问虚拟缓存队列，找到该次请求的范围对应的在结果总集上的区间，根据此区间找到对应的虚拟缓存区间，再找到对应的子节点和数据的访问范围，调用ws接口返回结果。最后将获取的集合缓存起来，再从缓存结果链表，获取本次访问的数据。异常情况时：当该次请求访问ws接口，发生异常时，返回空集合，调用时，需要加以检查。缓存的清理：设置一个定时任务，运行时，检测任务的缓存是否超过有效时间，超过时，清空缓存。同时检测缓存的任务，是否被删除，若已经删除，则将该任务的缓存清除。任务结果信息获取线程的流程图如图5所示。

本模块实现任务停止和删除指令的下发，提供任务停止接口和删除接口(接口定义请参考接口定义章节)。根据任务和子任务信息，下发任务停止指令、或任务删除指令到下级节点的调度引擎和本机节点的计算引擎。

本模块接收上报的业务系统访问量统计信息，包括计算引擎和下级证书应用系统的调度引擎上报的结果数据。所有下级节点的一个周期的所有数据均上报后，对已接收的数据进行业务系统访问量统计，然后上报给上级证书应用系统的调度引擎。当业务访问量统计数据在指定时间(可配置，默认为5小时)内未全部接收到已配置节点的统计数据，则启动上报统计数据。系统访问量统计信息的接收处理流程如图6所示，上报处理流程如图7所示。

身份认证和心跳管理包括父节点身份认证、父节点心跳接收、父节点检测节点存活定时任务、子节点身份上报系统启动任务和子节点心跳上报定时任务。其中，父节点身份认证具体内容为：调度引擎提供身份信息接收接口，给同级计算节点或下级控制节点调用；身份信息包括ip地址、mac地址、返回的token为数据库中保存身份信息的对应数据的id。父节点心跳接收具体内容为：调度引擎提供心跳接收接口，给同级计算节点或下级控制节点调用；心跳包的内容为身份上报时返回的token，与身份信息进行关联即可知道是哪个节点上报的心跳。父节点检测节点存活定时任务具体内容为：父节点要知道哪些节点在线，哪些节点离线，需要有一个检测的定时任务，检测超时是根据心跳上报时的最后时间，判断该时间是否在允许的范围内，范围可配置。子节点身份上报系统启动任务具体内容为：每次系统启动时，需要向父节点上报一次身份信息，发送身份信息，需要调用reportidentityinfo接口。子节点心跳上报定时任务具体内容为：子节点维持一个定时任务，向父节点发送心跳包，发送心跳包，需要调用reportheartbeat接口。

2、计算引擎：为独立的服务，支持与调度引擎部署在同一台服务器上，也支持独立部署。其主要功能包括：组件任务相关的接口实现、组件执行管理、数据库的操作接口、系统访问量的统计。

组件任务相关的接口实现具体内容为：提供组件任务相关的接口，调度引擎调用该类接口，接口包括：任务下发接口、任务执行结果详情查询接口、任务停止接口、任务删除接口；任务下发接口，接收调度引擎下发的任务执行指令，将指令加入到当前任务队列中，把该任务交给进程池中的进程来处理，同时把任务保存到数据库中，并返回接收指令成功；任务执行结果详情查询接口，调度引擎通过调用该接口，获取任务组件在本节点的审计数据基础上的执行结果，接口返回指定任务的指定范围的结果数据；任务停止接口，接收调度引擎下发的任务停止指令，将指令发送给组件执行管理模块，返回接收指令成功；任务删除接口，先判断任务是否已停止，如果未停止，则发送任务停止指令给组件执行管理模块，然后删除任务，返回接收指令成功。

组件执行管理具体内容为：通过进程池调度管理，处理任务队列中的任务，启动子进程执行任务；任务组件的执行，由任务执行进程处理，首先判断是否要下载组件包，如果需要，则从任务的根节点下载组件包；如果不需要，则不下载；下载完成后，执行数据分析组件，查询并分析数据库中的数据，将执行结果保存到mongodb数据库中，更新任务状态标志位，并生成结果概况信息，上报给本系统的数据调度引擎，结果概况信息包括：任务的完成状态、生成结果数据记录条数；服务断电重启等情况下，服务启动后，将未执行完成的任务重新加入进程池，等待进程池的调度处理。任务组件执行流程如图8所示。

数据库的操作接口的处理流程如图9所示。查询数据接口处理流程如图10所示。数据库写接口处理流程如图11所示。

计算引擎对系统访问量的统计从业务系统维度，分别按周和月为维度，基于auditdatadbb中数据，对未确认业务系统的访问频度进行统计并排名，统计结果保存在数据表中(mysql数据库)。被访问的未确认业务系统的统计排名流程如图12所示。

3、数据清洗模块主要功能为从数据库中获取原始的审计数据，根据html格式进行分析和处理，去掉多余的符号，提取出文档中有用的数据，进行清洗。

4、数据存储模块接收pc上报的审计数据，并将接收的数据保存到数据库中。

由于所有公安网终端都会向该模块上报数据，审计数据量会比较大，本模块要设计负载均衡模块，以应对大数据量的上传负载问题。这里的负载服务器采用的是lvs方式做的，多个服务器之间使用lvs方式达到负载均衡方式实现。本服务通过socket接口接收服务端上报的数据,采用“epoll的多进程+多线程”来处理高并发；主进程用来创建进程池，并维护进程池中的子进程；进程池中的多个子进程同时监听同一个端口；进程池中的子进程创建了线程池，该线程池用于接收客户端发送过来的数据，并处理数据；每一个子进程都有自己的线程池，子进程接收到消息，交给线程池去处理，线程中解析数据并存储到mongodb。pc上传https访问审计信息给本模块，后台将数据放入处理队列中，数据的处理线程获取业务系统的根url，将处理后的消息批量写入非结构化数据库mongodb中。每批次写入db的数据量可配置，缺省配置为20条记录。此处建立独立的db，该db仅存储接收pc的原始审计数据，记为orgauditdatadb。

5、结果展示模块使用全文检索组件来做数据的查询和结果展示。全文检索组件实现4个接口：获取查询条件接口、显示查询条件接口、结果展示接口、任务执行接口。获取查询条件接口，属于js方法接口，由组件中的查询参数页面实现，主页面调用该方法后，返回拼接好的查询条件的字符串。显示查询条件接口，属于js方法接口，由组件中的查询参数页面实现，主页面调用该方法后，查询参数区域将查询条件显示出来。结果展示接口，属于js方法接口，由组件中的结果展示页面实现，主页面获取任务结果集合，作为参数，传递给该方法后，该方法将结果显示到页面中。任务执行接口，调用数据接口查询审计数据，并将查询到的数据，调用数据接口，保存到数据库中。全文检索组件的任务执行接口的实现，处理流程如图13所示。

6、数据存储模块在接收到所有公安网终端向该模块上报的数据后，把数据保存到数据库内；数据清洗模块从数据库中获取原始的审计数据，根据html格式，进行分析和处理，去掉多余的符号，提取出文档中有用的数据，进行清洗；清洗之后的数据，再结合业务服务的模型，将数据转换为符合业务需要的结构，将转换后的审计数据保存到数据库中以便查询。当用户执行一次查询时，任务启动了，调度引擎模块进行任务下发，将任务下发给本节点的计算引擎模块和下级证书应用审计系统的调度引擎模块，计算引擎模块执行从数据库中查询数据，并把查询到的数据上传给调度引擎模块，上级调度引擎模块搜集到查询的数据之后，再把数据上传给结果展示模块，结果展示模块进行查询结果的展示。

审计系统通过调度引擎和计算引擎，将所有节点集成为更大的审计信息存储和查询系统，并对审计数据的访问权限按公安行业的行政关系做了查询权限的限制，各节点仅能查询本节点及所属子孙节点上的数据。

查询权限的限制具体为：在创建任务进行查询时，只能查询本级节点和其子节点区域范围内的数据。并通过如下4个点来确保该限制的安全性和可靠性：

(1)部署时，如果所部署的此节点不是叶子节点(即它还有子节点或孙子节点)，则需要在数据库表中按公安行业的行政关系配置其子节点的区域码id、区域名称、ip地址、mac地址、端口号，以确保在进行查询时，能找到对应的子节点的调度引擎；

(2)子节点中，在页面管理端配置文件中，配置本节点的区域代码；在调度引擎模块配置文件中，配置上级调度引擎的ip地址；这样就能确保只有父节点才能查询对应的子节点的数据；

(3)调度引擎的配置文件中，通过配置允许访问此调度引擎的白名单列表ip地址，可以保证只有配置了白名单的才能访问该调度引擎，这样就确保了调度引擎访问的安全性；

(4)计算引擎的配置文件中，通过配置允许访问此计算引擎的白名单列表ip地址，可以保证只有配置了白名单的才能访问该计算引擎，这样就确保了计算引擎访问的安全性。

解决审计数据查询权限控制问题，将各级对审计数据的查询权限限制在其行政管理区域范围内，保障了数据的安全性，并且，各节点具备独立的审计运算能力，提升了审计数据检索查询的性能和数据安全性。

构建全国审计数据调度和计算的分布式网络，各地的审计数据在各地的服务器上独立存储，提供基于本节点数据的计算服务，上级可查询下级节点的所有审计数据，通过将原本独立的隔离的各区域的审计服务级联到一起，形成全国范围内基于审计数据的分布式调度和计算网络。一级机关不需要额外投入人力物力，即可构建全国范围内的公安证书用户的访问应用的行为信息的调度与计算的分布式网络。

以部级开始执行查询的举例说明：

s1、页面管理端先调用“部级”节点的调度引擎模块；

s2、“部级”节点的调度引擎模块被调用之后，再由它调用“部级”节点的计算引擎模块去查询本级节点的数据，同时还会去调用子节点的调度引擎模块；当“部级”节点的计算引擎模块查询到数据之后，会把数据上传给“部级”的调度引擎模块；

s3、“省级”节点的调度引擎模块被调用之后，由它调用“省级”节点的计算引擎模块去查询本级节点的数据，同时还会去调用子节点的调度引擎模块；当“省级”节点的计算引擎模块查询到数据之后，会把数据上传给“省级”节点的调度引擎模块；

s4、“市级”节点的调度引擎模块被调用之后，由它调用“市级”节点的计算引擎模块去查询本级节点的数据；当查询到数据之后，会把数据上传给“市级”节点的调度引擎模块，“市级”节点的调度引擎模块再把数据上传给上级“省级”调度引擎模块。

当“省级”节点和它的所有子节点查询数据都结束之后，“省级”节点的调度引擎模块会将查询到的所有数据上传给它的上级调度引擎模块“部级”的调度引擎模块。

当“部级”节点和它的所有子节点查询数据都结束之后，“部级”节点的调度引擎模块会将查询到的所有数据上传给它的页面管理端模块进行查询结果的展示。

以上对本申请实施例所提供的一种基于分布式调度的公安部级审计数据查询方法，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。