一种警综平台系统改造方法与流程

1.本发明涉及一种警综平台改造方法，尤其涉及一种分布式、微服务化的警综平台系统的改造方法。


背景技术：

2.很多地方警综平台建立时间较早，长时间以来，为公安治安管理发挥了非常关键的作用，但是随着电子信息技术的不断发展，早期的警综平台因为早期设备的相关瓶颈的客观存在、加之硬件长时间使用出现的损耗，已经出现很多不能满足当下数据处理的短板。
3.以某直辖市公安局业务系统治综平台、警综平台为例，都是基于ibm小型机、oracle数据库的集中式架构进行建设，多年来支撑了一线民警实战工作。但随着服务器性能急剧下降、硬盘坏道问题、oracle数据库在扩展性上局限性、以及业务复杂化带来数据量暴增，导致治综平台、警综平台使用过程中出现“卡、慢、顿”现象，严重影响公安干警日常工作实战效率；再加上集中式技术架构、硬件采用进口产品较多，还存在难以扩展以及国外产品运维成本极高、无法实现自主可控等实际情况。
4.目前有些地方采用重新招标采购新的警综平台系统的方式，来解决以往警综平台设备老旧、性能不足的问题，一方面，这会导致成本较高，同时，被淘汰的设备因为涉及大量数据，必须另行妥善保存，占用行政资源。


技术实现要素：

5.为了解决传统警综平台基于imb小型机、oracle数据库集中架构所带来的上述问题，本技术提供了一种警综平台系统改造方法。
6.本技术提供一种警综平台系统改造方法，尤其是，针对基于imb小型机、 oracle数据库集中架构的述警综平台系统进行改造的方法(改造前的警综平台系统基于imb小型机、oracle数据库集中架构)。
7.其中，所述改造方法包括：
8.提供第一服务器，第一服务器中设置第一分布式关系型数据库，将原有警综平台中存储设备的数据迁移到第一服务器上；
9.提供第二服务器，第二服务器中设置第二分布式关系型数据库，用于将第一服务器接收的数据，归档保存到第二分布式关系型数据库；
10.提供公共服务模块，公共服务模块通过网络连接第一服务器、第二服务器；并用于向第一分布式关系型数据库、第二分布式关系型数据库录写数据，以及用于从第一分布式关系型数据库、第二分布式关系型数据库读取数据；
11.第一服务器将写入数据和读取数据的处理结果，同步到原有警综平台系统的数据库。
12.在一种优选实施例中，所述改造方法还可以包括：第一服务器设有与集中式关系型数据库连接和数据传输的接口，或者直接连接集中式关系型数据库。
13.在一种优选实施例中，公共服务模块内划分至少两个不同功能模块，如执法办案系统、统计上报系统、统一数据采集系统、签章系统等警综平台系统中需要使用到的相关功能模块。
14.在一种优选实施例中，所述公共服务模块写入和读取数据时，第一服务器与公共服务模块之间形成数据流量，第二服务器形成所述数据流量的镜像流量，并且镜像流量被禁止返回第一服务器，第二服务器统计各个功能模块对应的镜像流量大小、请求频率、数据库操作比例、语句执行效率，通过增加数据分片数量、或调整分片方式，第一服务器和第二服务器中数据对其中所设置的分布式数关系型数据库进行分片和数据重分布。
15.在一种优选实施例中，根据第二服务器统计结果，进行物理扩容或逻辑扩容，其中，所述物理扩容为增加物理资源进行可用空间容量扩容，逻辑扩容为增加物理资源的情形下、同时增加分片数量和改变分片方式；并且，在物理扩容或逻辑扩容过程中，第一服务器和第二服务器对其内部设置的分布式关系型数据库冻结前端连接。
16.在一种优选实施例中，第一服务器和第二服务器在数据传输过程中，设置数据加密机制，具体包括：产生写入或读取请求时，根据第一规则生成第一组字符段，根据第一组字段生成第二组字符段，两组字符段的字符数量相同、并且均由代码组成，其中，且第二组字符段的代码与第一组字符段的代码存在唯一固定的成对对应关系，但各个字符不与相同的字符成对对应；两组字符段按照第二规则加入到传输数据信息中进行加密；
17.解密时，根据第二规则查找传输数据信息中的两组字符段，并且判断两组字符段代码之间是否满足上述唯一固定的成对对应关系，如果满足，则根据第一规则判断解密后的传输数据信中第一组字符段是否与原始第一字符段相同；如果相同，则接收传输数据信息、并修改第二字符段；否则拒绝传输数据信息、并修改第二字符段。
18.在一种优选实施例中，第一规则满足如下公式
19.x＝f1(k)
20.y＝f2(s,t,p,x)
21.x为第一字符段长度，k为公钥信息；t为请求日期参数；p为计算机ip地址参数；s为第一字符段位置坐标；y为第一字符段s位置应当生成的字符的代码，f1(p)为p为参数的函数公式，用于计算x；f2(e,s,t,p,x)为s、t、p、x为参数的函数公式；
22.根据代码与字符对应规则，计算得到的字符，写在第一字符串s位置处。
23.其中，公钥信息k可以是采用rsa算法来进行预设或生成。
24.本发明提出的警综平台系统改造方法，优点在于：
25.1、本技术采用分布式关系型数据库，能够收集业务数据实际运行情况，可以提供实际业务场景最佳的分片方案，并可通过可视化管理平台或命令行在线动态调整，提升数据库整体的运行效率和稳定性；
26.2、本技术采用分布式关系型数据库，支持根据业务数据的存储倾斜和访问倾斜、数据容量资源使用率分布及适配业务合理性等维度，进行业务数据的重分布(如物理扩容或者逻辑扩容)，结合分布式关系型数据库内部短暂冻结前端连接及规避业务高峰期运行功能，能够做到扩容过程对应用无感知。
27.3、本技术采用分布式关系型数据库，可以支持sql-92/99/2003标准，提供 mysql，oracle等主流集中式数据库至云原生的国产化数据库的平滑迁移，数据、函数、触发器等数
据库对象兼容性极高。
28.4、本技术通过多备份和特定加密方案，完成了对数据库从内部到外部的安全防护，多种并行备份恢复方案也保证了数据的安全与实时恢复，同时也保证了数据的安全性。
29.5、本技术能够实现传统老旧的治综、警综进行改造迁移上云，分布式架构升级，进行基于云原生国产化新型数据库微服务多业务场景应用实践，解决两大业务系统“卡、慢、顿”问题，为一线民警日常工作、防疫流掉工作减负增效，实现公安行业关键业务系统的完全自主可控。
附图说明
30.图1为某直辖市老旧治综、警综平台的结构示意图；
31.图2为本发明提供的一种警综平台系统改造方法的流程图。
32.图3为第一服务器和第二服务器在数据传输过程中设置数据加密机制的流程图。
具体实施方式
33.实施例1
34.参照图1，某直辖市老旧治综、警综平台，是基于ibm小型机、oracle 数据库的集中式架构进行建设，运算和存储性能已经无法满足当下日常工作需要。
35.参阅图2，本技术对该治综、警综平台进行改造升级，包括：
36.提供第一服务器，第一服务器中设置第一seasql.drds分布式关系型数据库，将原有警综平台中存储设备的数据迁移到第一服务器上；
37.提供第二服务器，第二服务器中设置第二seasql.drds分布式关系型数据库，用于将第一服务器接收的数据，归档保存到第二seasql.drds分布式关系型数据库；
38.提供公共服务模块，公共服务模块通过网络连接第一服务器、第二服务器；并用于向第一分、第二seasql.drds分布式关系型数据库录写数据，以及用于从第一seasql.drds分布式关系型数据库、第二关seasql.drds分布式系型数据库读取数据；
39.第一服务器将写入数据和读取数据的处理结果，同步到原有警综平台系统的数据库；
40.公共服务模块内划分至少两个不同功能模块，如执法办案系统、统计上报系统、统一数据采集系统、签章系统等警综平台系统中需要使用到的相关功能模块。
41.老旧系统使用的数据库类型杂乱无章，应用之间的数据调度需要各部门协调，应用代码的更换，极易造成资源浪费。数据库服务器、存储设备的老旧也无法支撑现有的数据量与应用，所以数据库之间的数据整合，应用整合也变得尤为关键。本技术提供的seasql.drds分布式关系型数据库，可以支持 sql-92/99/2003标准，集成专业的数据迁移工具，在数据安全可用的前提下，提供mysql、oracle等主流集中式数据库至分布式关系型数据库的平滑迁移，数据、函数、触发器等数据库对象兼容性极高，为迁移后的应用与业务恢复打下良好的基础。
42.实施例2
43.在实施例1基础上，所述公共服务模块写入和读取数据时，第一服务器与公共服务模块之间形成数据流量，第二服务器形成所述数据流量的镜像流量，并且镜像流量被禁止
返回第一服务器，第二服务器统计各个功能模块对应的镜像流量大小、请求频率、数据库操作比例、语句执行效率，通过增加数据分片数量、或调整分片方式，第一服务器和第二服务器中数据对其中所设置的seasql.drds 分布式数关系型数据库进行分片和数据重分布。
44.本技术seasql.drds分布式关系型数据库能够收集业务数据的e-r关系模型、实际业务运行情况等，及基于智能仿真算法模拟压测生成统计信息，结合数据分布、性能指标、数据库操作比例、语句执行效率等维度，提供实际业务场景最佳的分片方案，并可通过可视化管理平台或命令行在线动态调整，提升数据库整体的运行效率和稳定性。
45.本技术seasql.drds分布式关系型数据库可以采用share everything架构，与oracle保持一致文件组织架构与多版本并发控制，提供常用oracle 语法支持及oracle常用特性支持以及接oci原生接口的全面支持，实现一键 oracle迁移。而且seasql.drds分布式关系型数据库兼容丰富的表分区功能，可以包括常用的range分区、interval分区、split和merge分区、以及分区模版等，基于表分区的全局索引可以极大的提升用户的查询性能。
46.本技术seasql.drds分布式数据库支持根据业务数据的存储倾斜和访问倾斜、数据容量资源使用率分布及适配业务合理性等维度，进行业务数据的重分布，包含但不限于：
47.1)物理扩容：保持逻辑架构不变，增加物理资源进行可用空间容量扩充。
48.2)逻辑扩容：增加物理资源情况下，同时改变逻辑架构，增加数据分片数量或调整数据分片方式等实现数据重均衡。
49.本技术结合seasql.drds分布式关系型数据库内部短暂冻结前端连接及规避业务高峰期运行功能的特点，能够做到扩容过程对应用无感知。
50.实施例3
51.警务数据的价值不言而喻，数据库作为数据信息的载体，其安全性是非常重要的因素；同时，为了应对核心技术受制于人的严峻形势，核心技术自主可控也成为了数据库安全的重要前提。
52.为此，在实施例1或2基础上，第一服务器和第二服务器在数据传输过程中，设置数据加密机制，具体包括：产生写入或读取请求时，根据第一规则生成第一组字符段，根据第一组字段生成第二组字符段，两组字符段的字符数量相同、并且均由代码组成，其中，且第二组字符段的代码与第一组字符段的代码存在唯一固定的成对对应关系，但各个字符不与相同的字符成对对应。
53.例如，第一规则满足如下公式
54.x＝f1(k)
55.y＝f2(s,t,p,x)
56.x为第一字符段长度，k为公钥信息(采用rsa算法来进行预设或生成)；t 为请求日期参数(可以是8位数，如20200101)；p为计算机ip地址参数(可以是12位数，如192168001011)；s为第一字符段位置坐标；y为第一字符段 s位置应当生成的字符的代码，f1(p)为p为参数的函数公式，用于计算x； f2(e,s,t,p,x)为s、t、p、x为参数的函数公式；
57.例如，根据公钥信息计算得到第一字符段长度为10，根据公式计算出第一字符段每一个位置即s为1至10)、或特定位置(s为1、2、5、10等，其他位置字符可以随机生成)所对应的数字代码，根据字符(如字母)和数字代码对应表，得到相应位置的字母(例如字符段中最多由a-g六种字母组成)，如 acfeddaacb等。
58.第二字符段也是由最多这六种字母组成，并且，两个字符段中字母的对应关系如下：a-b、c-f、e-d，那么第二字符段为bfedeebbfa。
59.两组字符段按照第二规则加入到传输数据信息中进行加密。
60.解密时，根据第二规则查找传输数据信息中的两组字符段，并且判断两组字符段代码之间是否满足上述唯一固定的成对对应关系，如果满足，则根据第一规则判断解密后的请求信息中第一组字符段是否与原始第一字符段相同；如果相同，则接收传输数据信息，并修改第二字符段；否则拒绝传输数据信息、并修改第二字符段。
61.由于第一字符段和第二字符段字母之间存在唯一固定对应关系，两段字符段按照第二规则插入到数据信息中，外部无法获得插入位置规则、也无法确定字母之间唯一固定对应关系的情况下，无法进行解密。如果有人试图解密传输的数据信息，无论是否成功，都将破坏两段字符段之间的对应关系，从而可以判断是否发生数据泄露风险。
62.另外，k值按照rsa算法来进行预设或生成，同时也可以采用ras算法进行加密和解密的运算，从而形成二级密码校验防护机制。ip地址作为参数，既增加了破解密码难度，也可以实现ip黑白名单。为此，完成了对数据库从内部到外部的安全防护。
63.再加上，本技术多种并行备份恢复方案也保证了数据的安全与实时恢复，同时也保证了数据的安全性
64.以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。