对数据表中列进行分级别冗余存储的方法与流程

本发明涉及一种对数据表中列进行分级别冗余存储的方法，属于信息技术的数据安全与防护领域，适用于互联网云计算环境下，对同一个数据表中重要程度不同的列进行分级别冗余存储。
背景技术：
：目前主流的云计算节点数据冗余存储的方式，还是通过传统的模式来实现，这些模式包括数据库管理系统自带的工具进行冗余设置、由操作系统提供冗余存储、基于存储的硬件设备进行冗余防护（例如：raid1,raid3或者raid10）等。传统模式在新的云计算环境下，存在以下的问题：1、对特定的硬件环境、操作系统、数据库管理系统和虚拟主机系统依赖程度高。例如：oracle的冗余工具无法对sqlserver的数据文件进行冗余防护；linux下的工具无法冗余防护windows系统下的目录等问题。2、冗余操作占用空间多，效率低下，在传统冗余防护的环境下，有效数据占据比例太低。通常一个数据库中，绝大多数的数据是不会频繁修改的，比如银行的流水账，已经产生的流水账目是不能修改的。而一个应用系统中，大多数操作产生的操作日志，与具体业务是无关的。因此如果需要针对业务的个性化要求，对同一个表中不同重要性的列进行分别冗余存储时，目前的常规软硬件工具还做不到。而且在互联网云计算的环境下，多个数据库系统分布在世界各地，传统的技术也无法真正实现对分散在多个服务器上表中的列进行有效冗余存储防护的目标。技术实现要素：本发明要解决的技术问题是：提供一种对数据表中列进行分级别冗余存储的方法，兼容性强，占用系统资源第，执行效率高。为了解决所述技术问题，本发明采用的技术方案是：一种对数据表中列进行分级别冗余存储的方法，包括以下步骤：s01）、搭建一个云计算平台，所述云计算平台包括多个可以独立运行的服务节点，服务节点包括管理节点a、日志节点l、数据存储节点d和服务提供节点s；s02）、初始化管理节点a，初始化完成后，管理节点a提供认证所需的key文件和口令；s03）、把参与云计算的所有服务节点向管理节点a注册，注册时需要提供key文件和口令，作为认证依据，注册后可以在管理节点a上看到所有的服务节点信息，为后期设置冗余存储做好准备；s04）、在管理节点a上设置数据冗余存储规则，把不同安全级别要求的列，设置到不同的存储节点上保存，并把该设置信息保存为数据存储规则，保存后，将该信息下发到对应的服务提供节点s和数据存储节点d上；s05）、根据设置的数据冗余存储规则处理来自用户的数据操作请求。本发明所述对数据表中列进行分级别冗余存储的方法，步骤s04中，安全级别要求高的列，可以同时存储在多个数据存储节点d上，以实现冗余存储。本发明所述对数据表中列进行分级别冗余存储的方法，所述数据存储规则为：用户账户、用户姓名存储在数据存储节点d1中，性别、身份证号码存储在数据存储节点d2中，联系方式、家庭地址存储在数据存储节点d3中。本发明所述对数据表中列进行分级别冗余存储的方法，初始化管理节点a的过程为：启动管理节点a，管理节点a启动成功后，查询本地数据库，获取本服务节点配置信息放入内存，配置信息获取成功后，进入等待状态，等待数据存储节点d、服务提供节点s和日志节点l前来注册。本发明所述对数据表中列进行分级别冗余存储的方法，步骤s03中，向管理节点a注册的服务节点包括数据存储节点d、服务提供节点s和日志节点l。本发明所述对数据表中列进行分级别冗余存储的方法，参与云计算的服务节点向管理节点a注册的过程为：启动欲注册的服务节点，该服务节点启动成功后，查询本地数据库，获取本服务节点配置信息放入内存，配置信息获取成功后，向管理节点a注册，此时提供管理节点a提供的服务注册码和服务访问密码，向管理节点a发出注册请求，管理节点a接收到注册请求后，进行验证，验证通过后把欲注册服务节点的信息保存到自身资源库中，此时在管理节点a的管理控制平台上，新增了注册的服务节点。本发明所述对数据表中列进行分级别冗余存储的方法，步骤s04中，设置数据冗余存储规则后，管理节点a通过调用服务提供节点s和数据存储节点d的导航下载功能，把设定好的规则发送到所有数据存储节点d和服务提供节点s中，服务提供节点s接收到数据冗余存储规则后，在接收到数据存储的请求后，依照规则把数据存储到不同的数据存储节点中；数据存储节点d接收到数据存储规则后，对数据进行验证是否符合接收到的数据存储规则，如果符合则存储，如果不符合则返回非法存储的信息。本发明所述对数据表中列进行分级别冗余存储的方法，步骤s05中，云服务平台处理来自用户的数据操作请求包括数据的插入、修改、删除和查询操作。本发明所述对数据表中列进行分级别冗余存储的方法，当服务提供节点s接收到有关数据增删改查的操作请求时，首先通过服务提供节点s自带的条件分析引擎，结合数据存储规则，对用户发送的信息包进行分解，分解后的信息被分别发送到包含有目标数据的数据存储节点d上，各个数据存储节点d并行执行，并把执行结果反馈给服务提供节点s，在服务提供节点s的数据接收分析引擎对数据汇总整理后，再反馈给发送请求的用户。本发明的有益效果：1、本发明所述方法基于多个可以独立运行的服务节点，能够适应云计算环境下复杂的软硬件设备和多种开发语言，不依赖特定的设备或软件，而现有技术都是依赖特定硬件、操作系统或者软件工具来实现，相比现有技术，本发明所述方法具有较强的兼容性。2、本方法根据数据列的重要程度，分别设置不同的存储节点和冗余度，然后针对不同存储节点制定相应的存储规则，使用一种化整为零的形式完成各自节点的冗余存储，可以并行执行，可不影响正常业务执行。而传统备份一次必须对整个数据库进行完整的备份，所需时间长，产生的文件大，占用主机资源多，甚至会干扰到正常业务的应用。因此本方法具有占用系统资源低、执行效率高的特点。3、保护敏感数据，重要程度高的列属于需要重点保护的对象，按照列的重要性级别进行切分后，在各个节点可以分别执行各自的数据插入、修改、删除等操作，把需要重点保护的敏感数据放置在安全级别更高的环境中，可以有效防范信息外泄。而传统方式，只要泄漏一个备份文件，整个数据库里所有敏感数据就全部被泄漏出去了。因此本可以保护敏感数据。附图说明图1为将数据冗余存储规则下发的流程图；图2为云计算平台处理数据操作请求的流程图。具体实施方式下面结合附图和具体实施例对本发明做进一步的说明。本实施例公开一种对数据表中列进行分级别冗余存储的方法，实施该方法前，首先进行软硬件环境准备，包括：设备：三台服务器，交换机操作系统：server2008或者linux都可软件：mysql5.1以上版本、tomcat6以上版本、java1.7以上版本技术准备：webservicewsdl通信协议、springmvcweb框架具体实施步骤为：第一步、搭建一个云计算平台，在三台服务器上完成软件安装，然后在每台服务器上创建三个服务节点，一共9个服务节点。其中包括：管理节点a，数据存储节点d1、d2、d3、d4、d5，服务提供节点s1、s2以及日志节点l1。首先启动管理节点，然后启动数据存储节点、服务提供节点、日志节点。服务节点可以理解为一个服务器上的一组服务进程，这一组服务进程可以互相配合，完成云计算所需的服务请求。每一个服务节点都有自己的属性，节点属性是指服务节点上这一组服务进程能够提供的功能。每个服务节点有自己基本的节点属性，并提供基本的服务通讯接口（例如节点登录、节点身份验证等）。此外，每个节点根据预设的功能不同，提供额外的服务。节点根据属性（即提供的服务）的不同，分为几大类：管理节点a：负责管理整个云计算架构中，所有服务节点；负责节点的安全认证和导航信息的发布；日志节点l：负责记录各个节点的操作日志信息；数据存储节点d：负责按照预设值，存储提交的数据信息。并把操作日志信息发送给日志节点l进行保存。服务提供节点s：负责响应用户发送的各类请求，并进行分析汇总，把分析拆分后的信息，发送给各个数据存储节点d，并接收、汇总数据存储节点d的应答信息。第二步、初始化管理节点a1、管理节点a启动管理节点a启动成功后，查询本地数据库获取本服务节点配置信息放入内存。配置信息包含：序号内容类型示例1服务注册码stringip141-server-key2服务访问地址stringhttp://192.168.1.100:8080/manager/webservices，支持https3服务访问用户名stringadmin4服务访问密码string123(支持md5等多种方式加密)5服务节点类型stringa:管理节点6服务节点版本string1.0配置信息获取成功后，进入等待状态，等待数据存储服务节点、服务节点和日志节点前来注册。第三步、初始化云服务平台中其他节点，并向管理节点ａ注册1、数据存储节点d启动节点启动成功后，查询本地数据库获取本服务节点配置信息放入内存。配置信息包含：配置信息获取成功后，向管理服务节点注册操作，此时提供管理节点a提供的服务注册码和服务访问密码，向管理节点a发出注册请求，管理节点a接收到注册请求后，进行验证，验证通过后把数据存储节点d的信息保存到自身资源库中，此时在a的管理控制平台上，就可以看到新增了一个数据存储节点ｄ。2、服务提供类节点s启动节点启动成功后，查询本地数据库获取本服务节点配置信息放入内存。配置信息包含：序号内容类型示例1服务注册码stringip143-server-key2服务访问地址stringhttp://192.168.1.102:8080/manager/webservices支持https3服务访问用户名stringadmin4服务访问密码string123(支持md5等多种方式加密)5服务节点类型strings:服务节点6服务节点版本string1.07管理服务节点访问地址stringhttp://192.168.1.100:8080/manager/webservices8管理服务节点访问用户stringadmin9管理服务节点访问密码string123配置信息获取成功后，向管理服务节点注册操作，此时提供管理节点a提供的服务注册码和服务访问密码，向管理节点a发出注册请求，a接收到注册请求后，进行验证，验证通过后把服务提供节点s的信息保存到自身资源库中。此时在a的管理控制平台上，就可以看到新增了一个服务提供节点ｓ。3、日志节点l启动节点启动成功后，查询本地数据库获取本服务节点配置信息放入内存。配置信息包含：配置信息获取成功后，向管理服务节点注册操作，此时提供管理节点a提供的服务注册码和服务访问密码，向管理节点a发出注册请求，a接收到注册请求后，进行验证，验证通过后把日志节点l的信息保存到自身资源库中。此时在a的管理控制平台上，就可以看到新增了一个日志节点l。第四步、设置数据冗余存储规则在管理节点a完成所有节点的注册操作后，在管理节点a的数据库中，包含所有节点的信息。框架管理员可以进行手动设定各个节点之间的访问规则以及访问信息授权。举例说明管理节点的画面中服务访问规则设定功能如下：数据存储内容：序号说明长度1用户账户322用户姓名103性别24身份证号码185联系方式326家庭地址128管理服务节点设置数据存储规则：序号说明存储节点1用户账户数据存储节点d12用户姓名数据存储节点d13性别数据存储节点d24身份证号码数据存储节点d25联系方式数据存储节点d36家庭地址数据存储节点d3管理服务节点设定好以上规则后，通过调用服务节点和数据存储节点的导航下载功能（webservice服务），把设定完成的规则发送到所有存储和服务节点中。如图1所示，为将数据冗余存储规则下发的流程图。服务节点接收到数据存储规则后，在接收到数据存储的请求后，依照规则对数据存储到不同的数据存储节点中。数据存储节点接受到数据存储后，对数据进行验证是否服务接收到的存储规则，如果符合则存储，如果不符合则返回非法存储的信息。第五步、处理用户请求在完成第四步设置数据冗余存储规则后，云服务平台就可以正常接收来自用户的数据操作请求，通常包括数据的插入，修改，删除和查询操作。如图2所示，为云计算平台处理数据操作请求的流程图。5-1、插入操作：当服务提供节点s1（或者s2）接收到添加一条记录的请求时，由服务提供节点s1依据规则创建一条唯一性主键kx，并拆分请求信息包，把拆分后的信息包与kx一起，发送到对应的数据存储节点dn上，由数据存储节点并行完成数据的插入操作。当对应同一个列有多个数据存储节点时，s1会分别向这些数据存储节点发送相同的信息包，并等待他们各自应答。5-2、更新操作：当服务提供节点s1接收到一条更新操作时，首先通过“条件分析引擎”分析更新的条件与本节点存储的数据规则之间的关系。把更新条件发送给对应的数据存储节点dn；dn接收到请求后，会分别把各自记录集合中，符合该条件的结果记录集的唯一性主键kx反馈回来，再通过“数据接收分析引擎”对采集回来的kx集合进行过滤，最终确定需要执行更新操作的kx的范围，以及涉及到的数据存储节点dn的集合。最后向这些数据存储节点发送包含有kx主键集合的更新命令，由各个数据存储节点并发执行。5-3、删除操作：当服务提供节点s1接收到一条删除操作时，首先通过“条件分析引擎”，分析“删除记录条件”与本节点存储的“数据规则”之间的关系，把删除条件发送给对应的数据存储节点dn；dn接收到请求后，会分别把各自记录集合中，符合该条件的记录的唯一性主键kx反馈回来。s1通过“数据接收分析引擎”对采集回来的kx集合进行合并分析，筛选出最终需要删除的记录的kx集合，并把这个集合，连同删除命令，一起发送给所有符合要求的dn节点，执行删除操作。当记录存在冗余节点时，s1依据规则，向所有节点发送对应的删除指令。5-4、查询操作：当服务提供节点s1接收到一条查询命令时，首先通过“条件分析引擎”，分析查询条件与要获取的列名；把分析后的查询条件，分别发送给包含有这些查询条件的数据存储节点dn；dn接收到请求后，在各自服务节点内部进行查询，找到符合条件的结果集，并把结果集中唯一性主键kx形成一个应答，反馈给s1。s1通过“数据接收分析引擎”对多个节点反馈的结果集进行统一分析过滤，并把最终符合要求的结果集的kx集合提取出来，结合数据存储规则的信息，确定最终需要接收查询指令的数据存储节点dn的集合，并向集合中的数据存储节点发送请求。各个节点接收到包含有主键kx的查询请求后，提取对应的列，形成应答包，反馈给s1。s1汇总所有的应答包之后，合并成结果集，反馈给用户。通过以上的方式，可以有效完成对数据表中列进行分级别冗余存储，保护数据在遭遇意外硬件故障时，不会丢失，并有效利用存储空间，存储有效数据信息。以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。当前第1页12