应急性爆发数据可靠备份及实时分析方法及系统的制作方法
【专利摘要】本发明公开了一种应急性爆发数据可靠备份及实时分析方法，首先建立应用和备份服务器并实时检测是否有备份数据，如果有，则向备份服务器发送备份控制命令；然后建立临时目录并存储备份数据并进行数据聚类处理，通过缓冲区管理将数据分别转移到备份目录和备份索引中；最后将备份目录上的数据备份到存储设备中，并移除备份目录上的数据。本发明将数据聚类技术与数据备份技术相结合，将爆发的大量数据进行聚类，均衡分布到各数据库中进行备份，实现对应急性爆发数据有效和可靠的备份，提高了数据备份的速度，减少了用户的等待时间，提高系统的运行效率。这样每个存储设备的数据量相对较小。此方法容易实现、能提高数据备份速度、对数据进行分类、节约系统资源并实现可靠备份。
【专利说明】应急性爆发数据可靠备份及实时分析方法及系统
【技术领域】
[0001]本发明涉及一种计算机信息数据存储，特别涉及一种应急性爆发数据可靠备份及实时分析安全系统构架方法及系统。
【背景技术】
[0002]现有的数据备份系统结构主要有Host-Base、Lan-Base和基于SAN(StorageAreaNetwork,存储区域网络，)架构的 LAN-Free 和 Server-Free 备份。Host-Base备份是传统数据备份结构，这种结构中磁带读写设备直接连接于需要备份的服务器上，为该服务器数据备份，但这种备份不适合于多个服务器需要数据备份，也不利于备份系统的共享。LAN-Base备份以局域网络为基础，局域网中一台服务器为备份服务器，由这个备份服务器负责整个系统的备份，多个需要备份数据的应用服务器通过局域网将数据传到磁带库中实现备份。当备份数据量大或备份频率高时，局域网的性能下降快，不适合重载荷的网络应用环境。LAN-Free备份中数据无需通过局域网而直接进行备份，用户只需将磁带机或磁带库等备份设备连接到SAN中，各服务器就可把需要备份的数据直接发送到共享的备份设备上，不必再经过局域网链路。LAN-Free便于数据备份的统一管理、备份速度快、网络传输压力小，但起实现较为复杂，且成本较高。Server-Free备份在SAN的交换层实现数据的传输工作，这样备份数据不经过网络，也不经过应用服务器总线，保证了网络与应用服务器的高效运行。但目前Server-Free备份技术还不够成熟，兼容设备不多。随着技术的发展，越来越多的数据呈爆发式增长，而对于这种高速、海量的数据若要要求存储，上述现有的数据备份结构、不能很好的解决这一问题，且不具有对数据进行分析的能力，这不利于备份后数据后续的使用。
[0003]因此需要一种应急性爆发数据可靠备份及实时分析安全系统构架方法及系统。
【发明内容】
[0004]有鉴于此，本发明所要解决的技术问题是提供一种应急性爆发数据可靠备份及实时分析安全系统构架方法及系统，该方法将聚类技术用于数据备份中，将爆发的大量数据进行聚类，使得同一类的数据相似度高，将各类数据均衡分布到各数据库中进行备份，这样每个存储设备的数据量相对较小。此方法容易实现、能提高数据备份速度和节约系统资源。
[0005]本发明的目的之一是提出一种应急性爆发数据可靠备份及实时分析安全系统构架方法；本发明的目的之二是提出一种应急性爆发数据可靠备份及实时分析安全系统构架系统。
[0006]本发明的目的之一是通过以下技术方案来实现的:
[0007]本发明提供的一种应急性爆发数据可靠备份及实时分析安全系统构架方法，包括以下步骤:
[0008]S1:建立应用服务器和备份服务器；
[0009]S2:检测应用服务器中是否有备份数据，如果无，则继续检测；[0010]S3:如果有，则向备份服务器发送备份控制命令；
[0011]S4:控制备份服务器接收备份控制命令并建立临时目录；
[0012]S5:应用服务器将需要的备份数据发送到备份服务器的临时目录；
[0013]S6:将备份数据进行数据聚类处理获得聚类数据；
[0014]S7:在临时目录下建立对应的聚类子目录；
[0015]S8:将聚类数据分别按类加载到对应的聚类子目录中并建立临时索引；
[0016]S9:在备份服务器中建立备份目录和备份索引；
[0017]S10:通过缓冲区管理将临时目录和临时索引中的数据分别转移到备份目录和备份索引中；
[0018]Sll:识别与备份服务器连接的存储设备；
[0019]S12:将备份目录上的数据按类转移到不同的存储设备中；
[0020]S13:移除备份目录上的数据。
[0021]进一步，所述步骤S5中应用服务器将备份数据通过SAN传输发送到备份服务器的临时目录中。
[0022]进一步，所述步骤S6中的数据聚类包括以下步骤:
[0023]S61:获取备份数据；
[0024]S62:随机设置N个聚类原型；
[0025]S63:根据距离相异度最小原则，计算备份数据和聚类原型之间的距离值；
[0026]S64:将备份数据划入距离值最小的第i个聚类原型中；
[0027]S65:重新选择聚类原型；
[0028]S66:对新的聚类原型再次执行步骤S63和步骤S64 ；
[0029]S67:判断此次聚类划分是否与之前一次相同，如果是，则聚类结束；
[0030]S68:如果否，则返回步骤S66直至所有的备份数据聚类完毕。
[0031]本发明的目的之二是通过以下技术方案来实现的:
[0032]本发明提供的一种应急性爆发数据可靠备份及实时分析安全系统构架系统，包括服务器单元、备份数据检测判断单元、临时目录建立单元、数据聚类处理单元、聚类子目录建立单元、索引建立单元、存储设备单元、数据转移单元、移除单元；
[0033]所述服务器单元，用于建立应用服务器和备份服务器；
[0034]所述备份数据检测判断单元，用于检测应用服务器中是否有备份数据，如果无，则继续检测；如果有，则向备份服务器发送备份控制命令；
[0035]所述临时目录建立单元，用于控制备份服务器接收备份控制命令并建立临时目录；用服务器将需要的备份数据发送到备份服务器的临时目录；
[0036]所述数据聚类处理单元，用于将备份数据进行数据聚类处理获得聚类数据；
[0037]所述聚类子目录建立单元，用于在临时目录下建立对应的聚类子目录；
[0038]所述索引建立单元，用于将聚类数据分别按类加载到对应的聚类子目录中并建立临时索引；在备份服务器中建立备份目录和备份索引；通过缓冲区管理将临时目录和临时索引中的数据分别转移到备份目录和备份索引中；
[0039]所述存储设备单元，用于识别与备份服务器连接的存储设备；
[0040]所述数据转移单元，用于将备份目录上的数据转移到存储设备中；[0041]所述移除单元，用于移除备份目录上的数据。
[0042]进一步，所述应用服务器将备份数据通过SAN传输发送到备份服务器的临时目录中。
[0043]进一步，所述数据聚类处理单元中的数据聚类包括以下步骤:
[0044]S61:获取备份数据；
[0045]S62:随机设置N个聚类原型；
[0046]S63:根据距离相异度最小原则，计算备份数据和聚类原型之间的距离值；
[0047]S64:将备份数据划入距离值最小的第i个聚类原型中；
[0048]S65:重新选择聚类原型；
[0049]S66:对新的聚类原型再次执行步骤S63和步骤S64，；
[0050]S67:判断此次聚类划分是否与之前一次相同，如果是，则聚类结束；
[0051]S68:如果否，则返回步骤S66直至所有的备份数据聚类完毕。
[0052]本发明的有益效果在于:本发明将数据聚类技术与数据备份技术相结合，将爆发的大量数据进行聚类，将聚类的数据均衡分布到各数据库中进行备份，实现对应急性爆发数据有效和可靠的备份，提高了数据备份的速度，减少了用户的等待时间，从而提高系统的运行效率。这样每个存储设备的数据量相对较小。此方法容易实现、能提高数据备份速度、节约系统资源并实现可靠备份。
【专利附图】
【附图说明】
[0053]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中:
[0054]图1为本发明实施例提供的应急性爆发数据备份体系结构；
[0055]图2为本发明实施例提供的应急性爆发数据备份流程；
[0056]图3为本发明实施例提供的数据聚类流程。
【具体实施方式】
[0057]以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
[0058]图1为本发明实施例提供的应急性爆发数据备份体系结构；图2为本发明实施例提供的应急性爆发数据备份流程；图3为本发明实施例提供的数据聚类流程，如图所示:本发明提供的一种应急性爆发数据可靠备份及实时分析安全系统构架方法，包括以下步骤:
[0059]S1:建立应用服务器和备份服务器，及与LAN、SAN和存储设备建立连接；及与局域网、存储区域网络和存储设备建立连接；
[0060]S2:检测应用服务器中是否有备份数据，如果无，则继续检测；
[0061]S3:如果有，则向备份服务器发送备份控制命令；
[0062]S4:控制备份服务器接收备份控制命令并建立临时目录；
[0063]S5:应用服务器将需要的备份数据发送到备份服务器的临时目录；
[0064]S6:将备份数据进行数据聚类处理获得聚类数据；本实施例所述的聚类处理实质为数据的类群区分过程。[0065]S7:在临时目录下建立对应的聚类子目录；
[0066]S8:将聚类数据分别按类加载到对应的聚类子目录中并建立临时索引；
[0067]S9:在备份服务器中建立备份目录和备份索引；
[0068]S10:通过缓冲区管理将临时目录和临时索引中的数据分别转移到备份目录和备份索引中；
[0069]Sll:识别与备份服务器连接的存储设备；
[0070]S12:将备份目录上的数据按类转移到不同的存储设备中；
[0071]S13:移除备份目录上的数据。
[0072]所述步骤S5中应用服务器将备份数据通过SAN传输发送到备份服务器的临时目录中。
[0073]所述步骤S6中的数据聚类包括以下步骤:
[0074]S61:获取备份数据；
[0075]S62:随机设置N个聚类原型；
[0076]S63:根据距离相异度最小原则，计算备份数据和聚类原型之间的距离值；
[0077]S64:将备份数据划入距离值最小的第i个聚类原型中；
[0078]S65:重新选择聚类原型；
[0079]S66:对新的聚类原型再次执行步骤S63和步骤S64，；
[0080]S67:判断此次聚类划分是否与之前一次相同，如果是，则聚类结束；
[0081]S68:如果否，则返回步骤S66直至所有的备份数据聚类完毕。
[0082]本实施例还提供了一种应急性爆发数据可靠备份及实时分析安全系统构架系统，包括服务器单元、备份数据检测判断单元、临时目录建立单元、数据聚类处理单元、聚类子目录建立单元、索引建立单元、存储设备单元、数据转移单元、移除单元；
[0083]所述服务器单元，用于建立应用服务器和备份服务器；
[0084]所述备份数据检测判断单元，用于检测应用服务器中是否有备份数据，如果无，则继续检测；如果有，则向备份服务器发送备份控制命令；
[0085]所述临时目录建立单元，用于控制备份服务器接收备份控制命令并建立临时目录；用服务器将需要的备份数据发送到备份服务器的临时目录；
[0086]所述数据聚类处理单元，用于将备份数据进行数据聚类处理获得聚类数据；
[0087]所述聚类子目录建立单元，用于在临时目录下建立对应的聚类子目录；
[0088]所述索引建立单元，用于将聚类数据分别按类加载到对应的聚类子目录中并建立临时索引；在备份服务器中建立备份目录和备份索引；通过缓冲区管理将临时目录和临时索引中的数据分别转移到备份目录和备份索引中；
[0089]所述存储设备单元，用于识别与备份服务器连接的存储设备；
[0090]所述数据转移单元，用于将备份目录上的数据转移到存储设备中；
[0091]所述移除单元，用于移除备份目录上的数据。
[0092]所述应用服务器将备份数据通过SAN传输发送到备份服务器的临时目录中。
[0093]所述数据聚类处理单元中的数据聚类包括以下步骤:
[0094]S61:获取备份数据；
[0095]S62:随机设置N个聚类原型；[0096]S63:根据距离相异度最小原则，计算备份数据和聚类原型之间的距离值；
[0097]S64:将备份数据划入距离值最小的第i个聚类原型中；
[0098]S65:重新选择聚类原型；
[0099]S66:对新的聚类原型再次执行步骤S63和步骤S64，；
[0100]S67:判断此次聚类划分是否与之前一次相同，如果是，则聚类结束；
[0101]S68:如果否，则返回步骤S66直至所有的备份数据聚类完毕。
[0102]最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。
【权利要求】
1.应急性爆发数据可靠备份及实时分析方法，其特征在于:包括以下步骤: S1:建立应用服务器和备份服务器； s2:检测应用服务器中是否有备份数据，如果无，则继续检测； s3:如果有，则向备份服务器发送备份控制命令； s4:控制备份服务器接收备份控制命令并建立临时目录； s5:应用服务器将需要的备份数据发送到备份服务器的临时目录； s6:将备份数据进行数据聚类处理获得聚类数据； s7:在临时目录下建立对应的聚类子目录； s8:将聚类数据分别按类加载到对应的聚类子目录中并建立临时索引； s9:在备份服务器中建立备份目录和备份索引； s10:通过缓冲区管理将临时目录和临时索引中的数据分别转移到备份目录和备份索引中； s11:识别与备份服务器连接的存储设备； s12:将备份目录上的数据按类转移到不同的存储设备中； S13:移除备份目录上的数据。
2.根据权利要求1所述的应急性爆发数据可靠备份及实时分析方法，其特征在于:所述步骤s5中应用服务器将备份数据通过存储区域网络传输发送到备份服务器的临时目录中。
3.根据权利要求1所述的应急性爆发数据可靠备份及实时分析方法，其特征在于:所述步骤S6中的数据聚类包括以下步骤: S61:获取备份数据； S62:随机设置N个聚类原型； s63:根据距离相异度最小原则，计算备份数据和聚类原型之间的距离值； s64:将备份数据划入距离值最小的第i个聚类原型中； s65:重新选择聚类原型； s66:对新的聚类原型再次执行步骤S63和步骤S64，； s67:判断此次聚类划分是否与之前一次相同，如果是，则聚类结束； s68:如果否，则返回步骤S66直至所有的备份数据聚类完毕。
4.应急性爆发数据可靠备份及实时分析系统，其特征在于:包括服务器单元、备份数据检测判断单元、临时目录建立单元、数据聚类处理单元、聚类子目录建立单元、索引建立单元、存储设备单元、数据转移单元和移除单元； 所述服务器单元，用于建立应用服务器和备份服务器； 所述备份数据检测判断单元，用于检测应用服务器中是否有备份数据，如果无，则继续检测；如果有，则向备份服务器发送备份控制命令； 所述临时目录建立单元，用于控制备份服务器接收备份控制命令并建立临时目录；用服务器将需要的备份数据发送到备份服务器的临时目录； 所述数据聚类处理单元，用于将备份数据进行数据聚类处理获得聚类数据； 所述聚类子目录建立单元，用于在临时目录下建立对应的聚类子目录； 所述索引建立单元，用于将聚类数据分别按类加载到对应的聚类子目录中并建立临时索引；在备份服务器中建立备份目录和备份索引；通过缓冲区管理将临时目录和临时索引中的数据分别转移到备份目录和备份索引中； 所述存储设备单元，用于识别与备份服务器连接的存储设备； 所述数据转移单元，用于将备份目录上的数据转移到存储设备中； 所述移除单元，用于移除备份目录上的数据。
5.根据权利要求4所述的应急性爆发数据可靠备份及实时分析系统，其特征在于:所述应用服务器将备份数据通过存储区域网络传输发送到备份服务器的临时目录中。
6.根据权利要求4所述的应急性爆发数据可靠备份及实时分析系统，其特征在于:所述数据聚类处理单元中的数据聚类包括以下步骤: S61:获取备份数据； S62:随机设置N个聚类原型； 563:根据距离相异度最小原则，计算备份数据和聚类原型之间的距离值； 564:将备份数据划入距离值最小的第i个聚类原型中； 565:重新选择聚类原型； 566:对新的聚类原型再次执行步骤S63和步骤S64，； 567:判断此次聚类划分是否与之前一次相同，如果是，则聚类结束； 568:如果否，则返回步骤S66直至所有的备份数据聚类完毕。
【文档编号】G06F17/30GK103970897SQ201410227594
【公开日】2014年8月6日 申请日期:2014年5月27日 优先权日:2014年5月27日
【发明者】张可, 柴毅, 熊英志, 周国庆, 吴逊 申请人:重庆大学