一种云主机自动备份与恢复的系统的制作方法

文档序号:16067698发布日期:2018-11-24 12:50阅读:192来源:国知局

本发明涉及网络数据备份技术领域,具体为一种云主机自动备份与恢复的系统。

背景技术

数据是用户的最重要的财产,网站数据一旦丢失,损失无法估量,而用户自行进行网站备份耗力耗时,为了解决传统备份技术使用成本较高、易用性和扩展性较差的难题,引人云计算技术,存储后端采用云存储,研究新型的备份服务技术,提出云备份服务架构设计方案,实验证明,云备份服务具有低成本、高可扩展性和高可用性的特点,既可以有效解决传统备份技术的不足,又可以减轻中小企业在备份服务使用上的成本压力。

传统备份软件采用代理服务器及备份服务器的架构来实现,备份服务器提供web等管理界面,负责调度、备份任务、创建备份策略、客户端信息管理、元数据管理,代理服务器则负责把客户端数据业务备份到具体存储介质中,作为用于存储数据的存储后端,需要存储的备份数据会不断增加,由于数据量的激增,传统存储技术对数据的索引效率逐步下降,面临大数据更会显得捉襟见肘,本方案服务端融合代理服务器及备份服务器功能,突破传统架构局限,精简备份结构,并以云存储作为存储后端,避免存储系统与计算系统间存在传输瓶颈及单点故障的问题,降低备份系统管理维护成本,为数据存储的可靠性、稳定性提供保障。



技术实现要素:

(一)解决的技术问题

针对现有技术的不足,本发明提供了一种云主机自动备份与恢复的系统,解决了存储系统与计算系统间存在传输瓶颈及单点故障,无法降低备份系统管理维护成本,不能为数据存储的可靠性、稳定性提供保障的问题。

(二)技术方案

为实现以上目的,本发明通过以下技术方案予以实现:一种云主机自动备份与恢复的系统,包括云备份客户端、云备份服务端和云存储管理平台,所述云备份客户端与云备份服务端实现双向连接,且云备份服务端与云存储管理平台实现双向连接,所述云备份客户端包括守护进程、发送数据进程、客户端备份系统和生成索引文件,所述守护进程的输出端与发送数据进程的输入端连接,且发送数据进程的输出端与客户端备份系统的输入端连接,所述客户端备份系统的输出端与生成索引文件的输入端连接,且生成索引文件的输入端与发送数据进程的输出端连接。

优选的,所述云备份服务端包括备份命令发送模块,所述备份命令发送模块的输出端与执行预估制定计划的输入端连接,且执行预估制定计划的输出端与执行计划的输入端连接。

优选的,所述执行计划与服务端备份模块实现双向连接,且服务端备份模块的输出端分别与日志索引目录和本地写入进程的输入端连接。

优选的,所述本地写入进程的输入端与执行计划的输出端连接,且本地写入进程的输出端与缓存目录的输出端连接,所述缓冲目录的输出端存储设备写入进程的输入端连接。

优选的,所述存储设备写入进程的输出端分别与磁盘存储和云存储管理平台的输入端连接,且存储设备写入进程的输入端与服务端备份模块的输出端连接。

优选的,所述服务端备份模块的输入端分别与客户端备份系统和日志索引目录的输出端连接。

优选的,所述客户端备份系统包括dump和tar操作模块、本地工具处理模块和备份、加密和压缩处理模块,所述dump和tar操作模块的输出端与本地工具处理模块的输入端连接,且本地工具处理模块的输出端与备份、加密和压缩处理模块的输入端连接。

(三)有益效果

本发明提供了一种云主机自动备份与恢复的系统。具备以下有益效果:

(1)、该云主机自动备份与恢复的系统,通过在云备份客户端与云备份服务端实现双向连接,且与备份服务端与云存储管理平台实现双向连接,再分别通过守护进程、发送数据进程、客户端备份系统、生成索引文件、备份命令发送模块、执行预估制定计划、执行计划、服务端备份模块、日志索引目录、本地写入进程、缓冲目录、存储设备写入进程、磁盘存储和云存储管理平台的配合设置,可有效解决传统备份技术的不足,可以减轻中小企业在备份服务使用上的成本压力,服务端融合代理服务器及备份服务器功能,突破传统架构局限,精简备份结构,并以云存储作为存储后端,避免存储系统与计算系统间存在传输瓶颈及单点故障的问题,降低备份系统管理维护成本,为数据存储的可靠性、稳定性提供保障。

(2)、该云主机自动备份与恢复的系统,通过在客户端备份系统包括dump和tar操作模块、本地工具处理模块和备份、加密和压缩处理模块,可实现对客户的信息进行准确的整合和备份,同时也可实现对备份的数据进行很好的加密和压缩,从而实现将备份的数据发送至云备份服务端上。

附图说明

图1为本发明系统的结构原理框图;

图2为本发明客户端备份系统的结构原理框图。

图中,1云备份客户端、101守护进程、102发送数据进程、103客户端备份系统、1031dump和tar操作模块、1032本地工具处理模块、1033备份、加密和压缩处理模块、104生成索引文件、2云备份服务端、201备份命令发送模块、202执行预估制定计划、203执行计划、204服务端备份模块、205日志索引目录、206本地写入进程、207缓存目录、208存储设备写入进程、209磁盘存储、3云存储管理平台。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参阅图1-2,本发明实施例提供一种技术方案:一种云主机自动备份与恢复的系统,包括云备份客户端1、云备份服务端2和云存储管理平台3,本云备份服务特性之一是不使用任何专有格式备份数据,使用操作系统标准的基本应用程序,也提供在许多操作系统上可用的开源工具,来将客户端需要备份的数据备份到备份服务器本地磁盘或者云存储中,本备份服务系统在结构设计上使用这些标准工具而不使用专有数据备份格式的目的是,在发生灾难或任何其他紧急情况时,用户可以手动恢复数据,即使没有安装云备份服务,通信及身份验证方面,云备份客户端1通过tcp和udp之上自己的网络协议与云备份服务器进行通信,并使用系统root主目录中的,rhosts文件进行登记授权,使通信更为安全,云备份服务器端设计上可以指定允许与哪些客户端进行通信,以及允许执行的操作类型,对于数据恢复,出于安全原因只允许使用root用户恢复数据。客户端身份验证方面,除了通过使用自带的身份验证方式外,使用openssh来保障数据传输安全,备份客户端的身份验证,云备份客户端1与云备份服务端2实现双向连接,且云备份服务端2与云存储管理平台3实现双向连接,云备份客户端1包括守护进程101、发送数据进程102、客户端备份系统103和生成索引文件104,守护进程101的输出端与发送数据进程102的输入端连接,且发送数据进程102的输出端与客户端备份系统103的输入端连接,客户端备份系统103的输出端与生成索引文件104的输入端连接,且生成索引文件104的输入端与发送数据进程102的输出端连接,备份数据分为冷数据和热数据,备份客户端采用windowsvss快照对数据进行热备份,避免在备份时对这些数据的使用用户及应用程序造成影响,客户端集成vss服务,通过vss代理请求器发送快照复制给vss服务,获取到该服务对应用程序执行的快照后,由备份客户端将备份数据发送到备份服务端,云备份服务端2包括备份命令发送模块201,备份命令发送模块201的输出端与执行预估制定计划202的输入端连接,且执行预估制定计划202的输出端与执行计划203的输入端连接,执行计划203与服务端备份模块204实现双向连接,且服务端备份模块204的输出端分别与日志索引目录205和本地写入进程206的输入端连接,本地写入进程206的输入端与执行计划203的输出端连接,且本地写入进程206的输出端与缓存目录207的输出端连接,缓冲目录207的输出端存储设备写入进程208的输入端连接,存储设备写入进程208的输出端分别与磁盘存储209和云存储管理平台3的输入端连接,且存储设备写入进程208的输入端与服务端备份模块204的输出端连接,服务端备份模块204的输入端分别与客户端备份系统103和生成索引文件104的输出端连接,预估备份计划主要检测云备份客户端上哪些文件发生改变且发生改变的文件可能的大小,为后续备份方式的选择提供判断依据,为降低备份架构带来的成本开销及保证核心备份组件功能的统一,备份服务器融合了备份介质服务器的功能,因此服务器又用于缓存数据,从客户端文件系统或客户端目录备份过来的数据只是一堆存放在磁盘上的文件,服务器使用一个独立的进程,使用尽可能大的吞吐量以实现将服务器中缓存的数据通过具体云存储接口写人云存储,云备份支持设置多个缓存目录,以便不同客户端的备份数据可以被发送到不同的缓存目录上,这增加了云备份的可扩展性,并提供了更好的负载,因为缓存目录可以在不同的控制器下用于平衡i/o,客户端备份系统103包括dump和tar操作模块1031、本地工具处理模块1032和备份、加密和压缩处理模块1033,dump和tar操作模块1031的输出端与本地工具处理模块1032的输入端连接,且本地工具处理模块1032的输出端与备份、加密和压缩处理模块1033的输入端连接,云备份服务器端在完全备份、增量备份、差异备份三种备份方式的基础上实现智能备份功能,智能备份主要通过独特的方法来调度,优化负载平衡,根据当前变化数据量等信息智能安排增量备份级别,根据整个服务端的负载合理安排全量备份,智能备份调度方法大致如下:例如,需要在周三和每个星期日为客户a、b、c进行全量备份,为客户d、e和f在其他时间执行增量备份,类似上例需求,通过对系统设置一些基本规则,然后让云备份自己去控制调度,例如,可以告知云备份以下规则:在7天时间内至少有一个全量备份,其他时间则是增量备份,这里全量备份之间的最大间隔时间称为“全量备份周期",为了计算出最佳的备份级别,云备份在每次开始备份前都会执行一个所谓的“预估”操作,每个云备份客户端1会运行专门的程序来检查哪些文件已经发生改变,并且改变的文件的可能大小,预估过程可能需要一些时间,特别是如果有许多客户端和文件系统的情况下,从所有客户端收集数据结束后,云备份进人所谓的“计划阶段”,并计算所有客户端的全量备份和增量备份的最佳组合。

使用时,云备份使用的是c/s架构,云备份服务结构中,云备份客户端1接收到来自云备份服务端2的备份命令后,对备份数据以标准压缩格式进行打包压缩并将压缩数据写到标准输出,云备份服务端2收集数据并传输到磁盘存储209和云存储管理平台3,生成索引文件104可生成相应的索引文件并保留对文件的索引信息,由云备份客户端1在数据打包时生成并发送给云备份服务端2,在数据还原时,云备份服务端2能够高效、准确地找到所需还原文件,用户通过浏览器打开云备份服务端2备份管理界面制定备份计划。云备份服务端2接收到执行计划203后在开始备份前预估备份计划,然后按照用户制定的执行计划203,发送备份命令至云备份客户端1让客户端打包好数据,抓取数据到云备份服务端2进行缓存,并将数据索引存储进日志索引目录205后再写人至云存储管理平台3。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1