一种基于同步代理和混合存储的云存储系统的制作方法
【技术领域】
[0001]本发明涉及一种云存储架构，具体讲涉及一种基于同步代理和混合存储的云存储系统。
【背景技术】
[0002]近年来，许多云存储服务相继出现，并且提供了不同级别的存储对象。云存储服务允许用户在任何地方都能存储数据到远程磁盘中，并从远程磁盘中访问数据。常用的云存储类型主要有公共云存储和私有云存储。
[0003](I)公共云存储
[0004]诸如Amazon 公司的简单存储服务(Simple Storage Service，S3)和 Nutanix 公司的网络存储服务，都可以低成本地向用户提供大量的文件存储空间。云存储服务提供商可以保证每个用户的存储空间和业务应用都是独立的。其中，以Dropbox为代表的个人云存储服务是公共云存储发展较为突出的代表，而国内比较突出的代表有搜狐企业网盘、百度云盘、360云盘、金山快盘等。
[0005](2)私有云存储
[0006]与公共云存储相比，私有云存储通常服务于某个企业，企业拥有或控制私有云存储的基础架构以及业务应用。私有云存储通常部署于企业的数据中心或相同地点的基础设施上，既可以由公司自己的IT部门管理，也可以由私有云存储服务提供商管理。可以提供私有云存储服务的平台有Eucalyptus、3A Cloud、minicloud安全办公私有云以及联想网盘等。
[0007]为了给用户更好的体验，云存储应具备几项严格要求，包括数据高一致性、服务高可用性等。当前，云存储的一个发展现状是公共云存储具有更高的效率和更低的价格，但是其安全问题仍然使得组织机构犹豫是否选择公共云存储；而私有云存储相对安全，但是其服务性价比却相对较低。因此，如何综合两种云存储实现方式的优势，设计数据更为一致、服务更为稳定的云存储架构成为迫切需要解决的一个新挑战。
【发明内容】
[0008]针对现有技术的不足，本发明提出一种基于同步代理和混合存储的云存储系统。本发明在所提出的同步代理机制中，通过定期比较客户端与服务器之间用户文件或文件夹的不同，并建立用户文件或文件夹修改记录数据库，能够有效解决客户端与服务器之间的数据高一致性问题；在所提出的混合存储机制中，借助于公共云存储资源作为私有云存储系统的备份能够提高云存储服务的高可用性，同时经过加密的远程备份存储和自动服务恢复机制又能够解决上传到公共云存储的用户数据安全性问题。
[0009]本发明的目的是采用下述技术方案实现的:
[0010]一种基于同步代理和混合存储的云存储系统，其改进之处在于，所述系统包括(I)拥有应用程序、Web控制台和同步代理的用户接口模块；(2)负责管理存储对象元数据的虚拟文件模块；(3)负责控制存储设备和其它系统功能的后端管理模块；
[0011]所述用户接口模块、虚拟文件模块与后端管理模块采用唯一的REST接口进行通
?目O
[0012]优选的，所述用户接口模块的应用程序包括外部用户程序和云存储系统自带的应用程序；
[0013]所述外部用户程序是指访问云存储服务的客户端用户程序；
[0014]所述云存储系统自带的应用程序，可作为云存储资源的配置接口，也可作为外部用户程序访问云存储资源的一个桥梁；
[0015]除了借助于云存储系统自带的应用程序，外部用户程序也可以通过调用CSMA的REST接口与虚拟文件模块进行交互，以在云存储服务器上创建新的业务应用。
[0016]优选的，所述Web控制台用于文件访问和服务器管理的Web用户接口被实现为一个富互联网应用程序。
[0017]优选的，所述用户接口模块的同步代理包括当用户启动自己的客户端设备时，相应的同步代理随之启动，该同步代理将定期扫描用户指定的文件夹，并比较存放于其中的文件或文件夹的状态；通过比较文件名字、文件大小、更新日期/时间戳以及文件数据的校验和，确定客户端指定文件夹与服务器相应文件夹之间所有内容的不同之处；
[0018]同步代理能够发现对所有已有文件和新增加/删除文件的修改，并利用这些信息明确每次同步操作需要上传或下载的文件；
[0019]同步代理建立了一个数据库来跟踪和记录客户端的所有文件操作，以确保每次同步结果都是一致和正确的；
[0020]客户端设备离线时，同步代理会保存所有文件变化到数据库中，并在网络可用时将数据库保存的所有文件变化同步到云存储服务器和其它共享相同文件的客户端。
[0021]优选的，在虚拟文件模块中，每个用户都有自己的子虚拟文件模块，每个子虚拟文件模块为每个用户提供一个存储逻辑视图，并保存所有用户自己创建和其他用户共享的文件的元数据。
[0022]优选的，所述虚拟文件模块中包括混合存储机制，其包括用户数据备份到公共云存储、切换私有云存储到公共云存储和从公共云存储恢复用户数据。
[0023]优选的，所述后端管理模块用于负责云存储系统的用户信息管理、信息共享控制、自动系统维护、状态健康检查、数据备份/恢复和设备资源管理功能。
[0024]进一步地，所述用户信息管理用于减少对系统管理员的依赖设计了一个自注册的简单机制来添加、初始化和收集新用户的信息；
[0025]信息共享控制用于防止共享同一文件夹的所有用户越权操作其他用户的文件或文件夹，规定所有共享文件或文件夹只能由自己的所有者删除；
[0026]数据备份/恢复具有用户档案、资源配置、文件数据信息的本地或远程自动备份功能，备份操作定期自动执行或随时手动启动。
[0027]与最接近的现有技术比，本发明的有益效果为:
[0028](I)轻量级同步代理:为了实现客户端与服务器之间用户信息的同步，本发明设计了一种同步代理机制。该机制通过定期扫描用户指定的文件夹和比较文件名字、文件大小、更新日期/时间戳以及文件数据的校验和，计算出客户端与服务器之间用户信息的差距，实现两端用户信息的同步。所设计的同步代理具有无痕启动、双向同步、离线有效等特点，有效提高了云存储系统的数据一致性。
[0029](2)安全的混合存储:为了应对私有云存储系统因设备故障和网络中断等原因而造成服务不可用问题，本发明设计了一种混合存储机制。在混合存储机制中，借助于公共云存储资源作为私有云存储系统的备份，同时对上传到公共云存储的用户数据进行加密，融合了远程备份存储和自动服务恢复过程的混合存储机制有效解决了云存储的服务高可用性和数据安全性问题。
[0030](3)低成本用户管理:为了减少对系统管理员的依赖，本发明设计了一个“自注册”的简单机制来实现新用户注册的自动完成。同时，所设计的用户管理功能还可以利用微软的Windows活动目录实现用户定义和身份认证。这种改进对不愿购买额外资源创建新目录或者已经建有企业目录的中小企业而言尤其有意义。
[0031](4)多种备份机制:本发明所提出的云存储架构具有用户信息的本地或远程备份功能，信息可以备份到本地存储设备或Amazon之类的网络存储服务平台中。备份操作定期自动执行或随时手动启动，并支持增量式滚动备份。这种改进能够为中小企业提供多种机制备份重要的商业数据。
[0032](5)多粒度共享控制:当前的一些公共云存储解决方案允许具有权限的所有用户在一个共享文件夹内可以删除其他用户文件或文件夹，这种粗放的权限控制不能满足商业应用的严格要求。在本发明所提出的云存储架构中，所有共享文件或文件夹只能由自己的所有者删除，同时支持基于系统级或个体级用户组策略的信息共享方式，实现了云存储信息共享的多粒度严格控制。
[0033](6)隐私和安全:中小企业采用本发明所提出的云存储架构后，数据隐私和安全都交由中小企业控制。同时，所提出的云存储架构能够记录对用户数据的所有操作以供用户审计，因此用户可以享受最低安全风险的云存储服务。这个优势极大地提高了中小企业在其重要商业应用中采用云存储服务的意愿。
【附图说明】
[0034]图1为本发明提供的基于同步代理和混合存储的云存储系统(CSMA)。
[0035]图2为本发明提供的CSMA的混合存储机制。
[0036]图3为本发明提供的CSMA的远程安全备份过程。
[0037]图4为本发明提供的CSMA的远程安全恢复过程。
[0038]图5为本发明提供的虚拟文件模块的元数据概念模型实现。
[0039]