一种海量数据存储系统及处理方法
【技术领域】
[0001]本发明涉及云存储，特别涉及海量数据安全存储及处理。
【背景技术】
[0002]随着云存储的迅猛发展，普遍选择使用云存储环境来存储自己的资料。云存储环境一般采用按使用付费的方式，给使用者带来了不少好处:无前期投入，节省了管理开销，良好的可扩展性和很高的存储资源利用率。
[0003]然而，云存储环境让数据的所有者失去了对数据的完全控制，这使得数据的安全性面临一系列的威胁。如果把敏感数据存储在由他人控制的云存储环境中，随着云存储的使用者增多，这些问题将变得越发严重。对数据进行加密是当前保护数据私密性的主流方法。但是，大多数的云存储服务提供者都要求用户信任他们的存储服务器的数据所有者，其他用户想要访问数据，需要先与数据所有者联系，但却通过了新的问题:数据所有者需要提供较复杂的数据管理服务，当共享用户数增多时，管理难度越来越大。
[0004]因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。
【发明内容】
[0005]为解决上述现有技术所存在的问题，本发明提出了一种海量数据存储系统，包括存储服务器，客户端，认证服务器，所述存储服务器用于将用户视图中的一个文件分成两个文件来存储，该两个文件分别称为内容数据和安全元数据，内容数据中存储的是文件密文，安全元数据中存储了内容数据相关的安全信息，所述安全信息包括读写控制块，根散列链表和散列树；认证服务器是整个系统信任的根，用于认证用户身份，处理用户的文件访问请求，将相关密钥分发给合法用户，认证服务器端只存储两个对称密钥，即认证服务器加密密钥和认证服务器签名密钥，用于完成对称密钥加解密，计算消息验证码；客户端用于处理用户的请求，执行文件操作，同时完成文件数据加解密和完整性检验，还需要与认证服务器通信来获取密钥，所述客户端只存储用户的身份证书；所述海量数据存储系统是一个用户态文件系统，与底层文件系统完全独立。
[0006]根据本发明的另一方面，提出了一种海量数据存储系统的处理方法，其特征在于，所述海量数据存储系统向用户提供安全的文件级共享与访问控制机制，文件所有者指定文件能够被指定用户进行特定权限的访问，并且所述保证只有合法授权的用户才能获得数据明文，非法用户以及底层文件系统的管理员均无法获得数据明文，并且海量数据存储系统的密钥管理机制使用户在使用海量数据存储系统时，不需要在本地存储任何文件密钥，利用密钥分发机制将待访问的文件的密钥分发给合法用户；在海量数据存储系统中当文件发生改变时，该海量数据存储系统直到文件被修改时才对被修改的内容重新加密，所述系统中的加密和解密运算都使用对称加解密，同时通过缓存机制来避免重复的计算开销和I/o开销。
[0007]优选地，在所述海量数据存储系统中，密钥分为3个等级来组织，即文件密钥，安全元数据和认证服务器；
[0008]密钥等级的第一层是文件密钥，海量数据存储系统以分块加密的形式来加密文件数据，每一个文件块FBi采用单独的对称密钥FBK 1来进行加解密，文件块的加密密钥是由明文的散列值与它的偏移量拼接而成，对称密钥FBKj^计算方法如下:
[0009]FBKi = HASH (FB J | | Offseti
[0010]其中符号“ I I ”表示拼接运算，HASH表示使用SHA-1算法计算文件块的散列值，0打％\是块i在文件中的偏移量；
[0011]密钥等级的第二层是安全元数据，在安全元数据的读写控制块中包括文件块二次加密密钥TBK，所有的文件块密钥FBKi都用TBK进行了加密，并以M叉树的形式存储在安全元数据中，只有获取了 TBK的用户才可以解密得到文件块密钥，进而对内容数据进行解密得到明文内容；读写控制块中还有一个文件签名密钥，只有获取了文件签名密钥的用户才具有写操作权限；
[0012]密钥等级的第三层是认证服务器，其中存储了两个对称密钥:认证服务器加密密钥和认证服务器签名密钥，这两个密钥对其他的任何实体均为保密，在安全元数据的读写控制块中，文件块二次加密密钥TBK和文件签名密钥FBK都被认证服务器用认证服务器加密密钥加密，用户想要获得TBK或文件签名密钥，只能通过与认证服务器进行通信来获取，认证服务器签名密钥则是用来计算读写控制块的消息验证码，认证服务器利用安全元数据中的消息验证码来判断读写控制块的完整性。
[0013]优选地，所述海量数据存储系统采用被动权限降低，即对于每一个文件块，只有当它的内容发生改变时，它才被重新加密，，对于安全元数据，一旦发生权限降低，均为该文件重新生成文件块二次加密密钥和文件签名密钥，然后用新的文件块二次加密密钥对所有的文件块密钥？8&重新加密，用文件签名密钥对所有的根散列重新加密。
[0014]优选地，所述海量数据存储系统的文件访问协议中，客户端与认证服务器间的通信均采用了 SSL加密，认证服务器只维护所述两个对称密钥，而客户端只维护自己的身份证书，而不维护任何密钥；
[0015]在海量数据存储系统中每个用户申请一个证书，用以唯一标识自己的身份，当客户端与认证服务器通信时，会尝试与认证服务器建立一个SSL连接，连接建立的时候，客户端将用户的身份证书发送给认证服务器，该证书通过认证服务器的认证后，认证服务器也会将自己的证书发送给客户端，在双方都确认对方的身份信息无误后，SSL连接正式建立，每一个连接都是与用户证书绑定的，即所有的通信都是身份可识别的通信。
[0016]本发明相比现有技术，具有以下优点:
[0017]提出了一种改进的数据存储系统及其处理方法，在普通网络环境和存储环境中保证了数据的私有性、完整性以及访问控制的安全性，降低了对存储服务器的安全依赖，逻辑结构简单，可扩展性高。
【附图说明】
[0018]图1是根据本发明实施例的海量数据存储系统处理方法的流程图。
【具体实施方式】
[0019]下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
[0020]本发明的一方面提供了一种海量数据存储处理方法。图1是根据本发明实施例的海量数据存储系统处理方法的流程图。本发明主要考虑了用户共享的云存储环境。在该环境中，数据所有者将共享数据存储在不可信的云存储服务提供者中，而其他用户则通过不可信的网络环境中可根据自身所被赋予的访问权限对该数据进行操作。在数据存储和访问的过程中，假设云存储服务提供者和网络中的恶意用户有可能对数据采取非法访问行为，而用户也将可能尝试超出其合法权限之外的数据操作。
[0021]海量数据存储系统与底层文件系统相互独立。海量数据存储系统的设计目的是为已有的海量数据存储系统提供安全机制，因此必须做到与底层文件系统相互独立，保证在使用海量数据存储系统的时候，不需要对底层文件系统进行任何修改。文件共享与访问控制。海量数据存储系统必须向用户提供安全易用的文件级共享与访问控制机制。文件所有者可