一种公私混合分布式的云存储系统及云存储方法与流程

本发明涉及云技术领域，特别是涉及一种公私混合分布式的云存储系统及云存储方法。

背景技术：
随着互联网技术的不断发展，目前基于各种云架构的产品层出不穷，云技术从结构上分为私有云和公有云，私有云安全但不便于大规模调用，公有云的安全性从实际上和心理上都感觉会弱一些，但各种运算资源、存储资源和带宽资源都相对好的多。因此，很多用户都面临要将自己的数据存入公共网络而又面临安全问题的窘境，比如现在的视频、音频、文本、数据库等数据，很多都是个人或公共机构的私有数据，如果单一地放在一家服务提供商，不管提供商如何加密，用户都认为是脱离了自己的控制范围，造成心理上的不安全感，目前全球采用的主要技术都是通过自身的加密手段将用户的数据保存加密，并在自身系统中分开存放。这种在服务提供商处的加密具有以下缺陷：用户无法真实感受到自己拥有实际数据；用户无法通过某种手段控制数据的访问情况；用户无法通过某种手段监控数据的访问情况；同机构或不同机构间的数据迁移无法确保完整数据不被拷贝或盗取。另外，如果用户面临数据迁移更换服务提供商时，也可能会让用户感觉原服务商可能留了一套备份在系统中的担忧，因此目前的云存储模式并没有解决用户的实际可监督、可控制、可管理的心理和实际安全问题。

技术实现要素：
本发明所要解决的技术问题是提供一种公私混合分布式的云存储系统及云存储方法，用于解决现有技术中存在的私有系统不利于大量共享和发布、公有系统安全性差等问题。本发明解决上述技术问题的技术方案如下：一种公私混合分布式的云存储系统，包括应用系统、分割聚合系统、公有存储系统和私有存储系统；所述应用系统，其与所述分割聚合系统连接，用于向所述分割聚合系统提供原完整数据，并通过分割聚合系统向公有存储系统或私有存储系统发起访问请求及提供用户注册信息；其还与所述私有存储系统连接，用于控制所述私有存储系统；所述分割聚合系统，其与所述公有存储系统和私有存储系统连接，用于将原完整数据拆分成若干数据碎片，并按设定的存储比例将所述数据碎片分发给所述公有存储系统和所述私有存储系统；其与所述应用系统连接，用于根据所述应用系统的访问请求接收所述公有存储系统和所述私有存储系统返回的数据碎片，并将所述公有存储系统和所述私有存储系统返回的数据碎片聚合成完整数据，再将聚合后的完整数据传输至所述应用系统；所述公有存储系统，其用于管理、认证和储存所述分割聚合系统传输的数据碎片；所述私有存储系统，其用于管理、认证、统计、控制和储存所述分割聚合系统传输的数据碎片。在上述技术方案的基础上，本发明还可以做如下改进。进一步，所述分割聚合系统中设置了一个分发表单模块，用于记录关键分发信息，所述关键分发信息包括分发方式、分发地址和数据组合规律。进一步，所述分割聚合系统为一个独立系统或集成在一个终端中。进一步，所述云存储系统中包括一个或一个以上的公有存储系统，且各公有存储系统包括分布在不同地区的若干个存储单元。进一步，所述公有存储系统包括数据碎片管理模块、数据碎片认证模块和数据碎片储存模块；所述数据碎片管理模块，其用于将用户注册信息同步到所述数据碎片认证模块中，并根据用户注册信息自动分配对数据碎片的管理权、存储权和调用权；所述数据碎片认证模块，其用于执行用户与公有存储系统的认证；所述数据碎片存储模块，其用于存储数据碎片。进一步，所述私有存储系统包括数据碎片管理模块、数据碎片认证模块、数据碎片储存模块、数据碎片控制模块和数据碎片统计模块；所述数据碎片管理模块，其用于将用户注册信息同步到所述数据碎片认证模块中，并根据用户注册信息自动分配对数据碎片的管理权、存储权和调用权；所述数据碎片认证模块，其用于执行用户与私有存储系统的认证；所述数据碎片存储模块，其用于存储数据碎片；所述数据碎片控制模块，其用于向数据拥有者反馈访问信息，在得到数据拥有者确认后，以响应数据访问者的方式控制数据读取进程；所述数据碎片统计模块，其用于统计数据访问记录。基于上述云存储结构，本发明的技术方案还有一种公私混合分布式的云存储方法，包括存入数据步骤和读取数据步骤；所述存入数据步骤包括：步骤A1，应用系统向分割聚合系统提供原完整数据；步骤A2，分割聚合系统将原完整数据拆分成若干数据碎片并加密，再按设定的存储比例将所述数据碎片分发给公有存储系统和私有存储系统，同时在所述分割聚合系统中记录关键分发信息；步骤A3，所述公有存储系统管理、认证和储存所述分割聚合系统传输的数据碎片，所述私有存储系统管理、认证、储存、控制和统计所述分割聚合系统传输的数据碎片；所述读取数据步骤包括：步骤B1，应用系统向分割聚合系统发起访问请求，查找关键分发信息；步骤B2,分割聚合系统根据关键分发信息接收公有存储系统和私有存储系统返回的数据碎片，并将数据碎片解密并聚合成完整文件；步骤B3，分割聚合系统将聚合后的完整文件传输至所述应用系统。进一步，所述步骤A2中的存储比例是应用系统根据用户使用场景和/或用户使用需求任意设定的。进一步，步骤A3中，所述公有存储系统管理、认证和储存所述分割聚合系统传输的数据碎片具体包括：存储数据碎片，并将用户注册信息同步到公有存储结构的数据碎片认证模块中，执行用户与公有存储系统的认证，再根据用户注册信息自动分配公有存储系统的管理权、存储权和调用权。进一步，步骤A3中，所述私有存储系统管理、认证、储存、控制和统计所述分割聚合系统传输的数据碎片具体包括：存储数据碎片，并将用户注册信息同步到私有存储结构的数据碎片认证模块中，执行用户与私有存储系统的认证，再根据用户注册信息自动分配公有存储系统的管理权、存储权和调用权，并且在用户通过认证的情况下，通过私有存储系统向数据拥有者反馈访问信息，并在得到数据拥有者确认后，以响应数据访问者的方式控制数据读取进程，并能随时统计数据访问记录。进一步，所述步骤A2及所述步骤B1中的关键分发信息包括分发方式、分发地址和数据组合规律。进一步，所述存入数据步骤和所述读取数据存储中均还包括所述应用系统对所述私有存储系统的控制，具体包括：当有用户向应用系统请求数据访问时，私有存储系统发出面向数据拥有者的询问信息，当数据拥有者确认发起用户信息准确无误后，回复私有存储系统系统的询问信息，实现应用系统对于私有存储系统的数据访问和修改请求；应用系统还能通过在私有存储系统系统中预设访问条件来管理使用者名称、认证信息、地址、请求方式和/或数据内容。进一步，当有两个或两个以上应用系统进行存入数据步骤或读取数据步骤时，各应用系统之间以线下协商方式或传递包含有共同接入的公有存储系统或私有存储结构的分发表单的方式协商访问机制，用于确保所有应用系统共同连接到准确的存储机构。本发明的有益效果是：本发明主要针对使用云存储系统的用户，运用分割聚合系统将完整的数据分割成若干比例，一部分数据放在私有存储系统，另一部分或多个部分放在另外的公有存储系统，并通过访问私有存储系统对所访问的地址、用户、时间等进行控制和统计，这样就可以有效保障用户的所有权、监督权和控制权。具体的，本发明的技术方案解决了私有系统容量小、带宽不足的问题，又解决了公有系统的安全脆弱问题，既能防止数据丢失、篡改和未授权的访问，又能保证良好的共享和发布。其采用两套或多套用户名和密码，可多套系统自由迁移，使数据不易受到黑客的窃取，并有效避免了数据被随意拷贝的情况发生。附图说明图1为本发明所述云存储系统的示意图；图2为本发明实施例中所述云存储系统的应用示例图。附图中，各附图标记所表示的意义如下：1、应用系统，2、分割聚合系统，3、公有存储系统，4、私有存储系统。具体实施方式以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。如图1所示，本实施例给出了一种公私混合分布式的云存储系统，包括应用系统1、分割聚合系统2、公有存储系统3和私有存储系统4；所述应用系统1，其与所述分割聚合系统2连接，用于向所述分割聚合系统3提供原完整数据，并通过分割聚合系统3向公有存储系统或私有存储系统发起访问请求及提供用户注册信息；其还与所述私有存储系统4连接，用于控制所述私有存储系统4；所述分割聚合系统2，其与所述公有存储系统3和私有存储系统4连接，用于按将原完整数据拆分成若干数据碎片，并按设定的存储比例将所述数据碎片分发给所述公有存储系统3和所述私有存储系统4；其与所述应用系统1连接，用于根据所述应用系统1的访问请求接收所述公有存储系统3和所述私有存储系统4返回的数据碎片，并将所述公有存储系统3和所述私有存储系统4返回的数据碎片聚合成完整数据，再将聚合后的完整数据传输至所述应用系统；所述公有存储系统3，其用于管理、认证和储存所述分割聚合系统传输的数据碎片；所述私有存储系统4，其用于管理、认证、统计、控制和储存所述分割聚合系统传输的数据碎片。本实施例中，所述应用系统由用户操作，即用户通过所述应用系统进行数据访问，用户也可以是一个独立于应用系统的客户端；所述分割聚合系统2中设置了一个分发表单模块，用于记录关键分发信息，所述关键分发信息包括分发方式、分发地址和数据组合规律。对于所述公有存储系统3，其包括数据碎片管理模块、数据碎片认证模块和数据碎片储存模块：所述数据碎片管理模块，其用于将用户注册信息同步到所述数据碎片认证模块中，并根据用户注册信息自动分配对数据碎片的管理权、存储权和调用权；所述数据碎片认证模块，其用于执行用户与公有存储系统的认证；所述数据碎片存储模块，其用于存储数据碎片。对于所述私有存储系统4，除数据碎片管理模块、数据碎片认证模块和数据碎片储存模块外，还包括数据碎片控制模块和数据碎片统计模块：所述数据碎片控制模块，其用于向数据拥有者反馈访问信息，在得到数据拥有者确认后，以响应数据访问者的方式控制数据读取进程；所述数据碎片统计模块，其用于统计数据访问记录。在所述私有存储系统中，所述数据碎片管理模块、数据碎片认证模块和数据碎片储存模块的功能与所述公有存储系统中对应的模块一致。具体应用时，所述分割聚合系统设计为只有缓存，而没有存储功能的系统，其可以作为一个独立系统使用，或者集成在一个终端中使用。而所述公有存储系统的数量为一个或一个以上，且公有存储系统可以包括分布在不同地区的若干个存储单元，可确保数据在同系统或不同系统中迁移时，可用的完整数据不会被拷贝或盗用。所述私有存储系统则可以是一个放置于用户私有区域的硬件系统，也可以是另外一个独立于已选公有存储系统的其它可信任机构，其通过用户向私有区域的硬件系统或可信任机构的注册，该硬件系统或可信任机构将分配给用户更大的权限。上述云存储结构对应的实施方法包括存入数据步骤和读取数据步骤；所述存入数据步骤包括：步骤A1，应用系统向分割聚合系统提供原完整数据；步骤A2，分割聚合系统将原完整数据拆分成若干数据碎片并加密，再按设定的存储比例将所述数据碎片分发给公有存储系统和私有存储系统，同时在所述分割聚合系统中记录关键分发信息；步骤A3，所述公有存储系统管理、认证和储存所述分割聚合系统传输的数据碎片，所述私有存储系统管理、认证、储存、控制和统计所述分割聚合系统传输的数据碎片；所述读取数据步骤包括：步骤B1，应用系统向分割聚合系统发起访问请求，查找关键分发信息；步骤B2,分割聚合系统根据关键分发信息接收公有存储系统和私有存储系统返回的数据碎片，并将数据碎片解密并聚合成完整文件；步骤B3，分割聚合系统将聚合后的完整文件传输至所述应用系统。所述步骤A2中的存储比例是应用系统根据用户使用场景和/或用户使用需求任意设定的。并且，所述步骤A2中分割聚合系统将原完整数据拆分成若干数据碎片后，还对拆分后的数据碎片进行了加密，则所述步骤B2中分割聚合系统将公有存储系统和私有存储系统返回的数据碎片聚合成完整数据时，需对数据碎片进行解密。步骤A3中，所述公有存储系统管理、认证和储存所述分割聚合系统传输的数据碎片具体包括：存储数据碎片，并将用户注册信息同步到公有存储结构的数据碎片认证模块中，执行用户与公有存储系统的认证，再根据用户注册信息自动分配公有存储系统的管理权、存储权和调用权。步骤A3中，所述私有存储系统管理、认证、储存、控制和统计所述分割聚合系统传输的数据碎片具体包括：存储数据碎片，并将用户注册信息同步到私有存储结构的数据碎片认证模块中，执行用户与私有存储系统的认证，再根据用户注册信息自动分配公有存储系统的管理权、存储权和调用权，并且在用户通过认证的情况下，通过私有存储系统向数据拥有者反馈访问信息，并在得到数据拥有者确认后，以响应数据访问者的方式控制数据读取进程，并能随时统计数据访问记录。另外，所述步骤A2中分割聚合系统将所述数据碎片分发给所述公有存储系统和所述私有存储系统时，所述步骤B2中分割聚合系统接收所述公有存储系统和所述私有存储系统返回的数据碎片时，均需与所述公有存储系统及所述私有存储系统进行认证，并在认证过程完成后才能进行数据碎片的颁发或返回。此外，所述步骤A2及所述步骤B1中的关键分发信息包括分发方式、分发地址和数据组合规律，其记录在所述分割聚合系统中设置的一个分发表单模块中，即以表单的形式存在。通过包含关键分发信息的表单，可以对数据的分布了如指掌，而各个存储机构无法知晓数据的组合规律，即使拿到所有数据，也无法组合成有效完整的可用数据。本实施例中，所述存入数据步骤和所述读取数据存储中均还包括所述应用系统对所述私有存储系统的控制，其可以保证对数据访问的可控性和可管理性，具体的实现过程是：当有用户向应用系统请求数据访问时，无论请求来自其他用户或私有存储系统注册的实际数据拥有者本身，私有存储系统都将发出一个面向数据拥有者控制终端的询问，询问信息包含请求发起用户的名称、地址、访问数据内容等，当数据拥有者确认发起用户信息准确无误后，通过回复私有存储系统系统的询问信息，使应用系统可以正式响应发起用户的数据访问和修改请求，从而实现对私有存储系统系统的可控性；另外，注册用户可以通过在私有存储系统系统中预设访问条件的方式管理使用者名称、认证信息、地址、请求方式、数据内容等信息，从而实现对私有存储系统系统的可管理性。当有两个或两个以上应用系统进行存入数据步骤或读取数据步骤时，各应用系统之间以线下协商方式或传递包含有共同接入的公有存储系统或私有存储结构的分发表单的方式协商访问机制，用于确保所有应用系统共同连接到准确的存储机构，可结合图2参照以下论述。如图2所示，本实施中，可以有多个应用系统，分别对应多个用户，设用户U1向本实施例的云存储系统存入数据，则用户U2也可以通过上述的步骤及方法，通过正确的验证信息，访问私有存储系统和公有存储系统获得完整数据，确保了传输和存储过程的私密性。U1和U2用户可以采用线下协商或传递包含存有公私存储机构分布表单的方式协商访问机制，确保可以共同连接到准确的多个存储机构或系统中，在建立相互间通讯链接的同时，使相互间的数据访问和传输变得更具保密性，用户U1还可以通过直接访问私有存储系统，确认数据是否与实际U1或U2的访问相匹配，从而确定数据是否被非授权查看和使用。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。