一种云存储系统中数据传输方法和系统的制作方法
【技术领域】
[0001]本发明涉及数据传输技术领域，尤指一种云存储系统中数据传输方法和系统。
【背景技术】
[0002]云存储提供的是存储服务，存储服务通过网络将本地数据存放在存储服务提供商(SSP)提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心，只需向SSP申请存储服务，从而避免了存储平台的重复建设，节约了昂贵的软硬件基础设施投资。
[0003]云存储实现了海量数据的统一管理。在现有云存储系统中，对于网络带宽要求都非常高，至少是千兆网络带宽，甚至一些高端云存储系统要求万兆网络带宽，无形中增加了云存储系统建设成本，即使万兆网络环境也常常出现网络带宽紧张带来云存储系统性能下降，造成网络带宽成为云存储系统性能的瓶颈，同时高速后端存储设备就无法发挥至极致，造成云存储系统后端资源浪费。
【发明内容】
[0004]为了解决上述技术问题，本发明提供了一种云存储系统中数据传输方法和系统，能够解决云存储系统中网络带宽瓶颈的问题。
[0005]为了达到本发明目的，本发明提供了一种云存储系统中数据传输方法，包括:云存储系统中数据传输方法，应用于云存储系统中的云存储客户端和云存储服务端，包括:云存储客户端预先设置数据块的压缩门限；在云存储客户端向云存储服务端传送数据前，如果确定传送数据的数据块大小超过压缩门限，则对传送数据执行压缩优化，在压缩的传送数据中标记压缩属性后发送至云存储服务端；云存储服务端接收到来自云存储客户端的传送数据，确定传送数据携带有压缩属性后，根据压缩属性对传送数据进行解压缩优化，并对传送数据进行存储处理。
[0006]进一步地，所述压缩门限为128KB ;所述压缩优化和解压缩优化的算法为LZ4算法。
[0007]进一步地，所述压缩属性至少包括已压缩标识，或者，所述压缩属性包括已压缩标识、算法库类型、压缩前大小、压缩后大小和压缩比。
[0008]进一步地，所述方法还包括:云存储客户端确定传送数据的数据块大小没有超过压缩门限，则将传送数据发送至云存储服务端；云存储服务端确定传送数据没有携带压缩属性后，对传送数据进行存储处理。
[0009]进一步地，所述对传送数据进行存储处理，具体为:云存储服务端对接收到的传送数据或解压缩后的传送数据进行校验，通过校验后的传送数据进行存储处理。
[0010]本发明还提供了一种云存储系统，包括云存储客户端和云存储服务端，其中，云存储客户端，用于预先设置数据块的压缩门限；向云存储服务端传送数据前，如果确定传送数据的数据块大小超过压缩门限，则对传送数据执行压缩优化，在压缩的传送数据中标记压缩属性后发送至云存储服务端；云存储服务端，用于接收到来自云存储客户端的传送数据，确定传送数据携带有压缩属性后，根据压缩属性对传送数据进行解压缩优化，并对传送数据进行存储处理。
[0011]与现有技术相比，本发明云存储客户端在发送数据到云存储服务端前，先对传送数据进行压缩，然后通过网络发送至云存储服务端，云存储服务端接收到传送数据后，先对传送数据执行解压缩，然后云存储服务端即可按照原有数据存储操作进行后续操作。通过本发明，解决了传送数据在网络传输中对带宽占用造成网络带宽成为性能瓶颈的缺陷，且对现有云存储系统不会造成影响，并具有很强的通用性。
[0012]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
【附图说明】
[0013]附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
[0014]图1是本发明的一种实施例中云存储系统中数据传输方法的流程示意图。
[0015]图2是本发明的一种实施例中云存储系统中数据传输系统的架构示意图。
【具体实施方式】
[0016]为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0017]在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0018]图1是本发明的一种实施例中云存储系统中数据传输方法的流程示意图。该云存储系统中数据传输方法应用于云存储系统中的云存储客户端和云存储服务端，如图1所示，该方法包括:
[0019]步骤101，在云存储客户端预先设置数据块的压缩门限。
[0020]在本步骤中，用户可以在云存储客户端预先设置数据块的压缩门限，例如压缩门限为128KB，当然也可以是其它值，在此不限定。
[0021]步骤102，在云存储客户端向云存储服务端传送数据前，判断传送数据的数据块大小是否超过压缩门限，如果超过，进行步骤103 ;如果没有超过，进行步骤104。
[0022]在本步骤中，在云存储客户端向云存储服务端传送数据前，先进行传送数据的数据块大小是否超过压缩门限的判断，例如判断数据块大小是否大于128KB。
[0023]步骤103，云存储客户端对传送数据执行压缩优化，在压缩后的传送数据中标记压缩属性，然后进行步骤104。
[0024]相对于现有技术，本发明的云存储客户端在发送传送数据到服务端前，先对传送数据进行压缩，然后通过网络发送至服务端，从而可以大幅度减少传送数据在网络传输中对带宽的占用。
[0025]在本步骤中，如果传送数据的数据块大小超过压缩门限128KB，则云存储客户端对传送数据执行网络数据通信压缩优化，该压缩优化可以采用LZ4压缩算法，LZ4是一个快速的无损压缩算法，压缩速度在单核300MB/S，可扩展支持多核CPU。它还具有一个非常快速的解码器，速度单核可达到和超越lGB/s，通常能够达到多核系统上的RAM速度限制。当然还可以使用其它的压缩算法，在此不限制。
[0026]压缩优化完成后，在压缩的传送数据中标记压缩属性，该压缩属性至少包括已压缩标识，还可以包括算法库类型、压缩前大小、压缩后大小、压缩比等信息。
[0027]步骤104，云存储客户端将传送数据发送至