一种应用于对象存储系统的文件传输方法及装置与流程

本发明涉及对象存储系统领域，特别是涉及一种应用于对象存储系统的文件传输方法及装置。

背景技术：

对象存储系统是综合了nas和san的优点，同时具有san的高速直接访问和nas的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。由于对象存储系统具有存储功能，因此，客户端可以将文件上传到对象存储系统中进行保存，或者可以从对象存储系统中下载需要的文件。

在云存储时代下，用户会产生海量的文件，尤其是图像文件，这些图像文件上传到对象存储系统时，需要海量的网络带宽，从而对传输网络的带宽带来巨大的压力，且传输时间过长，甚至导致网络瘫痪。

由此可见，如何降低传输网络的压力，提高传输效率是本领域技术人员亟待解决地问题。

技术实现要素：

本发明的目的是提供一种应用于对象存储系统的文件传输方法及装置，用于降低传输网络的压力，提高传输效率。

为解决上述技术问题，本发明提供一种应用于对象存储系统的文件传输方法，包括：

遍历待上传文件，筛选出具有目标后缀名的第一目标文件，其中，所述目标后缀名为jpg/jpeg；

利用lepton压缩工具将所述第一目标文件进行压缩得到压缩文件；

将所述压缩文件和其余待上传文件传输至对象存储系统。

优选地，还包括：

在所述压缩文件传输完成后，对所述压缩文件添加压缩标志。

优选地，在筛选出具有目标后缀名的第一目标文件之前，还包括：

判断全部所述待上传文件所占的存储空间和当前网络带宽的关系是否满足预设关系；

如果是，则进入筛选出具有目标后缀名的第一目标文件的步骤。

优选地，所述将所述压缩文件和其余待上传文件传输至对象存储系统具体包括：

对各所述压缩文件所占的存储空间和各所述其余待上传文件所占的存储空间进行排序；

按照由小到大的顺序将所述压缩文件和所述其余待上传文件传输所述对象存储系统。

优选地，其特征在于，还包括：

在获取到用户的下载指令后，根据所述下载指令将所述对象存储系统中的待下载文件传输至客户端；

遍历所述待下载文件，筛选出具有所述目标后缀名的第二目标文件；

判断所述第二目标文件是否经过压缩；

如果是，则利用所述lepton压缩工具将所述第二目标文件进行解压得到解压文件。

为解决上述技术问题，本发明还提供一种应用于对象存储系统的文件传输装置，包括：

第一遍历模块，用于遍历待上传文件，筛选出具有目标后缀名的第一目标文件，其中，所述目标后缀名为jpg/jpeg；

压缩模块，用于利用lepton压缩工具将所述第一目标文件进行压缩得到压缩文件；

上传模块，用于将所述压缩文件和其余待上传文件传输至对象存储系统。

优选地，还包括：

添加模块，用于在所述压缩文件传输完成后，对所述压缩文件添加压缩标志。

优选地，还包括：

第一判断模块，用于判断全部所述待上传文件所占的存储空间和当前网络带宽的关系是否满足预设关系；

如果是，则触发所述第一遍历模块执行筛选出具有目标后缀名的第一目标文件的步骤。

优选地，所述上传模块具体包括：

排序单元，用于对各所述压缩文件所占的存储空间和各所述其余待上传文件所占的存储空间进行排序；

传输单元，用于按照由小到大的顺序将所述压缩文件和所述其余待上传文件传输所述对象存储系统。

优选地，还包括：

下载模块，用于在获取到用户的下载指令后，根据所述下载指令将所述对象存储系统中的待下载文件传输至客户端；

第二遍历模块，用于遍历所述待下载文件，筛选出具有所述目标后缀名的第二目标文件；

第二判断模块，用于判断所述第二目标文件是否经过压缩；

解压模块，用于在所述第二判断模块的判断结果为是的情况下，利用所述lepton压缩工具将所述第二目标文件进行解压得到解压文件。

本发明所提供的应用于对象存储系统的文件传输方法，通过lepton压缩工具对第一目标文件进行压缩得到压缩文件，使得在向对象存储系统上传文件时，一部分文件是经过压缩过的，因此，能够大幅度减少网络传输数据所需的带宽，提高jpeg图像数据的传输速率。此外，本发明所提供的应用于对象存储系统的文件传输装置，亦具有上述效果。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种应用于对象存储系统的文件传输方法的流程图；

图2为本发明实施例提供的另一种应用于对象存储系统的文件传输方法的流程图；

图3为本发明实施例提供的一种应用于对象存储系统的文件传输装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

本发明的核心是提供一种应用于对象存储系统的文件传输方法及装置，用于降低传输网络的压力，提高传输效率。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本发明实施例提供的一种应用于对象存储系统的文件传输方法的流程图。如图1所示，应用于对象存储系统的文件传输方法包括：

s10：遍历待上传文件，筛选出具有目标后缀名的第一目标文件，其中，目标后缀名为jpg/jpeg。

可以理解的是，待上传文件的类型有很多种，例如数据型的文件，图像型的文件等。尤其是图像型文件，在传输过程中会占用大量的网络带宽，导致传输时间过程，传输效率低的问题。本实施例中，将目标后缀名为jpg/jpeg的文件从待上传文件中筛选出来作为第一目标文件。

s11：利用lepton压缩工具将第一目标文件进行压缩得到压缩文件。

为了降低传输的数据量，本实施例采用lepton压缩工具实现文件的压缩。lepton压缩工具是dropbox公司提供的一种开源压缩工具，能够对具有后缀名为jpg/jpeg的图像进行压缩，该压缩工具对jpeg图像的平均压缩率为22％，从而大幅度减少网络传输数据所需的带宽，提高jpeg图像数据的传输速率。

s12：将压缩文件和其余待上传文件传输至对象存储系统。

可以理解的是，其余待上传文件不需要压缩，因此会直接传输给上传线程池进行上传，当第一目标文件经过压缩后形成压缩文件，此时，该压缩文件可以直接传输给上传线程池进行上传。

作为一种优选地实施方式，s12具体包括：

对各压缩文件所占的存储空间和各其余待上传文件所占的存储空间进行排序；

按照由小到大的顺序将压缩文件和其余待上传文件传输对象存储系统。

可以理解的是，所占的存储空间越小，则所需的传输时间就会越短，按照所占的存储空间进行排列上传，有助于在确定的时间范围内，传输较多的文件。例如，传输过程中，网络突然瘫痪，则前期传输的文件所占的存储空间越小，对象存储系统中获得的文件数量就会越多。

本实施例提供的应用于对象存储系统的文件传输方法，通过lepton压缩工具对第一目标文件进行压缩得到压缩文件，使得在向对象存储系统上传文件时，一部分文件是经过压缩过的，因此，能够大幅度减少网络传输数据所需的带宽，提高jpeg图像数据的传输速率。

图2为本发明实施例提供的另一种应用于对象存储系统的文件传输方法的流程图。如图2所示，作为一种优选地实施方式，还包括：

s20：在压缩文件传输完成后，对压缩文件添加压缩标志。

由于对象存储系统中存储有大量的文件，而这些文件不仅类型不同，而且同一类型的文件中，可能有的经过了压缩，有的没有经过压缩。为了便于区别，本实施例中对经过压缩的文件添加压缩标志。在此基础上，可以通过判断文件是否有压缩标志来确定该文件是否被压缩过。

作为一种优选地实施方式，在筛选出具有目标后缀名的第一目标文件之前，还包括：

判断全部待上传文件所占的存储空间和当前网络带宽的关系是否满足预设关系；

如果是，则进入筛选出具有目标后缀名的第一目标文件的步骤。

在具体实施中，如果当前网络带宽足够，且待上传文件所占的存储空间均很小，则这种情况下，就无需对第一目标文件进行压缩，这是因为，压缩的过程也需要时间，而在网络带宽足够的情况下，该时间有可能就能完成对第一目标文件的传输。

因此，本实施例中，首先判断全部待上传文件所占的存储空间从而确定所需的网络带宽，通过所需的网络带宽和当前网络带宽的关系就可以确定出是否有必要对第一目标文件压缩。可以理解的是，预设关系需要预先确定，至于预设关系的具体内容，本实施例不再赘述。

如图2所示，作为一种优选地实施方式，还包括：

s21：在获取到用户的下载指令后，根据下载指令将对象存储系统中的待下载文件传输至客户端。

s22：遍历待下载文件，筛选出具有目标后缀名的第二目标文件。

s23：判断第二目标文件是否经过压缩，如果是，进入s24。

s24：利用lepton压缩工具将第二目标文件进行解压得到解压文件。

文件的传输可以为上传，也可以为下载，上文中步骤s10-s12为上传过程，而步骤s21-s22实现下载过程。可以理解的是，待下载文件与待上传文件可以是完全相同，也可以是完全不同，也可以是部分相同，因此，第二目标文件与第一目标文件也可以是完全相同，也可以是完全不同，也可以是部分相同。通过下载和解压可以将对应的文件从对象存储系统传输至客户端。

在上文中对于由于应用于对象存储系统的文件传输方法对应实施例进行了详细的描述，本发明还提供一种应用于对象存储系统的文件传输装置。由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图3为本发明实施例提供的一种应用于对象存储系统的文件传输装置的结构图。如图3所示，包括：

第一遍历模块10，用于遍历待上传文件，筛选出具有目标后缀名的第一目标文件，其中，目标后缀名为jpg/jpeg；

压缩模块11，用于利用lepton压缩工具将第一目标文件进行压缩得到压缩文件；

上传模块12，用于将压缩文件和其余待上传文件传输至对象存储系统。

本实施例提供的应用于对象存储系统的文件传输装置，通过lepton压缩工具对第一目标文件进行压缩得到压缩文件，使得在向对象存储系统上传文件时，一部分文件是经过压缩过的，因此，能够大幅度减少网络传输数据所需的带宽，提高jpeg图像数据的传输速率。

作为一种优选地实施方式，还包括：

添加模块，用于在压缩文件传输完成后，对压缩文件添加压缩标志。

作为一种优选地实施方式，还包括：

第一判断模块，用于判断全部待上传文件所占的存储空间和当前网络带宽的关系是否满足预设关系；

如果是，则触发第一遍历模块执行筛选出具有目标后缀名的第一目标文件的步骤。

作为一种优选地实施方式，上传模块具体包括：

排序单元，用于对各压缩文件所占的存储空间和各其余待上传文件所占的存储空间进行排序；

传输单元，用于按照由小到大的顺序将压缩文件和其余待上传文件传输对象存储系统。

作为一种优选地实施方式，还包括：

下载模块，用于在获取到用户的下载指令后，根据下载指令将对象存储系统中的待下载文件传输至客户端；

第二遍历模块，用于遍历待下载文件，筛选出具有目标后缀名的第二目标文件；

第二判断模块，用于判断第二目标文件是否经过压缩；

解压模块，用于在第二判断模块的判断结果为是的情况下，利用lepton压缩工具将第二目标文件进行解压得到解压文件。

以上对本发明所提供的应用于对象存储系统的文件传输方法及装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。