一种支持多云存储服务的文件上传方法及系统与流程

本发明涉及云存储领域，特别涉及一种支持多云存储服务的文件上传方法及系统。

背景技术：

云存储系统是随着社会的发展应运而生的,在人们的生活中发挥着越来越重要的作用，网络技术的发展使利用网络进行文件存储和共享逐渐成为一种重要的网络应用模式，云存储因其使用便捷、灵活、性价比高、扩展性强等特点而得到了广泛的应用,越来越多的企业及机构将数据从本地转移到某个云存储服务中,但单云存储因云故障而无法保证数据的高可用性要求,同时当用户需要迁移数据时,也会产生昂贵的成本，企业的发展，也伴随着业务种类的增多，同时存储容量成本剧增，也意味着在云服务提供商的选择上会进行最优选择，如何在网络上存储文件并实现安全有效的共享和切换成为一个必须解决的问题，为此，我们提出一种支持多云存储服务的文件上传方法及系统。

技术实现要素：

本发明的主要目的在于提供一种支持多云存储服务的文件上传方法及系统，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种支持多云存储服务的文件上传系统，包括文件上传子系统和文件配置子系统，所述文件上传子系统包括文件上传单元，所述文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元，所述文件上传单元与负载均衡单元和文件配置单元连接，所述负载均衡单元与文件过滤单元连接，所述文件过滤单元和文件配置单元均与文件转存单元连接；

所述文件上传单元，用于上传需要储存的文件；

所述负载均衡单元，用于平衡各个服务器的压力；

所述文件过滤单元，用于过滤掉上传文件中的违规图片和视频；

所述文件配置单元，用于针对不同的业务生成不同的配置项；

所述文件转存单元，用于将上传文件储存到数据库中。

一种支持多云存储服务的文件上传方法，包括以下步骤：

(1)、先判断上传文件大小，根据上传文件的大小，选择一次性上传还是分片上传；

(2)、将用户上传文件的流量分配到不同的应用服务器上；

(3)、分配流量的同时根据不同的业务对上传的图片、视频多媒体文件产生相应的动态配置项；

(4)、对不同服务器上接收到的文件进行过滤处理，除去上传文件中的违规文件；

(5)、根据生成的动态配置项将过滤后的文件上传到第三方云服务提供商的存储系统中。

优选的，所述步骤(1)中，上传前需询问负载均衡单元文件服务器负载情况，然后选择负载小的服务器作为上传点。

优选的，所述步骤(1)中，判断文件大小的标准为文件是否大于100mb，上传文件大于100mb时选择分片上传，上传文件小于100mb时选择一次性上传。

优选的，所述步骤(2)中，采用负载均衡单元分配用户上传文件的流量，负载均衡单元采用负载均衡服务器，负载均衡服务器使用前自动检测各个应用服务器的负载情况，使用时负载均衡服务器定期对应用服务器进行周期性的健康检查，发现故障节点时动态的将节点从应用服务器集群中剔除。

优选的，所述步骤(3)中，不同的业务包括但不局限于用户管理、订单管理和商品管理，生成动态配置项时采用多节点部署方式，可以动态配置过滤规则，还可以对异常情况进行动态切换多云存储服务。

优选的，所述步骤(4)中，采用图像识别算法和视频过滤算法处理上传文件中的图片和视频，违规图片包括但不局限于涉黄、推广、暴恐、涉政的图片，违规视频包括但不局限于夹杂的色情、推广、辱骂、暴恐、涉政的视频。

优选的，所述步骤(5)中，采用异步的方式，超文本传输协议上传文件到第三方云服务提供商的存储系统。

优选的，所述步骤(5)中，上传文件时开启断点续传功能，上传文件时将第三方url保存到数据库，供前端展示使用。

与现有技术相比，该一种支持多云存储服务的文件上传方法及系统具有如下有益效果：

1、考虑到了云存储异常情况的处理，能够实现多云存储的切换；

2、针对上传可能产生的失败给出了处理机制，提高成功传输效率；

3、对非法文件进行了过滤，保障内容安全；

4、考虑了配置的多样性和负载不稳定等情况，实现了系统的高可用性；

5、能够按照业务需要把图片、视频分别存储到不同的云存储中，提供高效、流程的服务，能够便于人们迁移数据，降低成本，而且整个多云存储服务的文件上传方法及系统比较简单，操作方便，使用效果相对于传统方式更好，满足人们的使用要求，较为实用。

附图说明

图1为本发明一种支持多云存储服务的文件上传方法的整体流程图；

图2为本发明一种支持多云存储服务的文件上传系统的整体结构示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

实施例

一种支持多云存储服务的文件上传系统，如图2所示，包括文件上传子系统和文件配置子系统，文件上传子系统包括文件上传单元，文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元，文件上传单元与负载均衡单元和文件配置单元连接，负载均衡单元与文件过滤单元连接，文件过滤单元和文件配置单元均与文件转存单元连接；

文件上传单元，用于上传需要储存的文件；

负载均衡单元，用于平衡各个服务器的压力，能有效地解决数据流量过大、网络负荷过重的问题；

文件过滤单元，用于过滤掉上传文件中的违规图片和视频；

文件配置单元，用于针对不同的业务生成不同的配置项；

文件转存单元，用于将上传文件储存到数据库中。

一种支持多云存储服务的文件上传方法，如图1所示，包括以下步骤：

(1)、先判断上传文件大小，根据上传文件的大小，选择一次性上传还是分片上传，上传前需询问负载均衡单元文件服务器负载情况，然后选择负载小的服务器作为上传点，判断文件大小的标准为文件是否大于100mb，上传文件大于100mb时选择分片上传，上传文件小于100mb时选择一次性上传；

(2)、将用户上传文件的流量分配到不同的应用服务器上，采用负载均衡单元分配用户上传文件的流量，负载均衡单元采用负载均衡服务器，负载均衡服务器使用前自动检测各个应用服务器的负载情况，使用时负载均衡服务器定期对应用服务器进行周期性的健康检查，发现故障节点时动态的将节点从应用服务器集群中剔除，以此来保证应用的高可用；

(3)、分配流量的同时根据不同的业务对上传的图片、视频多媒体文件产生相应的动态配置项，不同的业务包括但不局限于用户管理、订单管理和商品管理，生成动态配置项时采用多节点部署方式，保证配置单元的高可用，可以动态配置过滤规则，还可以对异常情况进行动态切换多云存储服务；

(4)、对不同服务器上接收到的文件进行过滤处理，除去上传文件中的违规文件，采用图像识别算法和视频过滤算法处理上传文件中的图片和视频，违规图片包括但不局限于涉黄、推广、暴恐、涉政的图片，违规视频包括但不局限于夹杂的色情、推广、辱骂、暴恐、涉政的视频，保障图片和视频内容安全；

(5)、根据生成的动态配置项将过滤后的文件上传到第三方云服务提供商的存储系统中，采用异步的方式，超文本传输协议上传文件到第三方云服务提供商的存储系统，上传文件时开启断点续传功能，上传文件时将第三方url保存到数据库，供前端展示使用。

上传时，可以将文件配置单元、文件上传单元和文件过滤单元实现在设备端，将负载均衡单元和文件转存单元设置在储存端，使用时文件先经过文件上传单元上传，然后经过文件过滤单元过滤后发送给文件配置单元和负载均衡单元，文件转存单元根据负载均衡单元输送的文件和文件配置单元生成的动态配置项将文件储存到第三方云服务提供商的存储系统中。

需要说明的是，本发明为一种支持多云存储服务的文件上传系统，采用文件上传单元上传文件时要对异常情况进行处理，在文件上传中断时能提供后续分片上传至成功，最终保证文件上传成功，断点续传功能即在使用分片的方式上传，文件分成多个文件片段，在前一个文件片段上传完成后，在继续上传下一个文件片段，如果上传文件片段出现了失败，重复此次上传文件片段直至成功，下载文件时按照设定的文件分类在对应的云存储服务下载相应的文件即可；

本发明上传文件时考虑到了云存储异常情况的处理，能实现多云存储的切换；而且针对上传可能产生的失败给出了处理机制，提高成功传输效率；同时对上传文件中的非法文件进行了过滤，保障内容安全；最后还考虑了配置的多样性和负载不稳定等情况，实现了系统的高可用性；

本发明使用时，能够按照业务需要把图片、视频分别存储到不同的云存储中，提供高效、流程的服务，能够便于人们迁移数据，降低成本，而且整个多云存储服务的文件上传方法及系统比较简单，操作方便，使用效果相对于传统方式更好，满足人们的使用要求，较为实用。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。