一种文件上传方法及装置的制造方法

文档序号:10691201阅读:151来源:国知局
一种文件上传方法及装置的制造方法
【专利摘要】本申请公开了一种文件上传方法及装置,方法包括:获取待上传的目标文件;对所述目标文件进行分片处理,得到若干分片;向服务器发送文件上传请求,请求中携带目标文件大小,以便服务器根据目标文件大小确定通道数量及分配磁盘写入接口的数量,并基于通道数量建立与客户端的多路复用通道;利用建立的多路复用通道,对各所述分片进行多路通道并发上传,以便服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。本申请建立客户端与服务器间的多路复用通道,通过对目标文件进行分片处理,利用多通道并发上传不同的分片,大大提升了文件上传速度。
【专利说明】
一种文件上传方法及装置
技术领域
[0001]本申请涉及文件上传技术领域,更具体地说,涉及一种文件上传方法及装置。
【背景技术】
[0002]随着互联网技术的发展,用户常常需要将文件上传到互联网侧的服务器中进行存储,以便在需要时再次通过网络进行文件下载,避免随身携带存储设备,如U盘、硬盘等所带来的不便。
[0003]现有技术在上述文件时,通常是客户端与服务器建立单个上传通道,并基于建立的上传通道上传目标文件,进而由服务器在接收目标文件后将其写入磁盘。现有基于单通道上传文件的方式,其文件上传速度很慢,文件上传时间过长。

【发明内容】

[0004]有鉴于此,本申请提供了一种文件上传方法及装置,用于解决现有技术文件上传速度慢,上传时间过长的问题。
[0005]为了实现上述目的,现提出的方案如下:
[0006]—种文件上传方法,该方法包括:
[0007]获取待上传的目标文件;
[0008]对所述目标文件进行分片处理,得到若干分片;
[0009]向服务器发送文件上传请求,请求中携带目标文件大小,以便服务器根据目标文件大小确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道;
[0010]利用建立的多路复用通道,对各所述分片进行多路通道并发上传,以便服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
[0011]—种文件上传方法,该方法包括:
[0012]接收客户端发送的文件上传请求,所述文件上传请求包括目标文件大小;
[0013]根据所述目标文件大小,确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道;
[0014]接收所述客户端通过所述多路复用通道上传的各分片,其中,各分片为客户端对目标文件进行分片处理所得;
[0015]利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
[0016]一种文件上传装置,该装置包括:
[0017]目标文件获取单元,用于获取待上传的目标文件;
[0018]分片处理单元,用于对所述目标文件进行分片处理,得到若干分片;
[0019]多通道建立请求单元,用于向服务器发送文件上传请求,请求中携带目标文件大小,以便服务器根据目标文件大小确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道;
[0020]分片并发上传单元,用于利用建立的多路复用通道,对各所述分片进行多路通道并发上传,以便服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
[0021 ] 一种文件上传装置,该装置包括:
[0022]文件上传请求接收单元,用于接收客户端发送的文件上传请求,所述文件上传请求包括目标文件大小;
[0023]多通道建立响应单元,用于根据所述目标文件大小,确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道;
[0024]分片接收单元,用于接收所述客户端通过多路复用通道上传的各分片,其中,各分片为客户端对目标文件进行分片处理所得;
[0025]分片并行写入单元,用于利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
[0026]本申请实施例提供的文件上传方法,获取待上传的目标文件,对目标文件进行分片处理,得到若干分片,向服务器发送文件上传请求,请求中携带目标文件大小,以便服务器根据目标文件大小确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道,利用建立的多路复用通道,对各所述分片进行多路通道并发上传,以便服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。由此可知,本申请建立客户端与服务器间的多路复用通道,通过对目标文件进行分片处理,利用多通道并发上传不同的分片,大大提升了文件上传速度。并且,服务器利用分配的若干个磁盘写入接口,对收到的各分片并行写入磁盘,避免了受限于磁盘写入速度,单独写入一个完整的目标文件所存在的写入耗时长的问题。
【附图说明】
[0027]为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
[0028]图1为本申请示例的一种实施环境架构示意图;
[0029]图2为本申请实施例公开的一种客户端跨平台实现结构框图;
[0030]图3为本申请实施例公开的分片并行上传,并行写入磁盘的结构框图;
[0031 ]图4为本申请实施例提供的一种服务器硬件结构示意图;
[0032]图5为本申请实施例公开的一种文件上传方法信令交互图;
[0033]图6为本申请实施例公开的另一种文件上传方法信令交互图;
[0034]图7为本申请示例的多路通道分片并行上传的过程示意图;
[0035]图8为本申请实施例公开的一种客户端限速方法流程图;
[0036]图9示例了一种客户端控速池控速过程示意图;
[0037]图10为本申请实施例从客户端角度公开的一种文件上传方法流程示意图;
[0038]图11为本申请实施例从服务器角度公开的一种文件上传方法流程示意图;
[0039]图12为本申请实施例从客户端角度公开的一种文件上传装置结构示意图;
[0040]图13为本申请实施例从服务器角度公开的一种文件上传装置结构示意图。
【具体实施方式】
[0041]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0042]实施环境
[0043]参照图1,图1为本申请示例的一种实施环境架构示意图。
[0044]如图1所示,包括:若干终端11和服务器12。
[0045]其中,终端11中安装有处理文件上传业务的客户端。用户可以登录客户端,选取所要上传的目标文件,进而执行目标文件上传操作。
[0046]—般性的,终端11可以是PC电脑、智能手机、IPAD、笔记本等智能电子设备。
[0047]其中,服务器12为存储上传文件的网络侧设备。
[0048]服务器12可以是一台服务器,或者由若干台服务器组成的服务器群,或者是一个云计算服务中心。
[0049]为了保证本申请的客户端能够适用于不同平台,本申请可以采用C++语言实现客户端的上传逻辑,对各平台分别提供了对应的接口,如:对1S平台提供了oc接口,对Android平台提供了 java接口,对windows平台提供了C接口。详细参见图2,图2为本申请实施例公开的一种客户端跨平台实现结构框图。其中,接入层可以实现对OS X,1S平台的接入、对Android平台的接入以及对Windows平台的接入。各平台接口层中,对于OS X,1S平台,通过OC,C++代码混编,提供OC接口 ;对于Android平台,通过Android原生开发组件NDK使用C++代码,提供Java接口 ;对于Windows平台,将C++实现的上传代码编译成com,提供C接口。跨平台实现层中,使用了C++语言实现上传逻辑,并提供了C++接口。客户端与服务器连接的http能力由CURL库支持,http2.0能力由Nghttp2支持。
[0050]进一步,本申请为了解决磁盘写入速度的限制,提供了文件分片处理,然后分片并行上传的逻辑。参见图3,图3为本申请实施例公开的分片并行上传,并行写入磁盘的结构框图。
[0051]其中,客户端对文件进行分片,各分片并行上传给服务器,由服务器并行写入磁盘。通过增加并行写入磁盘的接口的数量,可以大大提升文件写入速度。
[0052]计算机架构
[0053]参照图4,图4为本申请实施例提供的一种服务器硬件结构示意图。
[0054]如图4所示,服务器可以包括:
[0055]处理器I,通信接口2,存储器3,通信总线4,和显示屏5;
[0056]其中处理器1、通信接口 2、存储器3和显示屏5通过通信总线4完成相互间的通信;
[0057]可选的,通信接口2可以为通信模块的接口,如GSM模块的接口 ;
[0058]处理器I,用于执行程序;
[0059]存储器3,用于存放程序;
[0060]程序可以包括程序代码,所述程序代码包括处理器的操作指令。
[0061 ] 处理器I可能是一个中央处理器CPU,或者是特定集成电路ASIC(Applicati0nSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
[0062]存储器3可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
[0063]接下来,通过几个示意性实施例对本申请技术方案进行介绍和说明。
[0064]本申请公开了一种文件上传系统,包括客户端和服务器,其中:
[0065]所述客户端用于,获取待上传的目标文件;
[0066]所述客户端还用于,对所述目标文件进行分片处理,得到若干分片;
[0067]所述客户端还用于,向服务器发送文件上传请求,请求中携带目标文件大小,以便服务器根据目标文件大小确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道;
[0068]所述客户端还用于,利用建立的多路复用通道,对各所述分片进行多路通道并发上传;
[0069]所述服务器用于,利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
[0070]根据本实施例的文件上传系统可知,本申请建立客户端与服务器间的多路通道,并基于建立的多路通道,通过对目标文件分片处理,利用多通道并发上传不同的分片,大大提升了文件上传速度。并且,服务器对收到的各分片并行写入磁盘,避免了受限于磁盘写入速度,单独写入一个完整的目标文件所存在的写入耗时长的问题。
[0071]基于上述文件上传系统,本申请进一步公开了一种文件上传方法,参见图5,图5为本申请实施例公开的一种文件上传方法信令交互图。
[0072]如图5所示,该方法包括:
[0073]步骤S100、客户端获取待上传的目标文件;
[0074]具体地,用户在客户端中选定所要上传的文件,由客户端将用户选定的文件作为目标文件。
[0075]—种示意性的实施方式,客户端获取待上传的目标文件的过程可以是:客户端确定用户当前选中的文件,将其确定为待上传的目标文件。又比如,客户端对设定的上传缓存区进行检测,在检测到有文件存入该区域时将存入的该文件确定为待上传的目标文件。
[0076]步骤SlOl、客户端对所述目标文件进行分片处理,得到若干分片;
[0077]具体地,客户端可以按照设定的单个分片的大小,对目标文件进行分片,将目标文件划分为若干分片。分片的大小可以自由设定,如64k等。
[0078]需要说明的是,客户端对目标文件进行分片处理的方式可以是,一次性将目标文件全部划分为分片。或者,在确定需要上传分片时,临时从目标文件中提取分片。例如,客户端确定有三个通道可以进行分片上传,则可以从目标文件中提取三个分片。由于分片的大小是固定的,因此只要确定了提取分片的起始位置,即可按照分片的大小提取一个分片。形象的来讲,目标文件可以看作一条线段,预先设定了每次提取的子线段的长度,则可以在确定所需的子线段的数目后,从线段中提取子线段。
[0079]步骤S102、客户端向服务器发送文件上传请求,请求中携带目标文件大小;
[0080]步骤S103、服务器根据所述目标文件大小,确定通道数量及分配磁盘写入接口的数量;[0081 ]具体地,服务器可以根据目标文件的大小,以及预先设定的分片大小,计算出目标文件可以划分为多少分片,进而根据划分的分片数量确定需要为客户端分配的磁盘写入接口的数量,以及所需通道的数量。
[0082]可选的,服务器可以先确定分配磁盘写入接口的数量,进而确定通道数量与所述分配磁盘写入接口的数量相同。
[0083]可以理解的是,磁盘写入接口的数量越多,并行写入磁盘的分片数量也就越多,文件写入速度就越快。同理,通道数量越多,并行上传的分片也就越多,文件上传速度也就越快。
[0084]步骤S104、服务器基于所述通道数量建立与客户端的多路复用通道;
[0085]具体地,在确定了通道数量之后,服务器按照该通道数量建立与客户端的多路复用通道。
[0086]步骤S105、客户端利用建立的多路复用通道,对各所述分片进行多路通道并发上传;
[0087]具体地,在建立了多路通道之后,客户端可以利用不同的通道上传不同的分片,实现分片的并发上传。
[0088]这里需要说明的是,不同分片通过不同通道并发上传时,同一时间可以只设置一路通道能够上传分片,以保证在网络中断时只有一路通道上传的文件被退回。当然,也可以设置多路通道并行上传文件,即同一时间可以有多路通道上传文件,提升文件上传的速度。
[0089]步骤S106、服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
[0090]具体地,服务器可以利用若干磁盘写入接口,对接收的各分片,并行写入磁盘,以提升分片写入速度。
[0091]本申请实施例中,客户端获取待上传的目标文件,对目标文件进行分片处理,得到若干分片,向服务器发送文件上传请求,请求中携带目标文件大小,以便服务器根据目标文件大小确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道,利用建立的多路复用通道,对各所述分片进行多路通道并发上传,以便服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。由此可知,本申请建立客户端与服务器间的多路复用通道,通过对目标文件进行分片处理,利用多通道并发上传不同的分片,大大提升了文件上传速度。并且,服务器利用分配的若干个磁盘写入接口,对收到的各分片并行写入磁盘,避免了受限于磁盘写入速度,单独写入一个完整的目标文件所存在的写入耗时长的问题。
[0092]可选的,上述步骤S102,客户端向服务器发送文件上传请求的过程可以包括:
[0093]客户端基于超文本传输协议与所述服务器建立单连接;
[0094]客户端根据与所述服务器建立的单连接,向所述服务器发送所述文件上传请求。
[0095]其中可选的,客户端具体可以基于超文本传输协议HTTP2.0与所述服务器建立单连接。
[0096]其中,超文本传输协议HTTP2.0支持多路复用,因此本申请可以选择基于HTTP2.0协议与服务器建立单连接。
[0097]建立单连接后,由客户端发送文件上传请求。
[0098]在本申请的一个实施例中,考虑如果客户端上传分片速度过快,导致服务器出现磁盘写入错误的问题,为了解决该问题,本申请提供了一种服务器控速的方案。
[0099]参见图6,图6为本申请实施例公开的另一种文件上传方法信令交互图。
[0100]如图6所示,该方法包括:
[0101]步骤S200、客户端获取待上传的目标文件;
[0102]具体地,用户在客户端中选定所要上传的文件,由客户端将用户选定的文件作为目标文件。
[0103]步骤S201、客户端对所述目标文件进行分片处理,得到若干分片;
[0104]具体地,客户端可以按照设定的单个分片的大小,对目标文件进行分片,将目标文件划分为若干分片。分片的大小可以自由设定,如64k等。
[0105]步骤S202、客户端向服务器发送文件上传请求,请求中携带目标文件大小;
[0106]步骤S203、服务器根据所述目标文件大小,确定通道数量及分配磁盘写入接口的数量;
[0107]具体地,服务器可以根据目标文件的大小,以及预先设定的分片大小,计算出目标文件可以划分为多少分片,进而根据划分的分片数量确定需要为客户端分配的磁盘写入接口的数量,以及所需通道的数量。
[0108]步骤S204、服务器基于所述通道数量建立与客户端的多路复用通道;
[0109]具体地,在确定了通道数量之后,服务器按照该通道数量建立与客户端的多路复用通道。
[0110]步骤S205、客户端利用建立的多路复用通道,对各所述分片进行多路通道并发上传;
[0111]具体地,客户端建立多路通道后,可以先通过各通道分别上传一个分片。上传分片后监测是否收到服务器返回的响应包。客户端在未收到服务器返回的响应包之前,保持各个通道处于锁定状态,锁定状态的通道不能用于上传文件。
[0112]步骤S206、服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘;
[0113]步骤S207、服务器在确定目标磁盘写入接口写入分片成功时,生成响应包,所述响应包包括目标磁盘写入接口的接口号;
[0114]具体地,服务器利用为客户端分配的磁盘写入接口,将分片写入磁盘。在确定分配的磁盘写入接口中,目标磁盘写入接口写入分片成功时,表示该目标磁盘写入接口可以继续写入下一分片,据此生成响应包,响应包中包括目标磁盘写入接口的接口号。
[0115]步骤S208、服务器将所述响应包发送给所述客户端;
[0116]步骤S209、客户端在确定收到响应包时,确定待上传的下一分片;
[0117]步骤S210、客户端利用多路复用通道,将下一分片与所述响应包中的目标磁盘写入接口的接口号一并发送给服务器。
[0118]具体地,通过发送下一分片及目标磁盘写入接口的接口号,以便服务器将所述下一分片通过所述目标磁盘写入接口写入磁盘。
[0119]根据本实施例的方案可知,客户端在上传分片后监测是否收到服务器返回的响应包,在未收到响应包之前,客户端将各路通道锁定,处于锁定状态的通道将无法继续上传分片。而对于服务器而言,其只有在确定某一个目标磁盘写入接口写入分片成功之后,才会生成并下发包含目标磁盘写入接口的接口号的响应包,保证了不会出现客户端上传分片速度过快而导致磁盘写入错误的问题。
[0120]可选的,上述实施例中服务器在确定目标磁盘写入接口写入分片成功时,可以根据所述目标磁盘写入接口所写入分片的分片标识,确定目标分片标识,所述目标分片标识为客户端需要上传的下一分片的分片标识。进而,将目标分片标识加入所述响应包,下发给客户端。
[0121]基于此,客户端确定待上传的下一分片的过程,具体包括:
[0122]在确定收到响应包时,将所述响应包所包含的目标分片标识对应的分片确定为待上传的下一分片。
[0123]由此可知,服务器可以指定客户端每次上传分片的分片标识。举例如,服务器确定目标磁盘写入接口成功写入分片标识10对应的分片,则服务器可以确定目标分片标识为U。当然,服务器确定的目标分片标识也可以不与目标磁盘写入接口所写入分片的分片标识连续。
[0124]可选的,为了保证在网络故障时客户端通过多路通道上传的分片不会全部被退回,本申请可以设置同一时间可以只设置一路通道能够上传分片,以保证在网络中断时只有一路通道上传的文件被退回。
[0125]在此基础上,只要保证通道数目足够多,即可充分利用网络资源。详细参见图7,图7为本申请示例的多路通道分片并行上传的过程示意图。
[0126]如图7所示,以3路通道并行上传分片为例进行说明。
[0127]其中,“发分片”过程即为客户端利用通道上传分片的过程,只有该过程会占用客户端的网络上传资源。“服务器存储分片”过程即为服务器接收通道上传的分片并对分片写入磁盘的过程,该过程不会占用客户端的网络上传资源。“返回响应包”过程即为服务器在确定目标磁盘盘写入接口写入分片成功时,生成并返回响应包的过程,该过程也不会占用客户端的网络上传资源。
[0128]通过图7可知:
[0129]若只有一路通道I,则客户端的网络上传资源在t2+t3时间段是处于空闲状态的。
[0130]若设置两路通道,则客户端的网络上传资源在t2时间段处于空闲状态。
[0131]若设置三路通道,则客户端的网络上传资源在t2_tl时间段处于空闲状态。
[0132]由此可知,随着通道数目的增加,客户端的网络上传资源处于空闲状态的时间会越来越少。
[0133]因此,本申请可以通过控制客户端可用的通道数目来实现文件上传速度的控制。
[0134]参见图8,图8为本申请实施例公开的一种客户端限速方法流程图。
[0135]如图8所示,该方法包括:
[0136]步骤S10、客户端接收限速请求;
[0137]其中,所述限速请求包含对文件上传速度的限制信息。
[0138]限速请求可以是由用户发起,例如用户在上传文件的同时想要在空间中发布图片,为了保证用户顺利发布图片,需要对文件上传过程进行限速。
[0139]除此之外,本申请还可以根据客户端当前登录用户的权限,为不同权限用户分配不同的限速。如,特权用户相比于普通用户的限速值高,也即特权用户上传文件的最高速度要比普通用户高。
[0140]步骤S11、客户端根据所述限速请求确定可用通道数;
[0141]具体地,本申请可以预先设定通道数与文件上传速度的对应关系,进而客户端可以根据所述限速请求所请求限制的文件上传速度,确定对应的通道数,将之作为可用通道数。
[0142]步骤S12、客户端在与所述服务器建立的多路复用通道中保留所述可用通道数的通道,锁定剩余的通道。
[0143]假设建立的多路复用通道总共有N条,客户端根据限速请求确定的可用通道数为M条(M〈 = N),则客户端在N条通道中选取M条,将剩余的N-M条通道锁定,锁定后的通道无法用于上传分片。
[0144]根据本实施例的方法可知,本申请可以通过客户端对文件上传速度进行限制,实现客户端限速的目的。
[0145]参见图9,其示例了一种客户端控速池控速过程示意图。
[0146]其中,假设客户端保留的可用通道数为2。则可以设置一发送队列及控速池,控速池最大容量为2个分片,发送队列最大容量可以设置为4个分片。
[0147]如图9所示,在tl时刻,发送队列中存在S1-S4—共4个分片,其中,SI和S2处于控速池中。也即,只有SI和S2可以被上传。在t2时刻时,客户端收到响应包,响应包中指示上传的分片为SI,则可以将SI分片上传。同时,S5分片进入发送队列,S3分片进入控速池。
[0148]接下来,本申请以客户端的角度对文件上传方法进行介绍,参见图10,图10为本申请实施例从客户端角度公开的一种文件上传方法流程示意图。
[0149]其中,方法实施例中未披露的细节请参照本申请系统实施例。
[0150]如图10所示,该方法包括:
[0151]步骤S20、获取待上传的目标文件;
[0152]具体地,用户在客户端中选定所要上传的文件,由客户端将用户选定的文件作为目标文件。
[0153]步骤S21、对所述目标文件进行分片处理,得到若干分片;
[0154]具体地,客户端可以按照设定的单个分片的大小,对目标文件进行分片,将目标文件划分为若干分片。分片的大小可以自由设定,如64k等。
[0155]步骤S22、向服务器发送文件上传请求,请求中携带目标文件大小,以便服务器根据目标文件大小确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道;
[0156]步骤S23、利用建立的多路复用通道,对各所述分片进行多路通道并发上传,以便服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
[0157]具体地,服务器对于接收的各路通道上传的分片,并行写入磁盘,以提升分片写入速度。
[0158]本申请实施例中,客户端获取待上传的目标文件,对目标文件进行分片处理,得到若干分片,客户端与服务器建立多路复用通道,对各分片进行多路通道并发上传,以便服务器接收客户端通过多路通道上传的各分片,并将各分片并行写入磁盘。由此可知,本申请建立客户端与服务器间的多路复用通道,通过对目标文件进行分片处理,利用多通道并发上传不同的分片,大大提升了文件上传速度。并且,服务器利用分配的若干个磁盘写入接口,对收到的各分片并行写入磁盘,避免了受限于磁盘写入速度,单独写入一个完整的目标文件所存在的写入耗时长的问题。
[0159]可选的,上述向服务器发送文件上传请求的过程,可以包括:
[0160]1、基于超文本传输协议与所述服务器建立单连接;
[0161]2、根据与所述服务器建立的单连接,向所述服务器发送文件上传请求。
[0162]可选的,客户端可以基于超文本传输协议HTTP2.0与服务器建立单连接。
[0163]可选的,上述利用建立的多路复用通道,对各所述分片进行多路通道并发上传的过程,可以包括:
[0164]B1、检测是否收到服务器发送的响应包,所述响应包为服务器确定目标磁盘写入接口写入分片成功时,所生成的响应包,响应包包括目标磁盘写入接口的接口号;
[0165]B2、在确定收到响应包时,确定待上传的下一分片;
[0166]B3、利用多路复用通道,将下一分片与所述响应包中的目标磁盘写入接口的接口号一并发送给服务器,以便服务器将所述下一分片通过所述目标磁盘写入接口写入磁盘。
[0167]进一步地,所述响应包还可以包括目标分片标识,所述目标分片标识为服务器指定的客户端需要上传的下一分片的分片标识。
[0168]基于此,上述B2,在确定收到响应包时,确定待上传的下一分片的过程,可以包括:
[0169]在确定收到响应包时,将所述响应包所包含的目标分片标识对应的分片确定为待上传的下一分片。
[0170]可选的,本申请还提供了客户端限速的功能,具体包括:
[0171]1、接收限速请求,所述限速请求包含对文件上传速度的限制信息;
[0172]2、根据所述限速请求确定可用通道数;
[0173]3、在与所述服务器建立的多路复用通道中保留所述可用通道数的通道,锁定剩余的通道,锁定后的通道无法用于上传分片。
[0174]进一步,本申请以服务器的角度对文件上传方法进行了介绍,参见图11,图11为本申请实施例从服务器角度公开的一种文件上传方法流程示意图。
[0175]其中,方法实施例中未披露的细节请参照本申请系统实施例。
[0176]如图11所示,该方法包括:
[0177]步骤S30、接收客户端发送的文件上传请求,所述文件上传请求包括目标文件大小;
[0178]步骤S31、根据所述目标文件大小,确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道;
[0179]步骤S32、接收所述客户端通过多路复用通道上传的各分片;
[0180]其中,各分片为客户端对目标文件进行分片处理所得。
[0181]步骤S33、利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
[0182]具体地,通过将各分片并行写入磁盘,避免了受限于磁盘写入速度,单独写入一个完整的目标文件所存在的写入耗时长的问题。
[0183]本申请实施例中,服务器与客户端建立多路复用通道,服务器接收客户端通过多路复用通道上传的目标文件的各个分片,大大提升了文件上传速度。并且,并行上传的分片可以供服务器并行写入磁盘,避免了受限于磁盘写入速度,单独写入一个完整的目标文件所存在的写入耗时长的问题。
[0184]可选的,上述根据所述目标文件大小,确定通道数量及分配磁盘写入接口的数量的过程,可以包括:
[0185]根据所述目标文件的大小,确定所需磁盘写入接口的目标数量;
[0186]确定通道数量与所述所需磁盘写入接口的数量相同。
[0187]可选的,本申请的文件上传方法还可以包括:
[0188]在确定目标磁盘写入接口写入分片成功时,生成响应包,所述响应包包括目标磁盘写入接口的接口号;
[0189]将所述响应包发送给所述客户端,以便客户端发送下一分片。
[0190]具体地,客户端通过上传分片后,只有在接收到服务器返回的响应包时才可以继续上传下一分片,以保证不会出现客户端上传分片速度过快,导致服务器磁盘写入错误的问题。
[0191]再进一步的,服务器在确定目标磁盘写入接口写入分片成功时,可以进一步执行下述过程:
[0192]根据所述目标磁盘写入接口所写入分片的分片标识,确定目标分片标识,所述目标分片标识为客户端需要上传的下一分片的分片标识;
[0193]将所述目标分片标识加入所述响应包。
[0194]也即,服务器可以指定客户端需要上传的下一分片的分片标识。
[0195]与上述方法相对应的,本申请实施例从客户端和服务器角度分别公开了一种文件上传装置。
[0196]参见图12,图12为本申请实施例从客户端角度公开的一种文件上传装置结构示意图。
[0197]如图12所示,文件上传装置包括:
[0198]目标文件获取单元100,用于获取待上传的目标文件;
[0199]分片处理单元110,用于对所述目标文件进行分片处理,得到若干分片;
[0200]多通道建立请求单元120,用于向服务器发送文件上传请求,请求中携带目标文件大小,以便服务器根据目标文件大小确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道;
[0201]分片并发上传单元130,用于利用建立的多路复用通道,对各所述分片进行多路通道并发上传,以便服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
[0202]可选的,所述多通道建立请求单元,可以包括:
[0203]单连接建立单元,用于基于超文本传输协议与所述服务器建立单连接;
[0204]文件上传请求发送单元,用于根据与所述服务器建立的单连接,向所述服务器发送所述文件上传请求。
[0205]可选的,所述单连接建立单元,可以包括:
[0206]第一单连接建立子单元,用于基于超文本传输协议HTTP2.0与所述服务器建立单连接。
[0207]可选的,所述分片并发上传单元,可以包括:
[0208]响应包检查单元,用于检测是否收到服务器发送的响应包,所述响应包为服务器确定目标磁盘写入接口写入分片成功时,所生成的响应包,响应包包括目标磁盘写入接口的接口号;
[0209]待上传分片确定单元,用于在确定收到响应包时,确定待上传的下一分片;
[0210]分片及接口号上传单元,用于利用多路复用通道,将下一分片与所述响应包中的目标磁盘写入接口的接口号一并发送给服务器,以便服务器将所述下一分片通过所述目标磁盘写入接口写入磁盘。
[0211 ]进一步可选的,所述响应包还可以包括目标分片标识,所述目标分片标识为服务器指定的客户端需要上传的下一分片的分片标识。
[0212]基于此,所述待上传分片确定单元,可以包括:
[0213]第一待上传分片确定子单元,用于在确定收到响应包时,将所述响应包所包含的目标分片标识对应的分片确定为待上传的下一分片。
[0214]可选的,本申请的装置还可以包括:
[0215]限速请求接收单元,用于接收限速请求,所述限速请求包含对文件上传速度的限制?目息;
[0216]可用通道数确定单元,用于根据所述限速请求确定可用通道数;
[0217]通道锁定单元,用于在与所述服务器建立的多路复用通道中保留所述可用通道数的通道,锁定剩余的通道,锁定后的通道无法用于上传分片。
[0218]进一步参见图13,图13为本申请实施例从服务器角度公开的一种文件上传装置结构示意图。
[0219]如图13所示,文件上传装置包括:
[0220]文件上传请求接收单元200,用于接收客户端发送的文件上传请求,所述文件上传请求包括目标文件大小;
[0221 ]多通道建立响应单元210,用于根据所述目标文件大小,确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道;
[0222]分片接收单元220,用于接收所述客户端通过多路复用通道上传的各分片,其中,各分片为客户端对目标文件进行分片处理所得;
[0223]分片并行写入单元230,用于利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
[0224]可选的,所述多通道建立响应单元,可以包括:
[0225]所需接口数量确定单元,用于根据所述目标文件的大小,确定所需磁盘写入接口的目标数量;
[0226]通道数量确定单元,用于确定通道数量与所述所需磁盘写入接口的数量相同;
[0227]通道建立单元,用于基于所述通道数量建立与客户端的多路复用通道。
[0228]可选的,本申请的装置还可以包括:
[0229]响应包生成单元,用于在确定目标磁盘写入接口写入分片成功时,生成响应包,所述响应包包括目标磁盘写入接口的接口号;
[0230]响应包发送单元,用于将所述响应包发送给所述客户端,以便客户端发送下一分片。
[0231]可选的,本申请的装置还可以包括:
[0232]目标分片标识确定单元,用于在确定目标磁盘写入接口写入分片成功时,根据所述目标磁盘写入接口所写入分片的分片标识,确定目标分片标识,所述目标分片标识为客户端需要上传的下一分片的分片标识;
[0233]目标分片标识添加单元,用于将所述目标分片标识加入所述响应包。
[0234]最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0235]本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
[0236]对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
【主权项】
1.一种文件上传方法,其特征在于,该方法包括: 获取待上传的目标文件; 对所述目标文件进行分片处理,得到若干分片; 向服务器发送文件上传请求,请求中携带目标文件大小,以便服务器根据目标文件大小确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道; 利用建立的多路复用通道,对各所述分片进行多路通道并发上传,以便服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。2.根据权利要求1所述的方法,其特征在于,所述向服务器发送文件上传请求,包括: 基于超文本传输协议与所述服务器建立单连接; 根据与所述服务器建立的单连接,向所述服务器发送所述文件上传请求。3.根据权利要求2所述的方法,其特征在于,所述基于超文本传输协议与所述服务器建立单连接,包括: 基于超文本传输协议HTTP2.0与所述服务器建立单连接。4.根据权利要求1所述的方法,其特征在于,所述利用建立的多路复用通道,对各所述分片进行多路通道并发上传,包括: 检测是否收到服务器发送的响应包,所述响应包为服务器确定目标磁盘写入接口写入分片成功时,所生成的响应包,响应包包括目标磁盘写入接口的接口号; 在确定收到响应包时,确定待上传的下一分片; 利用多路复用通道,将下一分片与所述响应包中的目标磁盘写入接口的接口号一并发送给服务器,以便服务器将所述下一分片通过所述目标磁盘写入接口写入磁盘。5.根据权利要求4所述的方法,其特征在于,所述响应包还包括目标分片标识,所述目标分片标识为服务器指定的客户端需要上传的下一分片的分片标识; 所述在确定收到响应包时,确定待上传的下一分片,包括: 在确定收到响应包时,将所述响应包所包含的目标分片标识对应的分片确定为待上传的下一分片。6.根据权利要求1所述的方法,其特征在于,还包括: 接收限速请求,所述限速请求包含对文件上传速度的限制信息; 根据所述限速请求确定可用通道数; 在与所述服务器建立的多路复用通道中保留所述可用通道数的通道,锁定剩余的通道,锁定后的通道无法用于上传分片。7.一种文件上传方法,其特征在于,该方法包括: 接收客户端发送的文件上传请求,所述文件上传请求包括目标文件大小; 根据所述目标文件大小,确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道; 接收所述客户端通过所述多路复用通道上传的各分片,其中,各分片为客户端对目标文件进行分片处理所得; 利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。8.根据权利要求7所述的方法,其特征在于,所述根据所述目标文件大小,确定通道数量及分配磁盘写入接口的数量,包括: 根据所述目标文件的大小,确定所需磁盘写入接口的目标数量; 确定通道数量与所述所需磁盘写入接口的数量相同。9.根据权利要求7所述的方法,其特征在于,还包括: 在确定目标磁盘写入接口写入分片成功时,生成响应包,所述响应包包括目标磁盘写入接口的接口号; 将所述响应包发送给所述客户端,以便客户端发送下一分片。10.根据权利要求9所述的方法,其特征在于,在确定目标磁盘写入接口写入分片成功时,该方法还包括: 根据所述目标磁盘写入接口所写入分片的分片标识,确定目标分片标识,所述目标分片标识为客户端需要上传的下一分片的分片标识; 将所述目标分片标识加入所述响应包。11.一种文件上传装置,其特征在于,该装置包括: 目标文件获取单元,用于获取待上传的目标文件; 分片处理单元,用于对所述目标文件进行分片处理,得到若干分片; 多通道建立请求单元,用于向服务器发送文件上传请求,请求中携带目标文件大小,以便服务器根据目标文件大小确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道; 分片并发上传单元,用于利用建立的多路复用通道,对各所述分片进行多路通道并发上传,以便服务器利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。12.一种文件上传装置,其特征在于,该装置包括: 文件上传请求接收单元,用于接收客户端发送的文件上传请求,所述文件上传请求包括目标文件大小; 多通道建立响应单元,用于根据所述目标文件大小,确定通道数量及分配磁盘写入接口的数量,并基于所述通道数量建立与客户端的多路复用通道; 分片接收单元,用于接收所述客户端通过多路复用通道上传的各分片,其中,各分片为客户端对目标文件进行分片处理所得; 分片并行写入单元,用于利用分配的磁盘写入接口,将接收的各所述分片并行写入磁盘。
【文档编号】G06F3/06GK106060160SQ201610537914
【公开日】2016年10月26日
【申请日】2016年7月7日
【发明人】刘宪
【申请人】腾讯科技(深圳)有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1