一种大文件传输的方法及装置与流程

本发明涉及文件传输技术，尤其涉及一种大文件传输的方法及装置。

背景技术：

数据正在爆炸式增长，几乎每两年翻一番。随之增加的不仅是数据的数量，还有单体文件的容量：一张图片2-3g、一本书稿4-5g、一个视频片段3-4g、一份设计图纸十几g……甚至还有上百g的大文件。文件作为存储和交换的常见数据形式之一，客户端需要将本地文件数据上传至存储平台或交换给第三方使用，需要通过应用系统提供的文件上传、下载功能方式完成整个文件的传输过程。

在文件上传或文件交换应用领域中，目前主要采用http接口或ftp协议进行文件数据传输。使用http接口进行文件传输时，有最大容量限制，同时因为网络或连接问题，导致较大文件(2-3g以上)传输过程中终端无法进行高效传输。采用ftp协议进行文件传输时，也会因网络因素导致传输过程中断需要重新进行连接传输，无法满足大文件高效稳定传输要求。

技术实现要素：

本发明的目的在于为克服现有技术的以上缺陷，而提供一种大文件传输的方法及装置，以满足大文件高效稳定传输要求。

为实现上述目的，本发明采用以下技术方案：一种大文件传输方法，其用于在netty框架中传输文件，其包括以下步骤：

获取传输请求信息以及待传输文件的数据信息；

对文件数据进行http编码以及http压缩；

对文件数据进行基于http1.1协议的分块传输编码；

对传输请求进行判断，判断传输请求是否合法，判断传输请求是否为断点续传；

文件进行分块传输，对接收到的分块文件数据进行解压和解码，然后写入临时文件进行文件组装；

传输到最后一块数据时，将临时文件重命名，反馈传输成功信息并更新文件传输状态。

在获取传输请求信息以及待传输文件的数据信息之后，还建立websocket长连接，用于传输文件的传输进度信息。

在对传输请求进行判断时，通过文件的传输id在数据库中查询，若数据库中存在相同传输id，表明对应的文件传输为断点续传，则修改数据库中对应的文件传输状态并且后续需按照原有传输进度和文件信息找到对应临时文件进行写入；若数据库中不存在相同传输id，表明对应的文件传输为第一次写入，则后续需创建新的临时文件进行写入并在数据库中记录该次文件传输。

在文件进行分块传输时，若传输过程中断，则修改文件的传输状态为暂停并将传输进度和文件信息在数据库中记录。

在文件进行断点续传时，获取传输进度和文件信息，随后对文件进行分割得到要续传的文件数据，再继续进行传输进程。

在文件进行分块传输时，根据已传输的文件数据大小以及传输耗时得出传输进度和传输速度，通过websocket长连接进行反馈。

传输到最后一块数据时，将临时文件重命名成文件原有名称，通过websocket长连接反馈传输成功信息并向数据库更新文件传输状态。

在文件进行分块传输时，接收每一个文件块数据时，先判断文件块数据对应的临时文件是否存在：若存在，则直接将文件块数据写入该临时文件中；若不存在，则利用文件的传输id、文件名称和文件大小为参数创建一个临时文件，往数据库及内存中更新文件传输信息。

本发明还公开了一种电子设备，其特征在于，包括：处理器；以及存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现本发明的大文件传输方法。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本发明的大文件传输方法。

本发明与现有技术相比的有益效果是：在netty框架中基于http1.1协议的分块传输编码实现了针对大文件的分块传输，实现大文件安全稳定高效的传输，另外还在netty框架中二次开发实现了断点续传，满足用户需求，极大地提升了用户在文件传输交换过程中的工作效率。

附图说明

图1为本发明大文件传输方法的流程图。

需要说明的是，以上视图所示产品均为适应图纸大小及视图清楚而进行了适当的缩小/放大，并不对视图所示产品大小加以限制。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例。相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本发明涉及一种大文件传输方法，其用于在netty框架中传输文件。如图1所示，大文件传输方法，其包括以下步骤：步骤s1，获取传输请求信息以及待传输文件的数据信息；步骤s2，对文件数据进行http编码以及http压缩；步骤s3，对文件数据进行基于http1.1协议的分块传输编码；步骤s4，对传输请求进行判断，判断传输请求是否合法，判断传输请求是否为断点续传；步骤s5，文件进行分块传输，对接收到的分块文件数据进行解压和解码，然后写入临时文件进行文件组装；步骤s6，传输到最后一块数据时，将临时文件重命名，反馈传输成功信息并更新文件传输状态。

在步骤s1中，在获取传输请求信息以及待传输文件的数据信息之后，还建立websocket长连接，用于传输文件的传输进度信息。步骤s4中，在对传输请求进行判断时，通过文件的传输id在数据库中查询。若数据库中存在相同传输id，表明对应的文件传输为断点续传，则修改数据库中对应的文件传输状态并且后续需按照原有传输进度和文件信息找到对应临时文件进行写入。若数据库中不存在相同传输id，表明对应的文件传输为第一次写入，则后续需创建新的临时文件进行写入并在数据库中记录该次文件传输。

步骤s5中，在文件进行分块传输时，接收每一个文件块数据时，先判断文件块数据对应的临时文件是否存在：若存在，则直接将文件块数据写入该临时文件中；若不存在，则利用文件的传输id、文件名称和文件大小为参数创建一个临时文件，往数据库及内存中更新文件传输信息。步骤s5中，在文件进行分块传输时，若传输过程中断，则修改文件的传输状态为暂停并将传输进度和文件信息在数据库中记录(图1中的步骤s51)。在文件进行断点续传时，从数据库获取传输进度和文件信息(图1中的步骤s52)，随后对文件进行分割得到要续传的文件数据(图1中的步骤s53)，再继续进行传输进程。步骤s5中，在文件进行分块传输时，根据已传输的文件数据大小以及传输耗时得出传输进度和传输速度，通过websocket长连接进行反馈。步骤s6中，传输到最后一块数据时，将临时文件重命名成文件原有名称，通过websocket长连接反馈传输成功信息并向数据库更新文件传输状态。

本发明的大文件传输方法在netty框架中基于http1.1协议的分块传输编码实现了针对大文件的分块传输，实现大文件安全稳定高效的传输。另外还在netty框架中二次开发实现了断点续传，满足用户需求，极大地提升了用户在文件传输交换过程中的工作效率。

以下结合具体实施例对大文件传输方法进一步详细描述。

第一实施例

第一实施例是大文件传输方法应用在netty框架中进行文件上传操作。

在步骤s1中，在浏览器页面端上选择本地要上传的文件，netty客户端即获取到上传的传输请求信息以及待传输文件的数据信息，其中传输请求信息至少包括了请求的请求类型、请求链接、get请求的参数等。随后浏览器页面端与netty服务端之间建立websocket长连接用于传输文件的传输进度信息，可使得浏览器页面端即时显示当前文件的上传进度和上传速度。

在步骤s2中，需要对本次上传请求的文件数据进行http编码以及http压缩。netty客户端为本次上传请求添加http编码解码器、http报文数据压缩器以及业务处理器。其中http编码解码器是用于给本次上传请求的文件数据进行编码传输。http报文数据压缩器是用于将本次上传请求的文件数据进行压缩处理，可以极大地降低网络传输数据量，提高传输速度。业务处理器则是用于处理netty服务端返回的结果数据。同时netty服务端也需要添加http编码解码器、http报文数据解压器以及业务处理器。其中http编码解码器是用于给本次上传请求的文件数据进行解码。http报文数据解压器是用于将传来的文件数据进行解压处理。业务处理器则是用于对请求数据的业务逻辑处理。

在步骤s3中，对本次上传请求的文件数据进行基于http1.1协议的分块传输编码。基于http1.1协议的分块传输编码(transfer-encoding:chunked)可以自动对传输报文数据进行分块，并不需要人为预先对文件数据进行分块，也不需要对文件块数据进行排序一个个传输，最终达到安全传输、完整传输，而且具有传输性能较高、传输不易卡机、还允许对报文数据进行http压缩等的优点。

在步骤s4中，需对本次上传请求进行必要的判断，譬如判断传输请求是否合法，判断传输请求是否为断点续传等等。在对传输请求进行判断时，先判断本次上传请求的请求链接是否为需要处理的链接，若不属于netty服务端或netty客户端处理的链接，则拒绝本次上传请求并反馈请求失败提示消息。然后在get请求的参数找到本次上传请求文件的传输id(上传id)并在数据库(mongodb)中查询。若数据库中存在相同的传输id以及文件传输信息，表明本次上传请求为断点续传，则修改数据库中对应的文件传输状态为“上传中”并且后续需按照原有传输进度和文件信息找到对应临时文件进行写入。若数据库中不存在相同的传输id和文件传输信息，表明本次上传请求为第一次写入，则后续需创建新的临时文件进行写入并在数据库中记录该次文件传输。

在步骤s5中，netty客户端文件开始进行分块上传，netty服务端对接收到的分块文件数据进行解压和解码，然后写入到临时文件进行文件组装，并且在数据库(mongodb)写入当前上传文件信息数据。在步骤s5中，在文件进行分块上传时，netty服务端接收到每一个文件块数据后会先判断文件块数据对应的临时文件是否存在。若存在对应的临时文件，则直接将文件块数据写入该临时文件中。若不存在对应的临时文件，表明是第一次上传并且是第一个文件块数据，则利用文件的传输id、文件名称和文件大小为参数创建一个临时文件进行写入，并且往数据库及内存中更新文件传输信息。在步骤s5中，在文件进行分块上传时，根据已上传到netty服务端的文件数据大小以及传输耗时得出传输进度和传输速度，然后通过websocket长连接进行反馈，使得浏览器页面可以看到实时传输进度和速度。

在步骤s5中，在文件进行分块上传时，若浏览器页面端选择暂停上传或者因为网络原因导致上传中断，netty服务端监听到上传中断，上传挂起，同时修改文件的传输状态为暂停上传并将传输进度和文件信息在数据库中记录供后面的续传寻找对应文件传输信息。若浏览器页面端选择继续上传或者网络恢复后自动继续上传进程，netty客户端根据文件的传输id从数据库获取相对应的传输进度和文件信息，随后对文件进行分割，舍掉已经上传的部分、从而得到要续传的文件数据，再从步骤s1重新开始上传进程。

在步骤s5中不断上传文件块数据，当传输到最后一块数据时，进入步骤s6。在步骤s6中，将临时文件重命名成上传文件原有名称，上传的文件在netty服务端落盘，通过websocket长连接反馈上传成功信息并向数据库(mongodb)更新文件传输状态为上传成功。

第二实施例

第二实施例是大文件传输方法应用在netty框架中进行文件下载操作。

在步骤s1中，浏览器页面端请求netty服务端得到可以供下载的文件列表，在此列表中选择要下载的文件，netty客户端即获取到下载的传输请求信息以及待传输文件的数据信息。其中传输请求信息至少包括了请求的请求类型、请求链接、get请求的参数等。随后浏览器页面端与netty服务端之间建立websocket长连接用于传输文件的传输进度信息，可使得浏览器页面端即时显示当前文件的下载进度和下载速度。

在步骤s2中，需要对本次下载请求的文件数据进行http编码以及http压缩。netty服务端和netty客户端均为本次下载请求添加http编码解码器、http报文数据压缩器、http报文数据解压器以及业务处理器。其中http编码解码器是用于给本次下载请求的文件数据进行编码和解码。http报文数据压缩器是用于将本次下载请求的文件数据进行压缩处理，可以极大地降低网络传输数据量，提高传输速度。http报文数据解压器是用于将传来的文件数据进行解压处理。业务处理器则是用于对请求数据的业务逻辑处理或者处理接收到的结果数据。

在步骤s3中，对本次下载请求的文件数据进行基于http1.1协议的分块传输编码。基于http1.1协议的分块传输编码(transfer-encoding:chunked)可以自动对传输报文数据进行分块，并不需要人为预先对文件数据进行分块，也不需要对文件块数据进行排序一个个传输，最终达到安全传输、完整传输，而且具有传输性能较高、传输不易卡机、还允许对报文数据进行http压缩等的优点。

在步骤s4中，需对本次下载请求进行必要的判断，譬如判断传输请求是否合法，判断传输请求是否为断点续传等等。在对本次下载请求进行判断时，先判断本次下载请求的请求链接是否为需要处理的链接，若不属于netty服务端或netty客户端处理的链接，则拒绝本次下载请求并反馈请求失败提示消息。然后在get请求的参数找到本次下载请求文件的传输id(下载id)并在数据库(mongodb)中查询。若数据库中存在相同的传输id以及文件传输信息，表明本次下载请求为断点续传，则修改数据库中对应的文件传输状态为“下载中”并且后续需按照原有传输进度和文件信息找到对应临时文件进行写入。若数据库中不存在相同的传输id和文件传输信息，表明本次下载请求为第一次写入，则后续需创建新的临时文件进行写入并在数据库中记录该次文件传输。

在步骤s5中，netty服务端将文件开始进行分块下载，netty客户端对接收到的分块文件数据进行解压和解码，然后写入到临时文件进行文件组装，并且在数据库(mongodb)写入当前下载文件信息数据。在步骤s5中，在文件进行分块下载时，netty客户端接收到每一个文件块数据后会先判断文件块数据对应的临时文件是否存在。若存在对应的临时文件，则直接将文件块数据写入该临时文件中。若不存在对应的临时文件，表明是第一次下载并且是第一个文件块数据，则利用文件的传输id、文件名称和文件大小为参数创建一个临时文件进行写入，并且往数据库及内存中更新文件传输信息。在步骤s5中，在文件进行分块下载时，根据已下载的文件数据大小以及传输耗时得出传输进度和传输速度，然后通过websocket长连接进行反馈，使得浏览器页面可以看到实时传输进度和速度。

在步骤s5中，在文件进行分块下载时，若浏览器页面端选择暂停下载或者因为网络原因导致下载中断，netty服务端监听到下载中断，下载挂起，同时修改文件的传输状态为暂停下载并将传输进度和文件信息在数据库中记录。若浏览器页面端选择继续下载或者网络恢复后自动继续下载进程，netty服务端根据文件的传输id从netty服务端本地获取相对应的传输进度和文件信息，随后对文件进行分割，舍掉已经下载的部分、从而得到要续传的文件数据，再从步骤s1重新开始下载进程。

在步骤s5中不断下载文件块数据，当传输到最后一块数据时，进入步骤s6。在步骤s6中，将临时文件重命名成下载文件原有名称，文件落盘，并通过websocket长连接反馈下载成功信息并向数据库(mongodb)更新文件传输状态为下载成功。

此外，在本发明的实施例中，还提供了一种能够实现上述大文件传输方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理单元、上述至少一个存储单元、连接不同系统组件(包括存储单元和处理单元)的总线、显示单元。

其中，存储单元存储有程序代码，程序代码可以被处理单元执行，使得处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。例如，处理单元可以执行本发明大文件传输方法的所有步骤。

存储单元可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)和/或高速缓存存储单元，还可以进一步包括只读存储单元(rom)。

存储单元还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述大文件传输方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

根据本发明的实施例的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。