本公开涉及数据信息传输领域，具体涉及一种大数据文件自适应单向传输方法及装置。
背景技术
随着互联网技术的发展，使得大数据信息的应用越来越广泛，而且数据的规模越来越大，文件，而且来源各异的数据通过各种方式从各个渠道采集汇聚海量的个人、企业、政府、行政单位、金融机构等各个方面的公开数据，构成海量丰富的数据基础。在高速发展的信息化时代，通过各种终端、渠道、应用等每时每刻产生出难以估算的海量数据，大数据文件传输的难度也越来越高，传输质量伴随着网络的带宽和网络通信质量而改变，待传输的文件过大容易导致传输速度慢和传输异常等问题。
技术实现要素：
本公开的目的是针对现有技术的不足，提供一种大数据文件自适应单向传输方法及装置，具体包括以下步骤：
步骤1，启动大数据文件自适应单向传输装置，使大数据接收模块处于接收状态；
步骤2，大数据传输模块向大数据接收模块发送多级带宽测试数据，大数据接收模块接收完成后返回响应数据包给大数据传输模块；
步骤3，分割阈值获取模块根据返回耗时最短的响应数据包确定分割阈值；
步骤4，大数据分割模块将待传输大数据文件按照分割阈值进行分割，得到大数据文件分割信息、一个或多个文件分割块；
步骤5，大数据传输模块向大数据接收模块发送大数据文件分割信息、一个或多个文件分割块；
步骤6，大数据接收模块接收大数据文件分割信息，并按照大数据文件分割信息接收一个或多个文件分割块；
步骤7，大数据组合模块将一个或多个文件分割块组合成为原大数据文件；
其中，所述大数据文件自适应单向传输装置包括发送端与接收端，所述发送端包括大数据传输模块、大数据接收模块、分割阈值获取模块、大数据分割模块，所述接收端包括大数据接收模块、大数据组合模块；
其中，所述大数据文件分割信息为分割完成后生成，所述大数据文件分割信息包括各文件分割块数量，各文件分割块大小，文件分割块顺序编号。
进一步地，在步骤2中，所述多级带宽测试数据包括多个带宽测试数据，各带宽测试数据的大小至少包括1m、5m、10m、20m、30m和50m。
进一步地，在步骤3中，所述分割阈值获取模块根据返回耗时最短的响应数据包确定分割阈值的方法为：选择返回耗时最短的响应数据包，将响应数据包对应的带宽测试数据的大小数值设置为分割阈值。
进一步地，在步骤4中，所述将待传输大数据文件按照分割阈值进行分割的方法为：当待传输大数据文件大小为小于或等于分割阈值时不进行分割，将待传输大数据文件单独作为一个分割块文件；当待传输大数据文件大小为大于分割阈值时，分割为n个分割块文件，一个或多个文件分割块大小为分割阈值，分割块文件大小为小于分割阈值的文件为实际文件大小，其中,
进一步地，在步骤6中，所述大数据接收模块接收大数据文件分割信息，并按照大数据文件分割信息接收一个或多个文件分割块的方法为，大数据接收模块按照文件分割块顺序编号和各文件分割块数量依次接收各个分割块文件。
进一步地，在步骤7中，所述大数据组合模块将一个或多个文件分割块组合成原大数据文件的方法为，大数据组合模块按照文件分割块顺序编号、各文件分割块大小和各文件分割块数量将接收到的各个分割块文件依次按照编号顺序和数量、大小组合成为原大数据文件。
本发明还提供了一种大数据文件自适应单向传输装置，所述大数据文件自适应单向传输装置包括：发送端与接收端，所述发送端包括大数据传输模块、大数据接收模块、分割阈值获取模块、大数据分割模块，所述接收端包括大数据接收模块、大数据组合模块。
本公开的有益效果为：本发明公开了一种大数据文件自适应单向传输方法，可以针对不同的网络环境，主动对当前的网络状况发测试包测试网络，以当前网络的实际信道容量作为阈值进行分割传输，提升了数据传输的安全性与稳定性，提高了网络传输效率。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为本公开的一种大数据文件自适应单向传输装置。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本公开的一种大数据文件自适应单向传输装置，下面结合图1来阐述根据本公开的实施方式的大数据文件自适应单向传输方法。
本公开提出一种大数据文件自适应单向传输方法，具体包括以下步骤：
步骤1，启动大数据文件自适应单向传输装置，使大数据接收模块处于接收状态；
步骤2，大数据传输模块向大数据接收模块发送多级带宽测试数据，大数据接收模块接收完成后返回响应数据包给大数据传输模块；
步骤3，分割阈值获取模块根据返回耗时最短的响应数据包确定分割阈值；
步骤4，大数据分割模块将待传输大数据文件按照分割阈值进行分割，得到大数据文件分割信息、一个或多个文件分割块；
步骤5，大数据传输模块向大数据接收模块发送大数据文件分割信息、一个或多个文件分割块；
步骤6，大数据接收模块接收大数据文件分割信息，并按照大数据文件分割信息接收一个或多个文件分割块；
步骤7，大数据组合模块将一个或多个文件分割块组合成为原大数据文件；
其中，所述大数据文件自适应单向传输装置包括发送端与接收端，所述发送端包括大数据传输模块、大数据接收模块、分割阈值获取模块、大数据分割模块，所述接收端包括大数据接收模块、大数据组合模块；
其中，所述大数据文件分割信息为分割完成后生成，所述大数据文件分割信息包括各文件分割块数量，各文件分割块大小，文件分割块顺序编号。
进一步地，在步骤2中，所述多级带宽测试数据包括多个带宽测试数据，各带宽测试数据的大小至少包括1m、5m、10m、20m、30m和50m。
进一步地，在步骤3中，所述分割阈值获取模块根据返回耗时最短的响应数据包确定分割阈值的方法为：选择返回耗时最短的响应数据包，将响应数据包对应的带宽测试数据的大小数值设置为分割阈值。
进一步地，在步骤4中，所述将待传输大数据文件按照分割阈值进行分割的方法为：当待传输大数据文件大小为小于或等于分割阈值时不进行分割，将待传输大数据文件单独作为一个分割块文件；当待传输大数据文件大小为大于分割阈值时，分割为n个分割块文件，一个或多个文件分割块大小为分割阈值，分割块文件大小为小于分割阈值的文件为实际文件大小，其中,
进一步地，在步骤6中，所述大数据接收模块接收大数据文件分割信息，并按照大数据文件分割信息接收一个或多个文件分割块的方法为，大数据接收模块按照文件分割块顺序编号和各文件分割块数量依次接收各个分割块文件。
进一步地，在步骤7中，所述大数据组合模块将一个或多个文件分割块组合成原大数据文件的方法为，大数据组合模块按照文件分割块顺序编号、各文件分割块大小和各文件分割块数量将接收到的各个分割块文件依次按照编号顺序和数量、大小组合成为原大数据文件。
进一步地，在一个优选实施例中，接收端还包括接收端文件信息缓存模块，用于在分布式文件系统接收端程序为文件数据和文件元数据提供缓存空间以及缓存空间的管理。接收端文件信息缓存模块的输入是根据接收端程序的文件访问行为，决定在缓存空间内保留哪些文件数据和文件元数据，并且根据缓存空间和接收端文件访问行为的变化，依据既定的缓存替换策略，选定和替换文件数据和文件元数据信息。接收端文件信息缓存模块的输出是当接收端访问文件信息时，如果被访问文件信息刚好保留在缓存空间内时，缓存模块就直接给接收端提供相应信息，不必重新访问文件系统元数据服务器和存储设备。
本发明适合于分布式文件系统环境下的数据传输通路的控制和管理，其优点在于可以在分布式文件系统环境下实现依据应用负载自动选择适合的数据传输方式，有效提高文件访问性能。也就是说，对于大文件或大粒度的文件访问，本发明可以针对不同的网络环境，主动对当前的网络状况发测试包测试网络，以当前网络的实际信道容量作为阈值进行分割传输，提升了数据传输的安全性与稳定性，提高了网络传输效率，借助服务器内的高性能数据缓存直接返回数据内容，减少网络交互开销，提高文件访问性能。此外，本发明机制适合于分布式文件系统内部实现的自动机制，可以实现对应用程序透明的自动数据访问管理。
本发明还提供了一种大数据文件自适应单向传输装置，所述大数据文件自适应单向传输装置包括：发送端与接收端，所述发送端包括大数据传输模块、大数据接收模块、分割阈值获取模块、大数据分割模块，所述接收端包括大数据接收模块、大数据组合模块。
所述一种大数据文件自适应单向传输装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种大数据文件自适应单向传输装置可运行的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种大数据文件自适应单向传输装置的示例，并不构成对一种大数据文件自适应单向传输装置的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种大数据文件自适应单向传输装置还可以包括输入输出设备、网络接入设备、总线等。所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种大数据文件自适应单向传输装置运行装置的控制中心，利用各种接口和线路连接整个一种大数据文件自适应单向传输装置可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种大数据文件自适应单向传输装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。