一种多通道数据传输及虚拟还原方法与流程

本发明属于计算机通信技术领域，具体涉及一种多通道数据传输及虚拟还原方法。

背景技术：

伴随大数据概念的出现，数据信息传输速度慢的问题也日益突出，受到人们的广泛关注。传统提升数据传输速度的方法主要是通过缓存机制、异步传输、和物理接口最优化。但随着计算机以及网络技术的不断发展,数据信息存储需求量越来越大,各类数据信息转储频度不断提升,对数据传输速度的要求也不断提高,传统的传输方法已无法满足其要求，物理接口已经成为数据传输的最大瓶颈。

一般的电脑主机上都会有多个物理数据传输接口，但是通过单个物理数据传输接口进行数据传输的时间长，速度有限，若能将多个物理数据传输接口都利用起来，使得各个物理数据传输接口能够并行进行数据传输，就可以使得数据传输的速度达到各个传输接口的传输速度之和。参考专利文献CN102063399B公开了一种多通道数据传输方法，主机配置的至少两个通用串行总线USB 接口分别连接到至少两个USB 数据板，该至少两个USB数据板连接到一个处理设备。该专利使用多个同一类型的传输接口传输数据，但设备上还有其他类型的数据传输接口，例如1394接口、外部串行高级技术附件eSATA接口都处于空闲状态，并没有被充分利用起来。

但是使用上述传输存储方法会造成数据的分散存放，若需要对数据进行操作，还需要进行额外的数据转储，再把数据还原在一起。不仅花费时间，而且占用计算机大量的内存，造成了资源的浪费。

技术实现要素：

针对现有的多通道数据传输过后存在的不足之处，本发明提出了一种多通道数据传输及虚拟还原方法。该方法能充分同时利用各种数据传输通道，打破传统数据传输方式速度限制，有效提高传输效率，并通过将分散的数据块还原为完整的虚拟磁盘，可直接查看分析数据内容。

本发明采用如下技术手段：

一种多通道数据传输及虚拟还原方法，它包括以下步骤，

S1，获取源数据的属性信息，并将源数据分割成多个数据块，获取数据块的位置信息；

S2，采用优化调度策略为数据块分配物理数据传输接口，数据块经过至少两个物理数据传输接口而被传输至目标路径；

S3，将分散在目标路径上的数据块映射成虚拟磁盘，还原数据。

进一步的，步骤S2中的优化调度策略为优先选择传输速率更快的物理数据传输接口。

进一步的，步骤S3包括以下具体步骤，

S310，设置虚拟磁盘，并获取源数据的属性信息和源数据的分割信息；

S311，虚拟磁盘采用与源数据同样的方式分割成多个虚拟块，虚拟块与数据块一一对应；

S312，解析目标路径上数据块的位置信息，建立虚拟块与目标路径上数据块的一一映射关系，还原数据。

进一步的，步骤S1中的源数据为本地数据、远程数据或虚拟数据。

进一步的，步骤S1中源数据的属性信息包含数据标识、数据大小和数据校验码。

进一步的，步骤S2中的物理数据传输接口包括USB接口、1394接口、外部串行高级技术附件eSATA接口、网卡接口NIC或雷电接口的一种或多种组合。

更进一步的，步骤S2中的目标路径为本地存储、远程存储或虚拟存储。

本发明相对于现有技术，通过本发明提供的多通道数据传输及虚拟还原方法，可以实现通过多个物理数据传输接口同时将源数据传输到目标路径时，数据传输的速度都可以达到各个物理数据传输接口的传输速度总和，从而有效提升数据传输的速度，同时无需对目标路径的数据块进行转储，通过将数据块还原为虚拟磁盘，即可直接查看及分析源数据内容。

附图说明

图1是多通道数据传输及虚拟还原方法的结构图；

图2是多通道数据传输流程图；

图3是数据虚拟还原的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

参阅图1至图3所示，本发明提出了一种多通道数据传输及虚拟还原方法，它包括以下步骤：

S1，获取源数据的属性信息，并将源数据分割成多个数据块，获取数据块的位置信息。

源数据包括：本地数据、远程数据、虚拟数据等所有二进制数据或文本数据。其中，源数据的属性信息包含数据标识、数据大小和数据校验码等信息。然后根据需要将源数据均等分割成多个数据块，本领域的技术人员可知，将源数据分割成多个数据块的方法有多种，可均分，也可不均分，也可依据数据的类型进行分割。分割后，获取每个数据块在源数据中的位置信息，以供在后期将数据块还原成源数据时，每个数据块仍回到原始的位置。

S2，采用优化调度策略为数据块分配物理数据传输接口，数据块经过至少两个物理数据传输接口而被传输至目标路径。

参阅图2所示，为多通道数据传输流程图。在为各个数据块选择物理数据传输接口时，可以是随机选择的，使得数据块可以通过不同的物理数据传输接口传输到目标路径上。当然，为了使得传输效率最大化，在为数据块选择物理数据传输接口时，还可以采用一定的优化调度策略。为数据块优先选择传输速率更快的物理数据传输接口。

例如，可以预先设计数据并发传输极限速率算法，当需要为某一数据块选择物理数据传输接口时，可以首先获取物理数据传输接口的实际相关参数，然后带入到算法，计算出当前可以选择的物理数据传输接口，实现最佳的调度。在此过程中，考虑到各个物理数据输入输出接口的特性，将不同类型物理数据输出接口的不同规格参数进行智能化识别，构建能够适应当前所有可能存在的物理数据传输接口，并自适应各接口数据输出速率，以达到多接口，多方式组合数据存储与传输的目的。具体包括：(1)解析数据块存储结构；(2)解析各个物理数据输出设备接口数据输出技术参数；(3)统筹物理数据总线与各物理数据传输接口通道数据流无闲置数据传输；(4)协调数据块快速读取与分布式多通道扇区级极速写入；(5)异步缓存还原技术。通过以上处理，能够根据数据块存储结构，各物理数据传输接口参数，实时协调数据传输时序，分布式转储数据，异步还原数据，从而达到高效率数据转储。

本发明还可以对数据传输实施动态实时调节，对各物理数据传输接口与传输进程进行全面综合控制，以通道配对中的瓶颈传输速率进行极限式数据传输，发挥转储的最大时间效益。为此，具体可以进行以下操作：若源数据固化在硬盘或目标路径位置为物理硬盘，则对所涉硬盘的数据存储分区逻辑结构、接口、机械参数等特征数据，分区数据存储进行解析，生成智能化极速数据集中读取与分布式写入策略，基于数据集中读取与分散写入策略，对硬盘实施分区分场分通道传输。

通过上述方法，本领域的技术人员可以清楚了解到本发明可以借助软件加必须的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术作出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM，磁碟，光盘等，包括若干指令用以使得一台计算机设备执行本发明某些部分的方法。

本领域技术人员可知，物理数据传输接口可以包括但不限于USB接口,1394接口,eSATA接口,NIC接口及雷电接口等一系列数据传输接口。其中USB接口包括USB1.1，USB2.0，USB3.0接口；1394接口包括1394A与1394B接口；eSATA接口包括eSATA1与eSATA2接口，NIC网络接口包括10Mbps网卡，100Mbps以太网卡，10Mbps/100Mbps自适应网卡，1000Mbps千兆以太网卡以及最新出现的10000Mbsp万兆网卡接口，以及不同的通信传输协议，如：TCP/IP等通信协议，等等。

S3，将分散在目标路径上的数据块映射成虚拟磁盘，还原数据。

参阅图3所示，为数据虚拟还原的流程图，步骤S3包括以下详细步骤：

S310，设置虚拟磁盘，并获取源数据的属性信息和源数据的分割信息；

S311，虚拟磁盘采用与源数据同样的方式分割成多个虚拟块，虚拟块与数据块一一对应；

S312，解析目标路径上数据块的位置信息，建立虚拟块与目标路径上数据块的一一映射关系，还原数据。

本发明无需对数据块进行再次转储，通过对数据块的位置信息进行解析，可将数据块直接映射为虚拟磁盘。其中，虚拟磁盘与源数据的内容一致，对虚拟磁盘进行数据操作时，不会影响到数据块的内容，同时可以直接使用操作源数据的方式操作虚拟磁盘。

其中，对虚拟磁盘的数据操作，会通过操作系统调用操作函数，操作函数会对数据块的位置信息进行解析，用于提供对应的数据内容。操作函数包括但不限于打开函数、读取函数、写入函数、偏移函数，关闭函数。操作函数会事先向操作系统进行注册，当对虚拟磁盘进行操作时，操作系统会自动调用对应的函数，操作函数会去处理查找数据块，并通过解析数据块的位置信息，可得知数据块的数据内容是否是所需返回的数据。例如，当需要读取虚拟磁盘第一个扇区的数据，操作系统会调用偏移函数，偏移函数对数据块的位置信息进行解析，可得到其对应的位置信息，通过位置信息可定位到第一个扇区所在的数据块，当偏移函数返回时，操作系统会继续调用读取函数，读取函数会直接返回定位到的数据块的第一个扇区数据。通过以上无需转储的，可直接映射为虚拟磁盘的方式，极大提升了数据处理效率，同时也摒除了转储过程中可能导致数据破坏的问题。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。