数据传输方法、传输通道分配方法、计算设备及管理设备与流程

本技术涉及计算机，尤其涉及数据传输方法、传输通道分配方法、计算设备及管理设备。

背景技术：

1、随着科技的快速发展，从大数据到人工智能训练集群，以及面向高性能计算的集群的规模也逐步扩展。当集群中服务器的数量逐步增加时，服务器之间的数据传输的速度影响着集群的整体性能。

2、相关技术中，集群中的多个服务器之间通常通过服务器上安装的网卡进行数据传输。服务器之间通过网卡和传统的网络进行数据传输时，需要使用网络传输协议并进行协议转换，由于网络传输数据时网络带宽和网络传输速度有限，若传输的数据量较大，将存在数据传输速度慢，网络延迟高的问题，因此，通过网卡进行数据传输将限制集群的整体性能。

技术实现思路

1、本技术实施例提供了数据传输方法、传输通道分配方法、计算设备及管理设备，能够提高数据传输效率，提升集群的整体性能。

2、为实现上述技术目的，本技术实施例采用如下技术方案：

3、第一方面，本技术实施例提供了一种数据传输方法，应用与第一计算设备，方法包括：基于目标存储空间的第一存储块的元数据区域中记录的接收端标识，确定第一存储块的状态；其中，目标存储空间为第一计算设备和目标计算设备的目标传输通道，目标计算设备包括一个或多个目标计算设备，包括目标存储空间的cxl存储设备与第一计算设备和目标计算设备均通信连接；第一存储块包括数据区域，数据区域用于存储计算设备之间传输的数据块，第一存储块的状态包括可操作状态，或者，不可操作状态；在第一存储块的状态为可操作状态的情况下，将第一数据块写入第一存储块的数据区域中，并在第一存储块的元数据区域中记录第一计算设备的标识为发送端标识，目标计算设备的标识为接收端标识，以使得目标计算设备根据接收端标识从第一存储块读取第一数据块。

4、可以理解的是，该方法提供了一个数据传输通道，第一计算设备可以通过该传输通道与目标计算设备进行数据传输。该方法中，第一计算设备或目标计算设备可以灵活设置目标存储空间中每个存储块的数据传输方向，互相向对方传输数据，因此本技术实施例中目标传输通道为多向数据传输通道，可以实现双向数据传输，具有灵活性，能提高数据传输效率，提示集群性能。

5、在一种可能的实现方式中，若目标计算设备包括多个计算设备，则该目标传输通道可以实现一对多的数据传输，具有灵活性，能提高数据传输效率，提示集群性能。

6、在一种可能的实现方式中，第一存储块的元数据区域中记录的数据为第一存储块的元数据，基于目标存储空间的第一存储块的元数据区域中记录的发送端标识和接收端标识，确定第一存储块的状态，包括：获取第一存储块的元数据区域中记录的第一存储块的元数据；当第一存储块的元数据中没有接收端标识时，确定第一存储块的状态为可操作状态。

7、可以理解的是，由于第一计算设备在向存储块写入数据时，会在存储块的元数据中记录发送端标识(即第一计算设备的标识)和接收端标识(即目标计算设备的标识)，而目标计算设备在读取存储块中的数据后，会删除存储块的元数据中该目标计算设备的标识(即接收端标识)，因此若存储块的元数据中存在接收端的标识，表明该存储块已被写入数据，且还未被读取，若存储块的元数据中不存在接收端的标识，表明该存储块未被写入数据，或者被写入的数据已被读取，因此该方法通过存储块的元数据中是否有接收端标识可以快速确定该存储块的状态是否为可操作状态。

8、在另一种可能的实现方式中，目标存储空间包括头字段块和多个存储块，多个存储块包括第一存储块，头字段块用于记录目标存储空间的元数据，目标存储空间的元数据包括：多个存储块的存储容量；在第一存储块的状态为可操作状态的情况下，将第一数据块写入第一存储块的数据区域之前，方法还包括：从头字段块中获取多个存储块的存储容量；基于每个存储块的存储容量，将目标数据分为多个数据块；其中，多个数据块包括第一数据块，第一数据块需要的存储容量小于或等于第一存储块的存储容量。

9、可以理解的是，第一计算设备基于存储块的数量和存储容量，将需要传输的目标数据分为多个数据块，以便于将每个数据块写入每个存储块中，后续目标计算设备可以从每个存储块读取数据块，实现读操作和写操作的并行执行，提高数据传输效率。

10、在另一种可能的实现方式中，方法还包括：为第一数据块设置标识；在第一存储块为可操作状态的情况下，将第一数据块写入第一存储块的数据区域之后，方法还包括：在第一存储块的元数据区域中记录第一数据块的标识。

11、可以理解的是，若第一计算设备将目标数据分为多个数据块后，没有按照数据块的顺序写入目标存储空间，此时可以标识多个数据块，避免混淆数据块的先后顺序。目标计算设备也可以在读取了多个数据块后，基于每个数据块的标识，将多个数据块拼接成完整的目标数据。

12、在另一种可能的实现方式中，第一计算设备和目标计算设备均与管理单元连接，管理单元用于管理一个或多个cxl存储设备的存储空间，基于目标存储空间的第一存储块的元数据区域中记录的发送端标识和接收端标识，确定第一存储块的状态之前，方法还包括：从管理单元获取目标传输通道的信息；目标传输通道的信息包括：第一计算设备的标识、目标计算设备的标识、目标传输通道的标识、目标存储空间的地址和目标存储空间的容量。

13、可以理解的是，管理单元用于管理cxl存储设备的存储空间，通过从管理单元获取的目标传输通道，可以获取到专属的数据传输通道，该传输通道具有传输速度快、带宽高和延迟低的优点，因此使用该传输通道能够提高数据传输效率。

14、第二方面，本技术实施例提供了一种数据传输方法，应用于目标计算设备，方法包括：基于目标存储空间的第一存储块的元数据区域中记录的接收端标识，确定第一存储块的状态；其中，目标存储空间为分配给第一计算设备和目标计算设备的目标传输通道，包括目标存储空间的cxl存储设备与第一计算设备和目标计算设备均通信连接；第一存储块包括数据区域，数据区域用于存储计算设备之间传输的数据块，第一存储块的状态包括可操作状态，或者，不可操作状态；在第一存储块的状态为可操作状态的情况下，读取第一存储块的数据区域中的第一数据块，并删除第一存储块的元数据区域中接收端标识处记录的目标计算设备的标识。

15、可以理解的是，目标计算设备从目标传输通道中的第一存储块获取第一计算设备发送的第一数据块，以此实现与第一计算设备的数据传输。该方法不需要经过网络来传输数据，具有传输速度快、带宽高和延迟低的优点，另外，该方法也不需要较高配置的网卡和交换机，因此，本技术实施例提出的方法能够降低硬件配置成本。

16、在一种可能的实现方式中，第一存储块的元数据区域中记录的数据为第一存储块的元数据，基于目标存储空间的第一存储块的元数据区域中记录的发送端标识和接收端标识，确定第一存储块的状态，包括：获取第一存储块的元数据区域中记录的第一存储块的元数据；当第一存储块的元数据中接收端标识处记录有目标计算设备的标识时，目标计算设备确定第一存储块的状态为可操作状态。

17、可以理解的是，由于第一计算设备在向存储块写入数据时，会在存储块的元数据中记录发送端标识(即第一计算设备的标识)和接收端标识(即目标计算设备的标识)，而目标计算设备在读取存储块中的数据后，会删除存储块的元数据中该目标计算设备的标识(即接收端标识)，因此若元数据中存在接收端的标识，表明该存储块已被写入数据，且还未被读取，若元数据中不存在接收端的标识，表明该存储块未被写入数据，或者被写入的数据已被读取，因此该方法通过元数据中是否有接收端标识可以快速确定该存储块是否为可操作状态。

18、在另一种可能的实现方式中，第一存储块的元数据区域中记录有第一数据块的标识，方法还包括：在从第一存储块的数据区域中读取第一数据块时，对应从第一存储块的元数据区域中获取第一数据块的标识。

19、可以理解的是，由于目标数据包括多个数据块，第一数据块为多个数据块中任意一个数据块，目标计算设备获取数据块时，对应获取数据块的标识，可以在获取所有目标数据的多个数据块后，基于多个数据块的标识，将多个数据块拼接成完整的目标数据。

20、在另一种可能的实现方式中，方法还包括：在获取到目标数据的多个数据块和多个数据块的标识后，基于每个数据块的标识，将多个数据块拼接为目标数据。

21、可以理解的是，目标计算设备获取到的多个数据块的顺序有先后，为了避免获取正确顺序的目标数据，可以基于每个数据块的标识拼接多个数据块。

22、在另一种可能的实现方式中，第一计算设备和目标计算设备均与管理单元连接，管理单元用于管理一个或多个cxl存储设备的存储空间，基于目标存储空间的第一存储块的元数据区域中记录的发送端标识和接收端标识，确定第一存储块的状态之前，方法还包括：从管理单元获取目标传输通道的信息；目标传输通道的信息包括：第一计算设备的标识、目标计算设备的标识、目标传输通道的标识、目标存储空间的地址和目标存储空间的容量。

23、可以理解的是，管理单元用于管理cxl存储设备的存储空间，通过从管理单元获取的目标传输通道，可以获取到专属的数据传输通道，该传输通道具有传输速度快、带宽高和延迟低的优点，因此使用该传输通道能够提高数据传输效率。

24、第三方面，本技术实施例提供了一种传输通道分配方法，应用于管理单元，管理单元与第一计算设备和目标计算设备均连接，目标计算设备包括一个或多个目标计算设备，管理单元用于管理一个或多个cxl存储设备的cxl存储空间，方法包括：基于第一计算设备和目标计算设备之间的数据传输需求，为第一计算设备和目标计算设备分配cxl存储空间中的目标存储空间；目标存储空间所属的cxl存储设备与第一计算设备和目标计算设备均连接，目标存储空间用作第一计算设备和目标计算设备之间进行数据传输的目标传输通道；将目标存储空间分为头字段块和存储块；其中，头字段块用于记录目标存储空间的元数据，目标存储空间的元数据包括：目标传输通道的标识、目标存储空间的存储容量和存储块的存储容量；存储块包括元数据区域和数据区域，每个存储块中的元数据区域用于记录每个存储块对应的元数据，每个存储块对应的元数据包括：发送端标识，接收端标识，数据块的标识；数据区域用于储存计算设备之间传输的目标数据中的至少部分数据块；向第一计算设备和目标计算设备发送目标传输通道的信息；目标传输通道的信息包括：第一计算设备的标识、目标计算设备的标识、目标传输通道的标识、目标存储空间的地址和目标存储空间的容量。

25、可以理解的是，本技术实施例中管理单元提出的传输通道分配方法中，管理单元所划分的目标存储空间中没有设置发送端和接收端，这表明目标存储空间的传输方向不固定，第一计算设备或目标计算设备在获取了目标传输通道后，可以基于各自的数据传输需求，互相向对方传输数据；另外，若目标计算设备包括多个计算设备，第一计算设备可以通过目标传输通道，同时向多个计算设备传输数据；因此，本技术实施例中目标传输通道可以作为双向数据传输通道，也可以作为一对多的数据传输通道，实现数据的多向传输，提高数据传输效率。

26、在另一种可能的实现方式中，存储块的数量为多个，多个存储块用于使得第一计算设备基于多个存储块的存储容量将目标数据分为多个数据块。

27、可以理解的是，管理单元将目标存储空间分为多个存储块，后续第一计算设备与目标计算设备可实现读操作和写操作的并行执行，提高读写的效率。

28、第四方面，本技术实施例提供一种计算设备，其中，计算设备应用于第一方面或第一方面中任一种可能的实现方式的数据传输方法的各个模块；或者，计算设备应用于第二方面或第二方面中任一种可能的实现方式的数据传输方法的各个模块。

29、第五方面，本技术实施例提供一种管理设备，其中，管理设备应用于第三方面或第三方面中任一种可能的实现方式的传输通道分配方法的各个模块。

30、第六方面，本技术实施例提供一种计算设备，包括存储器和处理器。存储器和处理器耦合；存储器用于存储计算机程序代码，计算机程序代码包括计算机指令。当处理器执行该计算机指令时，使得该计算设备执行如第一方面及其任一种可能的实现方式的数据传输方法；或者，当处理器执行该计算机指令时，使得该计算设备执行如第二方面及其任一种可能的实现方式的数据传输方法。

31、第七方面，本技术实施例提供一种管理设备，包括处理器。处理器和存储器耦合；存储器用于存储计算机程序代码，计算机程序代码包括计算机指令。当处理器执行该计算机指令时，使得该计算设备执行如第三方面及其任一种可能的实现方式的数据传输方法。

32、第八方面，本技术实施例提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令。其中，当计算机指令在计算设备上运行时，使得该计算设备执行如第一方面及其任一种可能的实现方式的数据传输方法；或者，当计算机指令在计算设备上运行时，使得该计算设备执行如第二方面及其任一种可能的实现方式的数据传输方法；或者，当计算机指令在管理设备上运行时，使得该管理设备执行如第三方面及其任一种可能的实现方式的传输通道分配方法。

33、第九方面，本技术实施例提供一种计算机程序产品，该计算机程序产品包括计算机指令。其中，当计算机指令在计算设备上运行时，使得该计算设备执行如第一方面及其任一种可能的实现方式的数据传输方法；或者，当计算机指令在计算设备上运行时，使得该计算设备执行如第二方面及其任一种可能的实现方式的数据传输方法；或者，当计算机指令在管理设备上运行时，使得该管理设备执行如第三方面及其任一种可能的实现方式的传输通道分配方法。

34、本技术实施例中第四方面到第九方面及其各种实现方式的具体描述，可以参考第一方面、第二方面或第三方面及其各种实现方式中的详细描述；并且，第四方面到第九方面及其各种实现方式的有益效果，可以参考第一方面、第二方面或第三方面及其各种实现方式中的有益效果分析，此处不再赘述。

35、本技术实施例的这些方面或其他方面在以下的描述中会更加简明易懂。