数据推理方法、装置、设备及存储介质

本技术涉及计算机，尤其涉及一种数据推理方法、装置、设备及存储介质。

背景技术：

1、近年来，以transformer结构为基础的神经网络模型发展迅速，并且在很多自然语言任务上都取得了显著的效果，与此同时，模型参数也有了数量级的飞跃。随着模型尺寸越来越大，模型推理和部署面临着极大挑战，模型难以在单个设备完成推理，这一现象引起了学术界和工业界对模型推理中并行性的关注和研究。

2、现有的主流并行技术包括数据并行、流水线并行和模型并行。数据并行是在早期分布式训练中广泛使用的方法，它将输入数据进行切分后发送给不同设备进行计算，每个设备都装载有完整模型。数据并行可以提高应用程序的吞吐量，但无法降低端到端推理延迟，因此不适合实时应用程序模型部署，并且对单个推理设备提出了较大内存挑战。流水线并行将模型切成若干个连续的层，每个设备只需要装载模型的部分层，能够有效缓解内存压力。然而，这种方法会产生流水线气泡，造成设备资源利用率较低，并且单个推理请求在各个分布式推理设备之间形成流水线，无法利用多设备的并行性。

3、相比之下，模型并行是实现分布式推理最合适的方法，它将模型的某个或某些层切分成多个部分，不同部分分发到各个设备上并行计算。在模型并行下，每个设备只需要装载一部分模型，能够有效缓解模型尺寸带来的压力。其中，模型并行又包括张量并行和序列并行，张量并行直接切分模型权重，但由于当前网络的紧耦合结构，直接划分权重后，并行时需要大量通信来消除各部分间的数据依赖、聚合各部分的输出结果，尤其在弱互连条件下会产生高昂的通信开销，导致分布式推理效果差，加速能力有限。而序列并行沿着句长维度切分输入的序列，能够有效突破推理对于句长的限制，但在每一层的注意力计算部分，仍然存在设备间的频繁通信。总之，在分布式推理场景中常用的模型并行方法中，设备间频繁的通信往往会成为性能瓶颈，需要有效的方法降低模型并行中的通信开销，以提升分布式推理性能。

技术实现思路

1、本技术的主要目的在于提供一种数据推理方法、装置、设备及存储介质，旨在解决分布式推理的通信瓶颈的问题。

2、为实现上述目的，本技术提供一种数据推理方法，所述数据推理方法包括以下步骤：

3、获取待推理数据；

4、通过预先获得的数据推理模型，根据所述待推理数据进行模型并行推理，得到数据推理结果，所述数据推理模型通过对预设的原始推理模型进行解耦获得。

5、可选地，所述通过预先获得的数据推理模型，根据所述待推理数据进行模型并行推理，得到数据推理结果的步骤之前包括：

6、基于预设的模型结构解耦算法，对所述原始推理模型进行解耦，得到解耦推理模型；

7、根据预先获取的训练数据，对所述解耦推理模型进行模型训练，得到权重解耦推理模型；

8、基于预设的模型自适应放置算法，将所述权重解耦推理模型放置进预设的集群中，得到所述数据推理模型。

9、可选地，所述基于预设的模型结构解耦算法，对所述原始推理模型进行解耦，得到解耦推理模型的步骤包括：

10、基于所述模型结构解耦算法，对所述原始推理模型中的原始层进行解耦，得到解耦层；

11、根据所述原始层和解耦层进行模型构建，得到所述解耦推理模型。

12、可选地，所述基于预设的模型自适应放置算法，将所述权重解耦推理模型放置进预设的集群中，得到所述数据推理模型的步骤包括：

13、对所述权重解耦推理模型进行离线性能分析，得到模型性能分析结果；

14、根据所述模型性能分析结果，获得模型放置计划；

15、基于所述模型自适应放置算法，根据所述模型放置计划，将所述权重解耦推理模型放置进预设的集群中，得到所述数据推理模型。

16、可选地，所述对所述权重解耦推理模型进行离线性能分析，得到模型性能分析结果的步骤包括：

17、获取模型性能分析指令和标准测试数据；

18、将所述标准测试数据输入所述权重解耦推理模型；

19、通过所述模型性能分析指令，根据所述标准测试数据对所述权重解耦推理模型进行测试，得到通信时间数据和计算时间数据；

20、根据所述通信时间数据和计算时间数据进行模型性能分析，得到所述模型性能分析结果。

21、可选地，所述基于所述模型自适应放置算法，根据所述模型放置计划，将所述权重解耦推理模型放置进预设的集群中，得到所述数据推理模型的步骤包括：

22、基于所述模型自适应放置算法中的解耦层放置算法，将所述权重解耦推理模型中的解耦层均匀放置在所述集群的运算设备中，获得第一解耦层；

23、基于所述模型自适应放置算法中的原始层放置算法，根据所述模型放置计划，将所述权重解耦推理模型中的原始层放置在所述集群中，获得第一原始层；

24、根据所述第一原始层和第一解耦层，得到所述数据推理模型。

25、可选地，所述基于所述模型自适应放置算法中的原始层放置算法，根据所述模型放置计划，将所述权重解耦推理模型中的原始层放置在所述集群中，获得第一原始层的步骤包括：

26、根据预先获取的集群内存容量数据、集群网络带宽数据和所述模型放置计划，获得原始层放置策略；

27、基于所述原始层放置算法，根据所述原始层放置策略，将所述权重解耦推理模型中的原始层放置在所述集群中，获得所述第一原始层。

28、此外，为实现上述目的，本技术还提供一种数据推理装置，所述数据推理装置包括：

29、数据获取模块，用于获取待推理数据；

30、数据推理模块，用于通过预先获得的数据推理模型，根据所述待推理数据进行模型并行推理，得到数据推理结果，所述数据推理模型通过对预设的原始推理模型进行解耦获得。

31、本技术实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据推理程序，所述数据推理程序被所述处理器执行时实现如上所述的数据推理方法的步骤。

32、本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据推理程序，所述数据推理程序被处理器执行时实现如上所述的数据推理方法的步骤。

33、本技术实施例提出的一种数据推理方法、装置、设备及存储介质，通过获取待推理数据；通过预先获得的数据推理模型，根据所述待推理数据进行模型并行推理，得到数据推理结果，所述数据推理模型通过对预设的原始推理模型进行解耦获得。通过对原始推理模型进行解耦得到的数据推理模型，优化了模型并行，降低了推理延迟。由此，实现了对数据的分布式推理，解决了现有技术中分布式推理的通信瓶颈的技术问题。相较于现有技术，能够有效降低模型并行中的通信开销，提升分布式推理性能。

34、以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。