动态网络模型构建方法、装置、设备及存储介质与流程

本技术涉及机器学习，具体而言，涉及一种动态网络模型构建方法、装置、设备及存储介质。

背景技术：

1、人工神经网络也简称为神经网络或称作连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。模型量化是压缩模型体量、提升模型速度的常用方法，在量化后，模型中原本的浮点数被映射为离散的低比特整数，存储成本大幅降低、推理速度显著提升。动态神经网络也是一种提升模型推理速度的技术方案，通过让不同的样本在网络上对应不同的推理成本，相较于常规的静态网络，动态网络能够在几乎不牺牲模型推理精度的前提下，显著降低模型的平均推理成本。

2、目前，网络量化技术和动态神经网络技术的研究和应用相对独立，尚未出现有效的方法将两者有机结合起来，现有结合的方式常使得整个网络被量化到同一个比特位宽，因此，神经网络无法同时从量化和动态网络技术中受益，使得网络模型的推理效率大大降低。

技术实现思路

1、有鉴于此，本技术实施例的目的在于提供一种动态网络模型构建方法、装置、设备及存储介质，通过将神经网络模型划分成多个可独立输出推理结果的预测阶段，并将这些预测阶段分别量化到不同的比特位宽，且越靠后的预测阶段具有更高的比特位宽，具体的比特位宽设置可以根据实际需要灵活设置，从而节省了计算量，降低了简单样本的推断成本，提高了对困难样本的推断精度，从而解决了上述“无法同时从量化和动态网络技术中受益，使得网络模型的推理效率大大降低”的技术问题。

2、第一方面，本技术实施例提供一种动态网络模型构建方法，所述方法包括：将预设神经网络划分为多个预测阶段；其中，所述多个预测阶段均可独立地输出推理结果；对所述预测阶段中的神经网络层进行量化，获得动态神经网络；其中，所述动态神经网络包括：多个不同比特位宽的预测阶段；对所述动态神经网络进行训练，获得目标动态网络模型。

3、在上述实现过程中，通过将预设神经网络模型划分成多个可独立输出推理结果的预测阶段，并将这些预测阶段分别量化到不同的比特位宽，具体的比特位宽设置可以根据实际需要灵活设置，节省了计算量，降低了简单样本的推断成本，提高了对困难样本的推断精度；结合量化技术和动态网络技术两者的优势，能够同时从量化和动态网络技术中受益，提升了目标动态网络模型的性能。

4、可选地，所述将预设神经网络划分为多个预测阶段，包括：基于预设神经网络的给定拓扑结构，将所述预设神经网络依次划分为多个可独立地输出推理结果的预测阶段；其中，所述多个预测阶段中的前一个预测阶段的特征输出为后一个预测阶段的特征输入。

5、在上述实现过程中，通过基于给定拓扑结构将预设神经网络依次划分为多个可独立地输出推理结果的预测阶段，使得在推理时，每个预测阶段结束时都会输出对于目标问题的预测结果，方便后续将不同的预测阶段进行量化，量化到不同的比特位宽使得能够更好地同时处理简单样本、困难样本，降低了网络存储成本，提升了模型的性能。

6、可选地，所述预测阶段包括：前预测阶段、中间预测阶段和后预测阶段；所述前预测阶段的特征输出为所述中间预测阶段的特征输入，所述中间预测阶段的特征输出为所述后预测阶段的特征输入。

7、在上述实现过程中，预设神经网络可以被划分两个以上任意数量的预测阶段。但是，如果划分的预测阶段过多，结果准确但推理速度慢；如果划分的预测阶段过少，推理速度快但结果不够准确；将神经网络划分为三个级联的预测阶段，可同时提升推理速度和结果的准确率。

8、可选地，所述对所述预测阶段中的神经网络层进行量化，获得动态神经网络，包括：对所述前预测阶段、中间预测阶段和后预测阶段中可量化的神经网络层添加量化器进行量化，获得多个不同比特位宽的预测阶段；其中，所述前预测阶段被赋予低比特位宽、所述中间预测阶段被赋予较高比特位宽和所述后预测阶段被赋予高比特位宽；根据所述多个不同比特位宽的预测阶段，确定动态神经网络。

9、在上述实现过程中，通过在网络训练时就对参数和特征进行量化，将靠前的预测阶段量化到较低的比特位宽数，在动态网络的基础上进一步降低了简单样本的推断成本；将靠后的预测阶段量化到较高的比特位宽数，确保了对困难样本的推断精度。在动态网络的基础上进一步通过低比特量化显著降低了简单样本推理时所需要的计算成本，从而降低整个网络的期望推理成本，降低了网络的存储成本。

10、可选地，所述对所述动态神经网络进行训练，获得目标动态网络模型之后，还包括：基于目标动态网络模型对目标任务进行推理，获得目标推理结果。

11、在上述实现过程中，通过使用量化为不同比特位宽的多个预测阶段的目标动态网络模型进行推理，可输出多个预测结果，可任意选择其一作为目标推理结果，提高了目标推理结果的准确性和适用性，不同的输入样本在网络上可对应不同的推理成本，能够同时处理简单样本、困难样本，提升了推理性能。

12、可选地，所述基于目标动态网络模型对目标任务进行推理，获得目标推理结果，包括：获取所述前预测阶段、中间预测阶段和后预测阶段对所述目标任务的推理结果；其中，所述推理结果包括：前预测结果、中间预测结果、后预测结果；将所述推理结果的置信度与预设阈值进行比对；根据比对结果，将所述前预测结果、中间预测结果、后预测结果中的一个预测结果确定为目标推理结果。

13、在上述实现过程中，通过使用量化为不同比特位宽的三个预测阶段的目标动态网络模型进行推理，可对应输出三个预测结果，可根据置信度与预设阈值任意选择其一作为目标推理结果，提高了目标推理结果的准确性和适用性，不同的输入样本在网络上可对应不同的推理成本，能够同时处理简单样本、困难样本，提升了推理性能。

14、可选地，所述根据比对结果，将所述前预测结果、中间预测结果、后预测结果中的一个预测结果确定为目标推理结果，包括：若前预测结果的置信度超过所述预设阈值，将所述前预测结果作为目标推理结果；若前预测结果的置信度未超过所述预设阈值、且中间预测结果的置信度超过所述预设阈值，将所述中间预测结果作为目标推理结果；若前预测结果的置信度未超过所述预设阈值、且中间预测结果的置信度未超过所述预设阈值，将所述后预测结果作为目标推理结果。

15、在上述实现过程中，当某个预测阶段输出的结果的置信度已经超过阈值时，网络会直接将该中间结果作为最终结果输出，并跳过之后的预测阶段。通过这种推理方式，网络在处理简单样本时只需要动用靠前的预测阶段即可输出较准确的推理结果，降低了推理成本；在处理困难样本时可动用全部预测阶段输出较准确的推理结果，从而确保了处理精度。

16、第二方面，本技术实施例提供了一种动态网络模型构建装置，所述装置包括：划分模块，用于将预设神经网络划分为多个预测阶段；其中，所述多个预测阶段均可独立地输出推理结果；量化模块，用于对所述预测阶段中的神经网络层进行量化，获得动态神经网络；其中，所述动态神经网络包括：多个不同比特位宽的预测阶段；训练模型模块，用于对所述动态神经网络进行训练，获得目标动态网络模型。

17、第三方面，本技术实施例还提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行上述的方法的步骤。

18、第四方面，本技术实施例提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

19、为使本技术的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。