一种图像生成方法、装置、设备及介质与流程

本发明涉及图像生成，特别涉及一种图像生成方法、装置、设备及介质。

背景技术：

1、目前，利用扩散模型并基于文本信息生成图像已经成为一种常见的图像生成方式，在利用扩散模型生成图像的方案中，需要利用文本编码器把人类输入的文字串转换成机器能理解的数字信息，也即计算机能理解的某种数学表示，作为后续图片生成器的一个控制输入，进而生成图像，在整个过程中运算量是较大，同时扩散模型的采样速度比较慢，影响了模型推理速度，导致图像的生成效率较低。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种图像生成方法、装置、设备及介质，能够提升模型推理速度，进而提升图像的生成效率。其具体方案如下：

2、第一方面，本发明公开了一种图像生成方法，包括：

3、将第一输入数据输入至目标扩散模型进行推理，并在推理过程中获取每次迭代的输出结果；所述第一输入数据包括第一噪声和第一文本信息；

4、基于相邻两次迭代的输出结果计算散度，得到散度序列；

5、对所述散度序列进行分组以得到散度组，并依次对每个散度组对应的推理阶段中的目标扩散模型进行参数量化；所述推理阶段为散度组中各散度对应的迭代次数所对应的推理阶段；

6、基于第二输入数据以及参数量化后的目标扩散模型生成图像；所述第二输入数据包括第二噪声和第二文本信息。

7、可选的，所述基于相邻两次迭代的输出结果计算散度，包括：

8、基于散度系数以及相邻两次迭代的输出结果计算散度；其中，所述散度系数随着迭代次数的演进而降低。

9、可选的，所述基于散度系数以及相邻两次迭代的输出结果计算散度，包括：

10、基于迭代次数和自然指数确定散度系数；

11、基于散度系数以及相邻两次迭代的输出结果计算散度。

12、可选的，所述基于相邻两次迭代的输出结果计算散度，包括：

13、基于预设散度计算公式以及相邻两次迭代的输出结果计算散度；预设散度计算公式为：

14、；

15、其中，dl表示散度，t表示当前的迭代次数，p（x）表示上一次迭代的输出结果，q（x）表示t次迭代的输出结果，1/et表示t次迭代的散度系数。

16、可选的，对所述散度序列进行分组以得到散度组，包括：

17、基于自然裂点法确定所述散度序列的自然裂点；

18、基于所述自然裂点对所述散度序列进行分组以得到散度组。

19、可选的，所述依次对每个散度组对应的推理阶段中的目标扩散模型进行参数量化，包括：

20、基于不同的预设量化策略依次对每个散度组对应的推理阶段中的目标扩散模型进行参数量化。

21、可选的，所述对所述散度序列进行分组以得到散度组，包括：

22、对所述散度序列进行分组，得到三个散度组；

23、其中，第一散度组包括t至n次迭代对应的散度，第二散度组包括n-1到m次迭代对应的散度，第三散度组包括m-1至1次迭代的散度，其中，t大于n大于m。

24、可选的，所述基于不同的预设量化策略依次对每个散度组对应的推理阶段中的目标扩散模型进行参数量化，包括：

25、基于第一量化策略对第一散度组对应的推理阶段中的目标扩散模型进行参数量化；

26、基于第二量化策略对第二散度组对应的推理阶段中的目标扩散模型进行参数量化；

27、基于第三量化策略对第三散度组对应的推理阶段中的目标扩散模型进行参数量化。

28、可选的，所述第一量化策略、所述第二量化策略以及所述第三量化策略对应的精度依次递增。

29、可选的，所述第一量化策略将模型参数量化为4至8比特表示指数、0至4比特表示小数的数据。

30、可选的，所述第二量化策略将模型参数量化为8比特表示指数、4至7比特表示小数的数据。

31、可选的，所述第三量化策略将模型参数量化为8比特表示指数、7至23比特表示小数的数据。

32、可选的，在所述将第一输入数据输入至目标扩散模型进行推理之前，还包括：

33、生成均匀分布的噪声，得到第一噪声；

34、获取第一文本信息，并将所述第一文本信息和所述第一噪声确定为第一输入数据。

35、可选的，将第一输入数据输入至目标扩散模型进行推理，并在推理过程中获取每次迭代的输出结果，包括：

36、将第一输入数据多次输入至目标扩散模型进行推理，并在每次推理过程中获取每次迭代的输出结果。

37、可选的，所述基于相邻两次迭代的输出结果计算散度，得到散度序列，包括：

38、计算多次推理过程中每次迭代的输出结果均值；

39、基于相邻两次迭代的输出结果均值计算散度，得到散度序列。

40、可选的，目标扩散模型进行预推理的过程，包括：

41、对所述第一噪声编码以得到查询矩阵，对所述第一文本信息编码以得到键矩阵和值矩阵；

42、基于预设多头注意力机制以及所述查询矩阵、所述键矩阵、所述值矩阵确定注意力，

43、基于所述注意力以及u型网络模型进行去噪，得到潜变量，作为本次迭代的输出结果。

44、可选的，目标扩散模型中注意力计算公式为：

45、；

46、其中，a表示注意力，q表示查询矩阵，k表示键矩阵，v表示值矩阵，δ表示离散余弦相似函数，h表示头数量，d表示张量的总维数，t表示转置。

47、可选的，h为d的1/2。

48、可选的，目标扩散模型为稳定扩散模型。

49、第二方面，本发明公开了一种图像生成装置，包括：

50、推理模块，用于将第一输入数据输入至目标扩散模型进行推理，并在推理过程中获取每次迭代的输出结果；所述第一输入数据包括第一噪声和第一文本信息；

51、散度计算模块，用于基于相邻两次迭代的输出结果计算散度，得到散度序列；

52、散度分组模块，用于对所述散度序列进行分组以得到散度组；

53、参数量化模块，用于依次对每个散度组对应的推理阶段中的目标扩散模型进行参数量化；所述推理阶段为散度组中各散度对应的迭代次数所对应的推理阶段；

54、图像生成模块，用于基于第二输入数据以及参数量化后的目标扩散模型生成图像；所述第二输入数据包括第二噪声和第二文本信息。

55、第三方面，本发明公开了一种电子设备，包括存储器和处理器，其中：

56、所述存储器，用于保存计算机程序；

57、所述处理器，用于执行所述计算机程序，以实现前述的图像生成方法。

58、第四方面，本发明公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的图像生成方法。

59、可见，本发明先将第一输入数据输入至目标扩散模型进行推理，并在推理过程中获取每次迭代的输出结果，所述第一输入数据包括第一噪声和第一文本信息，之后基于相邻两次迭代的输出结果计算散度，得到散度序列，对所述散度序列进行分组以得到散度组，并依次对每个散度组对应的推理阶段中的目标扩散模型进行参数量化；所述推理阶段为散度组中各散度对应的迭代次数所对应的推理阶段，最后基于第二输入数据以及参数量化后的目标扩散模型生成图像，所述第二输入数据包括第二噪声和第二文本信息。也即，本发明在利用扩散模型生成图像之前，先利用扩散模型进行预推理，得到每次迭代的输出结果，计算散度得到散度序列，基于对散度序列的分组实现了对模型推理过程按照迭代次数划分推理阶段，然后基于依次对不同推理阶段的模型参数进行量化，基于参数量化后的目标扩散模型生成图像。

60、本发明的有益效果在于，针对迭代次数对扩散模型的模型参数进行分阶段量化，减少数据量和计算量，能够提升模型推理速度，进而提升图像的生成效率。