具有改进准确度和减少的计算资源消耗的扩散模型的制作方法

本公开总体上涉及机器学习。更具体地，本公开涉及具有改进准确度的扩散模型。

背景技术：

1、基于似然性的生成式建模是机器学习中作为一系列应用的基础的中心任务。自回归模型由于其易处理的似然性和表达性，长期以来一直是对这种任务的主导模型类。扩散模型是一类包括加噪模型(noising model)和去噪模型(denoising model)的机器学习模型。扩散模型尚未在密度估计基准上匹配自回归模型。

技术实现思路

1、本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践而获知。

2、本公开的一个示例方面针对一种利用傅立叶特征进行改进的精细尺度预测的计算系统。该计算系统包括一个或多个处理器和一个或多个非暂时性计算机可读介质，它们共同存储：机器学习扩散模型的至少去噪模型，扩散模型包括：加噪模型，包括多个加噪级，加噪模型被配置为接收输入数据并且响应于输入数据的接收而产生潜在数据；以及去噪模型，被配置为根据潜在数据重构输出数据；其中至去噪模型的输入包括傅立叶特征集合，傅立叶特征集合包括多个加噪级中的至少一个级的通道的线性投影；以及指令，指令在由一个或多个处理器执行时使得计算系统执行去噪模型来处理潜在数据以生成输出数据。

3、本公开的另一示例方面针对一种用于使用具有改进准确度的扩散模型的计算机实施的方法，该方法包括：由包括一个或多个计算设备的计算系统获得输入数据，输入数据包括一个或多个通道；由计算系统向机器学习扩散模型提供输入数据，机器学习扩散模型包括：加噪模型，包括多个加噪级，加噪模型被配置为引入噪声以接收输入数据并且响应于输入数据的接收而产生中间数据；以及去噪模型，被配置为根据中间数据重构输出数据；其中至去噪模型的输入包括傅立叶特征集合，傅立叶特征集合包括多个加噪级中的至少一个级的通道的线性投影；以及由计算系统接收来自机器学习扩散模型的输出数据。

4、本公开的另一示例方面针对共同存储扩散模型的至少加噪模型的一个或多个非暂时性计算机可读介质，扩散模型包括：加噪模型，包括多个加噪级，加噪模型被配置为根据噪声计划表将噪声引入输入数据以产生中间数据；以及去噪模型，被配置为根据中间数据重构输出数据；其中噪声计划表是包括一个或多个学习的参数值的学习的噪声计划表。

5、本公开的另一示例方面针对一种用于使用具有改进准确度的扩散模型的计算机实施的方法，该方法包括：由包括一个或多个计算设备的计算系统获得输入数据，输入数据包括一个或多个通道；由计算系统向机器学习扩散模型提供输入数据，机器学习扩散模型包括：加噪模型，包括多个加噪级，加噪模型被配置为引入噪声以接收输入数据并且响应于输入数据的接收而产生中间数据；以及去噪模型，被配置为根据中间数据重构输出数据；其中扩散模型包括学习的噪声计划表；以及由计算系统接收来自机器学习扩散模型的输出数据。

6、本公开的另一示例方面针对一种用于在消耗较少计算资源的同时训练扩散模型的计算机实施的方法，该方法包括：由包括一个或多个计算设备的计算系统获得训练数据，训练数据包括一个或多个通道；由计算系统向机器学习扩散模型提供训练数据，机器学习扩散模型包括：加噪模型，包括多个加噪级，加噪模型被配置为引入噪声以接收训练数据并且响应于训练数据的接收而产生中间数据；以及去噪模型，被配置为根据中间数据重构输出数据；以及由计算系统至少部分地基于机器学习扩散模型与训练数据的使用来确定训练损失，其中通过朝着证据下界优化机器学习扩散模型的参数来训练扩散模型，其中证据下界包括连续时间损失。

7、本公开的另一示例方面针对一种用于使用具有改进准确度的扩散模型的计算机实施的方法，该方法包括：接收压缩数据；以及利用已经作为扩散模型的一部分被训练的去噪模型对压缩数据解压缩；其中以下各项中的至少一个：1)至去噪模型的输入包括一个或多个傅立叶特征；2)去噪模型包括学习的噪声计划表；或者3)使用连续时间损失函数来训练去噪模型。

8、本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。

9、参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书并构成其一部分的附图示出了本公开的示例实施例，并且与描述一起用于解释相关原理。

技术特征：

1.一种利用傅立叶特征进行改进的精细尺度预测的计算系统，包括：

2.根据任一权利要求(例如，权利要求1)所述的计算系统，其中，所述傅立叶特征集合包括所述多个加噪级中的每个加噪级的通道的线性投影。

3.根据任一权利要求(例如，权利要求1)所述的计算系统，其中，所述傅立叶特征集合包括所述多个加噪级中的至少一个级到高频周期性基函数集合上的线性投影。

4.根据任一权利要求(例如，权利要求1)所述的计算系统，其中，所述傅立叶特征集合包括四个通道。

5.根据任一权利要求(例如，权利要求1)所述的计算系统，其中，所述傅立叶特征集合包括如下形式的至少一个傅立叶特征：

6.根据任一权利要求(例如，权利要求1)所述的计算系统，其中，所述傅立叶特征集合包括如下形式的至少一个傅立叶特征：

7.根据任一权利要求(例如，权利要求1)所述的计算系统，其中，所述输入数据包括位长，并且其中，所述傅立叶特征集合包括具有从一至所述位长的每个频率的傅立叶特征。

8.根据任一权利要求(例如，权利要求1)所述的计算系统，其中，所述输入数据包括八或更大的位长，并且其中，所述傅立叶特征集合包括具有从七至所述位长的每个频率的傅立叶特征。

9.根据任一权利要求(例如，权利要求1)所述的计算系统，其中，所述输入数据包括图像数据。

10.根据任一权利要求(例如，权利要求1)所述的计算系统，其中，所述潜在数据包括所述输入数据的压缩表示，并且所述输出数据包括所述输入数据的解压缩表示。

11.一种用于使用具有改进准确度的扩散模型的计算机实施的方法，所述方法包括：

12.根据任一权利要求(例如，权利要求11)所述的计算机实施的方法，其中，所述傅立叶特征集合包括所述多个加噪级中的每个加噪级的通道的线性投影。

13.根据任一权利要求(例如，权利要求11)所述的计算机实施的方法，其中，所述傅立叶特征集合包括所述多个加噪级中的至少一个级到高频周期性基函数集合上的线性投影。

14.根据任一权利要求(例如，权利要求11)所述的计算机实施的方法，其中，所述傅立叶特征集合包括四个通道。

15.根据任一权利要求(例如，权利要求11)所述的计算机实施的方法，其中，所述傅立叶特征集合包括如下形式的至少一个傅立叶特征：

16.根据任一权利要求(例如，权利要求11)所述的计算机实施的方法，其中，所述傅立叶特征集合包括如下形式的至少一个傅立叶特征：

17.根据任一权利要求(例如，权利要求11)所述的计算机实施的方法，其中，所述输入数据包括位长，并且其中，所述傅立叶特征集合包括具有从一至所述位长的每个频率的傅立叶特征。

18.根据任一权利要求(例如，权利要求11)所述的计算机实施的方法，其中，所述输入数据包括八或更大的位长，并且其中，所述傅立叶特征集合包括具有从七至所述位长的每个频率的傅立叶特征。

19.根据任一权利要求(例如，权利要求11)所述的计算机实施的方法，其中，所述输入数据包括图像数据。

20.根据任一权利要求(例如，权利要求11)所述的计算机实施的方法，其中，所述输出数据包括重构的输入数据。

21.共同存储扩散模型的至少加噪模型的一个或多个非暂时性计算机可读介质，所述扩散模型包括：

22.根据任一权利要求(例如，权利要求21)所述的一个或多个非暂时性计算机可读介质，其中，所述学习的噪声计划表包括所述扩散模型的边际分布的平方均值与所述边际分布的平方方差的比。

23.根据任一权利要求(例如，权利要求21)所述的一个或多个非暂时性计算机可读介质，其中，所述学习的噪声计划表是与所述扩散模型联合学习的。

24.根据任一权利要求(例如，权利要求21)所述的一个或多个非暂时性计算机可读介质，其中，所述学习的噪声计划表包括信噪比函数。

25.根据任一权利要求(例如，权利要求21)所述的一个或多个非暂时性计算机可读介质，其中，所述学习的噪声计划表由单调递增函数参数化。

26.根据任一权利要求(例如，权利要求25)所述的一个或多个非暂时性计算机可读介质，其中，所述单调递增函数包括单调递增神经网络。

27.根据任一权利要求(例如，权利要求26)所述的一个或多个非暂时性计算机可读介质，其中，所述单调递增神经网络包括被限制为正的一个或多个线性层。

28.根据任一权利要求(例如，权利要求27)所述的一个或多个非暂时性计算机可读介质，其中，所述单调递增神经网络由下式表示：

29.根据任一权利要求(例如，权利要求28)所述的一个或多个非暂时性计算机可读介质，其中，所述单调递增神经网络被后处理为：

30.根据任一权利要求(例如，权利要求21)所述的一个或多个非暂时性计算机可读介质，其中，损失函数相对于所述噪声计划表的导数是与所述扩散模型的其他参数的梯度一起计算的，而没有第二反向传播通过所述去噪模型。

31.根据任一权利要求(例如，权利要求21)所述的一个或多个非暂时性计算机可读介质，其中，通过最大化证据下界以及所述扩散模型的其他参数来学习所述学习的噪声计划表的参数。

32.根据任一权利要求(例如，权利要求21)所述的一个或多个非暂时性计算机可读介质，其中，所述扩散模型是连续时间扩散模型，并且其中，通过相对于所述学习的噪声计划表的端点优化证据下界来学习所述学习的噪声计划表的参数。

33.根据任一权利要求(例如，权利要求21)所述的一个或多个非暂时性计算机可读介质，其中，通过对平方扩散损失执行随机梯度下降以最小化方差来学习所述学习的噪声计划表的参数。

34.一种用于使用具有改进准确度的扩散模型的计算机实施的方法，所述方法包括：

35.根据任一权利要求(例如，权利要求34)所述的计算机实施的方法，其中，所述学习的噪声计划表包括所述扩散模型的边际分布的平方均值与所述边际分布的平方方差的比。

36.根据任一权利要求(例如，权利要求34)所述的计算机实施的方法，其中，所述学习的噪声计划表是与所述扩散模型联合学习的。

37.根据任一权利要求(例如，权利要求34)所述的计算机实施的方法，其中，所述学习的噪声计划表包括信噪比函数。

38.根据任一权利要求(例如，权利要求34)所述的计算机实施的方法，其中，所述学习的噪声计划表由单调递增函数参数化。

39.根据任一权利要求(例如，权利要求38)所述的计算机实施的方法，其中，所述单调递增函数包括单调递增神经网络。

40.根据任一权利要求(例如，权利要求39)所述的计算机实施的方法，其中，所述单调递增神经网络包括被限制为正的一个或多个线性层。

41.根据任一权利要求(例如，权利要求40)所述的计算机实施的方法，其中，所述单调递增神经网络由下式表示：

42.根据任一权利要求(例如，权利要求41)所述的计算机实施的方法，其中，所述单调递增神经网络被后处理为：

43.根据任一权利要求(例如，权利要求34)所述的计算机实施的方法，其中，损失函数相对于所述噪声计划表的导数是与所述扩散模型的其他参数的梯度一起计算的，而没有第二反向传播通过所述去噪模型。

44.根据任一权利要求(例如，权利要求34)所述的计算机实施的方法，其中，通过最大化证据下界以及所述扩散模型的其他参数来学习所述学习的噪声计划表的参数。

45.根据任一权利要求(例如，权利要求34)所述的计算机实施的方法，其中，所述扩散模型是连续时间扩散模型，并且其中，通过相对于所述学习的噪声计划表的端点优化证据下界来学习所述学习的噪声计划表的参数。

46.根据任一权利要求(例如，权利要求34)所述的计算机实施的方法，其中，通过对平方扩散损失执行随机梯度下降以最小化方差来学习所述学习的噪声计划表的参数。

47.一种用于在消耗较少计算资源的同时训练扩散模型的计算机实施的方法，所述方法包括：

48.根据任一权利要求(例如，权利要求47)所述的计算机实施的方法，其中，使用所述连续时间损失的无偏估计量来近似所述连续时间损失。

49.根据任一权利要求(例如，权利要求48)所述的计算机实施的方法，其中，所述无偏估计量包括蒙特卡罗估计量。

50.根据任一权利要求(例如，权利要求47)所述的计算机实施的方法，其中，所述连续时间损失包括无限深度。

51.一种用于使用具有改进准确度的扩散模型的计算机实施的方法，所述方法包括：

52.根据任一权利要求(例如，权利要求51)所述的计算机实施的方法，其中，所述压缩数据包括图像数据、音频数据、文本数据或不完整数据中的至少一个。

技术总结
一种用于使用具有改进准确度的扩散模型的计算机实施的方法，包括：获得输入数据，输入数据包括一个或多个通道；将输入数据提供给机器学习扩散模型，机器学习扩散模型包括：加噪模型，包括多个加噪级，加噪模型被配置为引入噪声以接收输入数据并且响应于输入数据的接收而产生中间数据；以及去噪模型，被配置为根据中间数据重构输出数据；以及由计算系统接收来自机器学习扩散模型的输出数据。扩散模型可以包括学习的噪声计划表。附加地和/或可替代地，去噪模型的输入可以包括傅立叶特征集合。附加地和/或可替代地，可以至少部分地基于证据下界的连续时间损失来训练扩散模型。

技术研发人员：D·P·金格玛,T·萨利曼斯
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/1/15