一种基于潜空间特征融合的物体背景合成方法和系统与流程

本发明涉及图像融合，尤其是涉及一种基于潜空间特征融合的物体背景合成方法和系统。

背景技术：

1、基于文本进行图像生成、基于文本进行图像修改、基于图像进行图像生成、基于图像进行局部修改等技术已被广泛采用。这类技术方案具有泛化性强、生成质量高的特性，因此受到了广泛关注和研究。

2、这类技术虽然能够实现图像内容的合成和编辑，但在处理图像细节方面仍存在局限性。特别是在物体背景合成领域，现有技术方案存在两个显著缺点：一是在大范围的图像内容补全的过程中难以感知原有内容，二是补全之后往往存在边缘模糊的问题。

技术实现思路

1、本发明提供一种基于潜空间特征融合的物体背景合成方法，能够解决现有物体背景合成边缘模糊的问题。

2、本发明第一方面，提供一种基于潜空间特征融合的物体背景合成方法，包括：

3、s100，获取第一图像和第一文本特征向量，其中，所述第一图像表示在数据库中随机获取的图像，所述第一文本特征向量表示用户输入的第一文本转换的向量；

4、s200，利用初始特征提取网络对所述第一图像进行处理，得到第一图像边缘特征；

5、s300，对所述第一图像边缘特征进行处理，得到第一特征向量和第二特征向量，其中，所述第一特征向量和所述第二特征向量均表示第一图像边缘特征的特征向量；

6、s400，将所述第一特征向量与随机噪声融合，得到第三特征向量；

7、s500，将所述第一文本特征向量、所述第二特征向量和所述第三特征向量输入初始一致性模型或初始扩散模型的u-net网络中，得到目标图像；

8、s600，将所述目标图像和所述第一图像进行比对，根据比对结果更新所述初始特征提取网络、以及所述初始一致性模型或所述初始扩散模型，得到目标特征提取网络、以及目标一致性模型或目标扩散模型。

9、可实施的一些方式中，所述获取第一图像和第一文本特征向量的步骤包括：

10、s101，在数据库中随机获取图像，得到所述第一图像；

11、s102，获取所述用户输入的所述第一文本；

12、s103，利用clip模型，对所述第一文本进行处理，得到所述第一文本特征向量。

13、可实施的一些方式中，所述对所述第一图像进行边缘特征提取，得到第一图像边缘特征的步骤包括：

14、s201，利用边缘检测算法对所述第一图像进行边缘处理，得到所述第一图像的边缘图像；

15、s202，利用所述初始特征提取网络对所述边缘图像进行特征提取，得到所述第一图像边缘特征。

16、可实施的一些方式中，所述对所述第一图像边缘特征进行处理，得到第一特征向量和第二特征向量的步骤包括：

17、获取潜空间，将所述第一图像边缘特征映射到潜空间，得到与所述潜空间大小一致的所述第一特征向量；

18、根据第一文本特征向量，对所述第一图像边缘特征进行处理，得到与所述第一文本特征向量大小一致的第二特征向量。

19、可实施的一些方式中，所述将所述第一特征向量与随机噪声融合，得到第三特征向量的步骤包括：

20、s401，获取所述随机噪声；

21、s402，将所述第一特征向量与所述随机噪声进行融合，得到所述第三特征向量，其中，所述第三特征向量表示与所述第一文本特征向量大小一致的特征向量。

22、可实施的一些方式中，所述将所述第一文本特征向量、所述第二特征向量和所述第三特征向量输入初始一致性模型或初始扩散模型的u-net网络中，得到目标图像的步骤包括：

23、s501，将所述第一文本特征向量、所述第二特征向量和所述第三特征向量输入所述初始一致性模型或所述初始扩散模型的u-net网络中，赋予所述第一文本特征向量、所述第二特征向量和所述第三特征向量权重值；

24、s502，根据赋予所述第一文本特征向量、所述第二特征向量和所述第三特征向量权重值进行处理，得到目标特征向量；

25、s503，利用所述目标特征向量，得到所述目标图像。

26、可实施的一些方式中，所述将所述目标图像和所述第一图像进行比对，根据比对结果更新所述初始特征提取网络、以及所述初始一致性模型或所述初始扩散模型，得到目标特征提取网络、以及目标一致性模型或目标扩散模型的步骤包括：

27、s601，利用所述目标图像和所述第一图像，计算损失函数，得到差异值；

28、s602，根据预设的梯度下降优化算法，更新所述初始特征提取网络、以及所述初始一致性模型或所述初始扩散模型的u-net网络的参数权重，并循环执行步骤s100至s500，直至达到预设的最大迭代次数或所述损失函数收敛，得到所述目标特征提取网络、以及所述目标一致性模型或所述目标扩散模型。

29、本技术第二方面，提供一种基于潜空间特征融合的物体背景合成系统，应用于前述的基于潜空间特征融合的物体背景合成方法，所述系统包括：

30、获取模块，用于获取第一图像和第一文本特征向量，其中，所述第一图像表示在数据库中随机获取的图像，所述第一文本特征向量表示用户输入的第一文本转换的向量；

31、特征提取模块，用于利用初始特征提取网络对所述第一图像进行处理，得到第一图像边缘特征；

32、特征提取模块，还用于对所述第一图像边缘特征进行处理，得到第一特征向量和第二特征向量，其中，所述第一特征向量和所述第二特征向量均表示第一图像边缘特征的特征向量；

33、融合模块，用于将所述第一特征向量与随机噪声融合，得到第三特征向量；

34、输入模块，用于将所述第一文本特征向量、所述第二特征向量和所述第三特征向量输入初始一致性模型或初始扩散模型的u-net网络中，得到目标图像；

35、结果模块，用于将所述目标图像和所述第一图像进行比对，根据比对结果更新所述初始特征提取网络、以及所述初始一致性模型或所述初始扩散模型，得到目标特征提取网络、以及目标一致性模型或目标扩散模型。

36、本技术第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行前述的基于潜空间特征融合的物体背景合成方法。

37、本技术第四方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行前述的基于潜空间特征融合的物体背景合成方法。

38、本发明有益效果：

39、本技术一种基于潜空间特征融合的物体背景合成方法，首先，获取第一图像和第一文本特征向量，其中，第一图像表示在数据库中随机获取的图像，第一文本特征向量表示用户输入的第一文本转换的向量；其次，利用初始特征提取网络对第一图像进行处理，得到第一图像边缘特征；然后，对第一图像边缘特征进行处理，得到第一特征向量和第二特征向量，其中，第一特征向量和第二特征向量均表示第一图像边缘特征的特征向量；接下来，将第一特征向量与随机噪声融合，得到第三特征向量；将第一文本特征向量、第二特征向量和第三特征向量输入初始一致性模型或初始扩散模型的u-net网络中，得到目标图像；最后，将目标图像和第一图像进行比对，根据比对结果更新初始特征提取网络、以及初始一致性模型或初始扩散模型，得到目标特征提取网络、以及目标一致性模型或目标扩散模型。利用边缘特征与随机噪声形成特征向量，并将这一特征向量与文本特征向量和边缘特征向量进行融合，在保证一致性模型或扩散模型感知全局内容的同时，增强了对局部细节的处理能力。