一种图像修复方法、装置、电子设备和存储介质与流程

本公开涉及计算机，尤其涉及一种图像修复方法、装置、电子设备和存储介质。

背景技术：

1、基于人工智能的图像生成技术已经取得了显著的进展，图像生成技术的应用也越来越广泛。通过使用图像生成技术，可以根据文本主题生成对应的图像，这一技术在数字艺术、海报制作等领域具有广泛的发展前景。

2、基于人工智能的图像生成技术原理是通过采集大量的现有图像，然后综合运用深度学习、计算机视觉和图像处理等技术，将这些图像进行捏合，从而生成与文本主题相对应的图像。

3、目前，根据文本生成的图像中易出现畸形、模糊的图像区域，例如畸形的人脸，影响整体图像的美观。修复图像中的畸形对象是一个复杂的问题，在相关技术中，会重建图像中畸形对象，得到重建图像，并将重建图像填充到原有图像中，但这种方法生成的重建图像的风格不固定，往往会出现与原有图像风格不匹配的情况，无法与原有图像很好地融合，图像修复效果较差。

技术实现思路

1、本公开提出了一种图像修复技术方案。

2、根据本公开的一方面，提供了一种图像修复方法，包括：

3、对待修复图像进行畸形对象识别，确定待修复图像中存在畸形对象的畸形图像区域，所述待修复图像为基于文本描述生成的图像；

4、基于所述文本描述，利用扩散模型，对所述畸形图像区域进行重新绘制，生成重绘图像；

5、利用所述重绘图像替换所述待修复图像中的畸形图像区域，得到修复后的目标图像。

6、在一种可能的实现方式中，所述对待修复图像进行畸形对象识别，确定待修复图像中存在畸形对象的畸形图像区域，包括：

7、对所述待修复图像进行目标检测，确定畸形对象所在的矩形区域；

8、对所述矩形区域进行像素级别的图像分割，分割出畸形对象所在的畸形图像区域。

9、在一种可能的实现方式中，所述畸形对象为人体部位，所述对所述待修复图像进行目标检测，确定畸形对象所在的矩形区域，包括：

10、对所述待修复图像进行人体关键点检测得到人体所在区域；

11、基于检测到的人体关键点，确定人体部位所在的矩形区域；

12、对人体部位所在矩形区域进行部位关键点检测；

13、在检测到的部位关键点之间的比例超出正常比例范围的情况下，将所述部位关键点所在的矩形区域，确定为畸形对象所在的矩形区域。

14、在一种可能的实现方式中，所述基于所述文本描述，利用扩散模型，对所述畸形图像区域进行重新绘制，生成重绘图像，包括：

15、对所述畸形图像区域进行分块，得到多个图像块；

16、对各图像块进行语义识别，得到图像块的语义；

17、在图像块的语义与所述文本描述相符的情况下，基于所述文本描述，利用扩散模型，对图像块进行重新绘制，生成重绘图像块；

18、基于所述重绘图像块，得到重绘图像。

19、在一种可能的实现方式中，所述基于所述文本描述，利用扩散模型，对所述畸形图像区域进行重新绘制，生成重绘图像，包括：

20、基于所述文本描述和所述待修复图像中的非畸形图像区域，利用扩散模型，对所述畸形图像区域进行重新绘制。

21、在一种可能的实现方式中，所述基于所述文本描述和所述待修复图像中的非畸形图像区域，利用扩散模型，对所述畸形图像区域进行重新绘制，包括：

22、基于所述文本描述和所述待修复图像中的非畸形图像区域，在畸形图像区域中迭代地添加噪声并逐渐去除噪声，直到生成符合所述文本描述且与非畸形图像区域背景自然融合的重绘图像。

23、在一种可能的实现方式中，所述基于所述文本描述，利用扩散模型，对所述畸形图像区域进行重新绘制，生成重绘图像，包括：

24、对所述畸形图像进行分辨率放大处理，得到放大图像；

25、基于所述文本描述和所述待修复图像中的非畸形图像区域，利用扩散模型，对所述放大图像的区域进行重新绘制，生成初始重绘图像；

26、对所述初始重绘图像进行分辨率缩小处理，得到重绘图像。

27、在一种可能的实现方式中，所述利用所述重绘图像替换所述待修复图像中的畸形图像区域，得到修复后的目标图像，包括：

28、对所述重绘图像和非畸形图像区域进行融合，得到初始融合图像，其中，所述重绘图像和所述非畸形图像区域之间为像素级的齿状拼接；

29、对所述初始融合图像进行颜色匹配和光照调整操作，得到修复后的目标图像。

30、根据本公开的一方面，提供了一种图像修复装置，包括：

31、识别模块，用于对待修复图像进行畸形对象识别，确定待修复图像中存在畸形对象的畸形图像区域，所述待修复图像为基于文本描述生成的图像；

32、重绘模块，用于基于所述文本描述，利用扩散模型，对所述畸形图像区域进行重新绘制，生成重绘图像；

33、替换模块，用于利用所述重绘图像替换所述待修复图像中的畸形图像区域，得到修复后的目标图像。

34、在一种可能的实现方式中，所述识别模块，用于：

35、对所述待修复图像进行目标检测，确定畸形对象所在的矩形区域；

36、对所述矩形区域进行像素级别的图像分割，分割出畸形对象所在的畸形图像区域。

37、在一种可能的实现方式中，所述畸形对象为人体部位，所述识别模块，用于：

38、对所述待修复图像进行人体关键点检测得到人体所在区域；

39、基于检测到的人体关键点，确定人体部位所在的矩形区域；

40、对人体部位所在矩形区域进行部位关键点检测；

41、在检测到的部位关键点之间的比例超出正常比例范围的情况下，将所述部位关键点所在的矩形区域，确定为畸形对象所在的矩形区域。

42、在一种可能的实现方式中，所述重绘模块，用于：

43、对所述畸形图像区域进行分块，得到多个图像块；

44、对各图像块进行语义识别，得到图像块的语义；

45、在图像块的语义与所述文本描述相符的情况下，基于所述文本描述，利用扩散模型，对图像块进行重新绘制，生成重绘图像块；

46、基于所述重绘图像块，得到重绘图像。

47、在一种可能的实现方式中，所述重绘模块，用于：

48、基于所述文本描述和所述待修复图像中的非畸形图像区域，利用扩散模型，对所述畸形图像区域进行重新绘制。

49、在一种可能的实现方式中，所述重绘模块，用于：

50、基于所述文本描述和所述待修复图像中的非畸形图像区域，在畸形图像区域中迭代地添加噪声并逐渐去除噪声，直到生成符合所述文本描述且与非畸形图像区域背景自然融合的重绘图像。

51、在一种可能的实现方式中，所述重绘模块，用于：

52、对所述畸形图像进行分辨率放大处理，得到放大图像；

53、基于所述文本描述和所述待修复图像中的非畸形图像区域，利用扩散模型，对所述放大图像的区域进行重新绘制，生成初始重绘图像；

54、对所述初始重绘图像进行分辨率缩小处理，得到重绘图像。

55、在一种可能的实现方式中，所述替换模块，用于：

56、对所述重绘图像和非畸形图像区域进行融合，得到初始融合图像，其中，所述重绘图像和所述非畸形图像区域之间为像素级的齿状拼接；

57、对所述初始融合图像进行颜色匹配和光照调整操作，得到修复后的目标图像。

58、根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

59、根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

60、在本公开实施例中，通过对待修复图像进行畸形对象识别，确定待修复图像中存在畸形对象的畸形图像区域，所述待修复图像为基于文本描述生成的图像；基于所述文本描述和所述待修复图像中的非畸形图像区域，利用扩散模型，对所述畸形图像区域进行重新绘制，生成重绘图像；利用所述重绘图像替换所述待修复图像中的畸形图像区域，得到修复后的目标图像。由此，通过自动识别待修复图像中的畸形图像区域，并且，基于文本描述对畸形图像区域重新绘制，因此，生成的重绘图像的风格能够与待修复图像的风格保持一致，那么，重绘图像能够与待修复图像很好地融合，得到的修复后的目标图像更加真实，修复效果较好。此外，由于使用了扩散模型进行重绘操作，因此可以生成高质量的图像，从而提高了修复效果的质量和准确性。

61、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。