一种图像处理方法及相关设备与流程

本技术涉及终端及通信，尤其涉及一种图像处理方法及相关设备。

背景技术：

1、当图像中原本合理的物体结构发生了不自然的变形或扭曲时，可以称为图像畸变。

2、拍照尤其是广角摄像头拍照，处于照片边缘的内容会出现形变，该内容例如为人脸等，需要对其进行校正以确保脸部结构合理。

3、已有方案采用图像压缩拉伸算法进行图像校正处理，当人脸校正较好时背景线条结构会存在不自然现象，当背景线条结构处理自然时人像会存在形变，导致图像处理的两难情况。

4、现有方案选择对人脸校正和背景校正进行折中处理，但是结果是人脸及背景均没有校正到位，导致整体成像效果不佳。

技术实现思路

1、本技术提供了一种图像处理方法及相关设备，能够对图像进行有效校正，提升图像成像效果。

2、第一方面，提供了一种图像处理方法，包括：

3、对第一图像中的目标图像进行图像校正处理，得到校正图像；确定校正图像与第一图像中除目标图像之外的剩余图像之间的图像空缺区域；对图像空缺区域进行内容填充，得到第二图像。

4、第一图像作为待处理对象，其中包括目标图像及除目标图像之外的剩余图像。

5、相对于从第一图像中提取出的目标图像，校正处理得到的校正图像会出现形变，那么相应地，校正图像与第一图像中的剩余图像之间将会存在图像空缺区域。

6、在对图像中的目标图像进行校正后，对剩余图像不采用拉伸、压缩等形变处理，而是采用内容填充的方式补全图像空缺区域，获得完整的处理后图像，确保目标图像达到理想校正效果，且其余图像原有内容结构得到保留，提升图像成像效果。

7、结合第一方面，在第一方面的某些实现方式中，将第一图像中的前景图像作为目标图像，及将第一图像中除前景图像之外的背景图像作为剩余图像。

8、其中，前景图像作为拍摄的重点对象，以前景及背景的区分方式从图像中进行内容切分，确保对正常情况下需要进行重点校正调整的图像内容进行有效识别处理。

9、或者，将第一图像中的边缘图像作为目标图像，及将第一图像中除边缘图像之外的图像作为剩余图像。

10、其中，边缘图像具体是位于第一图像设定边缘范围内的图像内容，确保对处于图像边缘的重点目标对象进行针对性获取，实现对特定情况下可能存在畸变的图像内容的有效处理。

11、结合第一方面，在第一方面的某些实现方式中，对第一图像中的目标图像进行图像校正处理，得到校正图像，包括：

12、对第一图像中的目标图像进行畸变校正处理，得到校正图像。通过对目标图像进行畸变校正处理，得到校正图像，满足图像畸变校正的处理需求及成像效果。

13、结合第一方面，在第一方面的某些实现方式中，确定校正图像与第一图像中除目标图像之外的剩余图像之间的图像空缺区域，包括：

14、将校正图像与剩余图像进行拼接，得到拼接图像；将拼接图像与第一图像进行比对，确定拼接图像中校正图像与剩余图像之间的图像空缺区域。

15、采用图像拼接处理以便于通过合适的方式对校正后的目标内容与其余图像内容进行拼接融合，在此基础上确定出还需要进一步进行内容填充的图像空缺区域，在确保图像中目标内容达到理想校正效果的同时，减少其他部分图像内容的不必要形变，确保整体图像处理效果。

16、结合第一方面，在第一方面的某些实现方式中，将校正图像与剩余图像进行拼接，得到拼接图像，包括：

17、确定校正图像相对目标图像的形状改变区域；基于形状改变区域，确定剩余图像中与校正图像的图像重叠区域；将图像重叠区域的像素值赋值为校正图像的像素值，得到拼接图像。

18、剩余图像中与校正图像的图像重叠区域为需要被校正图像进行挤占的图像区域。

19、在将校正图像与剩余图像进行拼接时，直接将校正图像中对应区域的像素值对剩余图像中图像重叠区域的像素值进行赋值，保留校正图像的图像内容，抹去剩余图像中图像重叠区域的图像内容，在此基础上以图像重叠区域将校正图像与剩余图像实现交叠式拼接，得到拼接图像，在实现校正图像与剩余图像进行融合的同时，维持校正图像中图像内容在整体图像内容中的合理位置布局关系。

20、结合第一方面，在第一方面的某些实现方式中，对图像空缺区域进行内容填充，得到第二图像，包括：

21、基于校正图像及剩余图像，生成填充内容，将填充内容填充至图像空缺区域，得到第二图像。

22、这样，基于校正图像及剩余图像两者中的图像内容结构生成填充内容，实现对图像空缺区域进行内容填充，有效地根据已有图像的内容结构生成相关（相似或相契合）结构的图像内容在图像空缺区域实施内容填充。

23、结合第一方面，在第一方面的某些实现方式中，基于校正图像及剩余图像，生成填充内容，将填充内容填充至图像空缺区域，得到第二图像，包括：

24、在校正图像与剩余图像拼接得到的拼接图像中添加噪声，并对拼接图像进行去噪处理，得到拼接图像中图像空缺区域被填充填充内容后的第二图像。

25、将由校正图像及剩余图像拼接得到的拼接图像作为处理对象，通过加噪及去噪处理，使得拼接图像中图像空缺区域被填充，得到第二图像，确保图像空缺区域中所填充内容中融入校正图像及剩余图像两者的图像特征，确保图像空缺区域中具有较好的图像填充效果，提升图像整体处理质量。

26、结合第一方面，在第一方面的某些实现方式中，在校正图像与剩余图像拼接得到的拼接图像中添加噪声，并对拼接图像进行去噪处理，得到拼接图像中图像空缺区域被填充填充内容后的第二图像，包括：

27、将校正图像与剩余图像拼接得到的拼接图像中添加噪声作为待处理图像；对待处理图像进行去噪处理，得到去噪图像，去噪图像中包含图像空缺区域去噪处理后生成的填充内容，及除图像空缺区域之外的其他图像区域去噪处理后的去噪内容；将去噪图像中的去噪内容替换为目标图像内容，得到更新后图像；目标图像内容为拼接图像中相同图像区域的图像内容添加与迭代步数对应强度的噪声后的图像内容；将更新后图像作为待处理图像，返回执行对待处理图像进行去噪处理，得到去噪图像的步骤，直至迭代步数达到步数阈值或者直至去噪图像中的填充内容满足图像标准，将去噪图像作为第二图像。

28、其中，每迭代处理一次，则需要基于当前迭代处理对应的迭代步数调整噪声添加强度。

29、该过程，借助于具体的循环迭代处理手段，在循环迭代处理过程中，将去噪图像中非填充区域去噪处理后的图像内容替换为随着迭代步数的改变而适应性调整噪声强度的目标图像内容，投入下一迭代处理过程，确保填充图像的生成效果，同时避免其他区域图像进行拉伸压缩处理，确保最终获得背景结构自然的图像，提升图像整体处理效果。

30、结合第一方面，在第一方面的某些实现方式中，对待处理图像进行去噪处理，得到去噪图像，包括：

31、将图像空缺区域的掩膜图像输入至第一图像编码器进行编码处理，得到第一图像特征；

32、将拼接图像输入至第二图像编码器进行编码处理，得到第二图像特征；

33、将当前的迭代步数输入至步数编码器进行编码处理，得到步数特征；

34、基于第一图像特征、第二图像特征及步数特征，将各自分别对应的注意力特征输入至第三图像编码器及图像解码器；

35、将待处理图像依次通过第三图像编码器及图像解码器进行去噪处理，得到去噪图像。

36、这样能够确保对图像空缺区域的填充内容进行生成式循环迭代处理时，充分利用已有图像的内容结构特征生成相关结构的图像内容在图像空缺区域实施内容填充，并通过借助注意力模块将第一图像特征、第二图像特征及步数特征各自相应的注意力特征输入至实施去噪处理的图像编码器及图像解码器中，确保多种特征信息在对图像空缺区域的填充内容进行生成式循环迭代处理过程中的有效融合，提升图像空缺区域的图像填充效果。

37、第二方面，本技术提供了一种图像处理装置，包括：

38、校正模块，用于对第一图像中的目标图像进行图像校正处理，得到校正图像；

39、区域确定模块，用于确定所述校正图像与所述第一图像中除所述目标图像之外的剩余图像之间的图像空缺区域；

40、生成模块，用于对所述图像空缺区域进行内容填充，得到第二图像。

41、第三方面，本技术提供了一种电子设备，包括：一个或多个处理器，以及存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如第一方面的任意一种方法。

42、第四方面，本技术提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述一个或多个处理器用于调用计算机指令以使得所述电子设备执行如第一方面的任意一种方法。

43、第五方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质包括指令，当所述指令在电子设备上运行时，使得所述电子设备执行如第一方面的任意一种方法。

44、第六方面，本技术提供了一种计算机程序产品，该计算机程序产品包括计算机程序，当计算机程序被处理器执行时能够实现第一方面的任意一种方法。

45、可以理解地，上述第二方面提供的图像处理装置、第三方面提供的电子设备、第四方面提供的芯片系统、第五方面提供的计算机可读存储介质、第六方面提供的计算机程序产品均用于执行本技术第一方面所提供的任意一种方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。