图像处理方法、装置、电子设备及存储介质与流程

本公开涉及人工智能，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、近年来，终端设备的各项技术逐渐提升，用户的使用体验得到了大幅提升，例如终端设备的拍摄功能，能够提供多种拍照模式，且所拍得的图像的质量逐渐提高。但是在日常拍摄中，受限于时间、场合以及拍摄者的拍摄水平，大部分拍摄出的图像在构图上还有一定的改进空间；通过调整长宽比例，选取保留的区域和大小，能够在原始拍摄的图像上获得更好的构图效果，得到更能突出主体，具有更高美感的新图像。终端设备内，或者与终端设备连接的云端服务器内可以设置构图预测模型，来对拍摄出的图像进行构图生成。但是相关技术中，构图预测模型所生成的构图质量有待提高。

技术实现思路

1、为克服相关技术中存在的问题，本公开实施例提供一种显示控制方法、装置、电子设备及存储介质，用以解决相关技术中的缺陷。

2、根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：

3、对待构图图像进行主体信息检测，得到主体检测结果，其中，所述主体检测结果包括所述待构图图像内主体的位置；

4、根据所述待构图图像的主体检测结果生成多个候选图像，其中，每个候选图像内均包括所述主体；

5、将所述多个候选图像输入至预先训练的比较模型，通过所述比较模型对所述多个候选图像进行评价，得到至少一个候选图像的评价结果；

6、根据所述至少一个候选图像的评价结果，在所述多个候选图像中确定目标构图。

7、在一个实施例中，所述根据所述待构图图像的主体检测结果生成多个候选图像，包括：

8、根据所述待构图图像内主体的位置、候选图像中主体位置维度上的各个选项和候选图像中主体比例维度上的各个选项，生成多个候选图像，其中，所述主体比例包括所述主体占据所述候选图像的比例。

9、在一个实施例中，所述通过所述比较模型对所述多个候选图像进行评价，得到至少一个候选图像的评价结果，包括：

10、通过所述比较模型分别对所述多个候选图像中每两个候选图像进行比较，得到比较结果；

11、在每次比较后根据比较结果分别确定两个候选图像的积分，并根据每个候选图像在每次比较中的积分，对应确定每个候选图像的总积分。

12、在一个实施例中，所述根据所述至少一个候选图像的评价结果，在所述多个候选图像中确定目标构图，包括：

13、按照总积分由高到低对所述多个候选图像进行排序，得到图像序列，并将所述图像序列中首个候选图像确定为目标构图。

14、在一个实施例中，所述根据所述待构图图像的主体检测结果生成多个候选图像，包括：

15、按照预设的多个尺寸比例，根据所述待构图图像内主体的位置生成每个尺寸比例对应的图像集合，每个图像集合包括多个候选图像；

16、所述按照总积分由高到低对所述多个候选图像进行排序，得到图像序列，并将所述图像序列中首个候选图像确定为目标构图，包括：

17、按照总积分由高到低对每个图像集合内的多个候选图像进行排序，得到每个尺寸比例对应的图像序列，并将每个尺寸比例对应的图像序列中首个候选图像，均确定为目标构图。

18、在一个实施例中，还包括：

19、将训练图像对输入至所述比较模型进行比较，得到第一比较结果，其中，所述训练图像对标注有两个图像的第二比较结果；

20、根据所述第一比较结果和所述第二比较结果，确定网络损失值，并根据所述网络损失值对所述比较模型的网络参数进行调整，直至所述比较模型收敛。

21、在一个实施例中，所述主体检测结果还包括所述待构图图像内主体的类型和数量；

22、在所述根据所述至少一个候选图像的评价结果，在所述多个候选图像中确定目标构图之前，所述方法还包括：

23、根据所述待构图图像内主体的类型和数量，确定所述待构图图像的场景类型；

24、根据所述场景类型对应的评价规则，对所述至少一个候选图像的评价结果进行校正。

25、在一个实施例中，所述根据所述待构图图像的主体检测结果生成多个候选图像，包括：

26、在所述待构图图像内存在多个主体的情况下，根据所述待构图图像内每个主体的位置，生成多个候选图像，其中，每个候选图像内包括所述待构图图像内的全部主体或部分主体。

27、在一个实施例中，还包括：

28、在对待构图图像进行主体信息检测后未检测到主体，将所述待构图图像输入至主体检测模型，通过所述主体检测模型对主体区域进行预测，得到主体区域预测结果。

29、在一个实施例中，所述待构图图像包括终端设备拍摄的图像。

30、根据本公开实施例的第二方面，提供一种训练数据标注方法，所述方法包括：

31、对训练数据中的样本图像进行主体信息检测，得到主体检测结果，其中，所述主体检测结果包括所述样本图像内主体的位置；

32、根据所述样本图像的主体检测结果生成多个候选图像，其中，每个候选图像内均包括所述主体；

33、将所述多个候选图像输入至预先训练的比较模型，通过所述比较模型对所述多个候选图像进行评价，得到至少一个候选图像的评价结果；

34、根据所述至少一个候选图像的评价结果，在所述多个候选图像中确定所述样本图像的构图标签。

35、根据本公开实施例的第三方面，提供一种模型训练方法，用于训练构图预测模型，所述构图预测模型用于根据待构图图像，输出所述待构图图像对应的目标构图，所述方法包括：

36、使用第二方面所述的训练数据标注方法所标注的训练数据训练所述构图预测模型，直至所述构图预测模型收敛。

37、根据本公开实施例的第四方面，提供一种图像处理装置，所述装置包括：

38、第一检测模块，用于对待构图图像进行主体信息检测，得到主体检测结果，其中，所述主体检测结果包括所述待构图图像内主体的位置；

39、第一生成模块，用于根据所述待构图图像的主体检测结果生成多个候选图像，其中，每个候选图像内均包括所述主体；

40、第一评价模块，用于将所述多个候选图像输入至预先训练的比较模型，通过所述比较模型对所述多个候选图像进行评价，得到至少一个候选图像的评价结果；

41、确定模块，用于根据所述至少一个候选图像的评价结果，在所述多个候选图像中确定目标构图。

42、在一个实施例中，所述第一生成模块具体用于：

43、根据所述待构图图像内主体的位置、候选图像中主体位置维度上的各个选项和候选图像中主体比例维度上的各个选项，生成多个候选图像，其中，所述主体比例包括所述主体占据所述候选图像的比例。

44、在一个实施例中，所述第一评价模块用于通过所述比较模型对所述多个候选图像进行评价，得到至少一个候选图像的评价结果，具体用于：

45、通过所述比较模型分别对所述多个候选图像中每两个候选图像进行比较，得到比较结果；

46、在每次比较后根据比较结果分别确定两个候选图像的积分，并根据每个候选图像在每次比较中的积分，对应确定每个候选图像的总结分。

47、在一个实施例中，所述确定模块具体用于：

48、按照总积分由高到低对所述多个候选图像进行排序，得到图像序列，并将所述图像序列中首个候选图像确定为目标构图。

49、在一个实施例中，所述第一生成模块具体用于：

50、按照预设的多个尺寸比例，根据所述待构图图像内主体的位置生成每个尺寸比例对应的图像集合，每个图像集合包括多个候选图像；

51、所述确定模块具体用于：

52、按照总积分由高到低对每个图像集合内的多个候选图像进行排序，得到每个尺寸比例对应的图像序列，并将每个尺寸比例对应的图像序列中首个候选图像，均确定为目标构图。

53、在一个实施例中，还包括训练模块，用于：

54、将训练图像对输入至所述比较模型进行比较，得到第一比较结果，其中，所述训练图像对标注有两个图像的第二比较结果；

55、根据所述第一比较结果和所述第二比较结果，确定网络损失值，并根据所述网络损失值对所述比较模型的网络参数进行调整，直至所述比较模型收敛。

56、在一个实施例中，所述主体检测结果还包括所述待构图图像内主体的类型和数量；

57、所述装置还包括校正模块，用于：

58、在所述根据所述至少一个候选图像的评价结果，在所述多个候选图像中确定目标构图之前，根据所述待构图图像内主体的类型和数量，确定所述待构图图像的场景类型；

59、根据所述场景类型对应的评价规则，对所述至少一个候选图像的评价结果进行校正。

60、在一个实施例中，所述第一生成模块具体用于：

61、在所述待构图图像内存在多个主体的情况下，根据所述待构图图像内每个主体的位置，生成多个候选图像，其中，每个候选图像内包括所述待构图图像内的全部主体或部分主体。

62、在一个实施例中，所述第一检测模块还用于：

63、在对待构图图像进行主体信息检测后未检测到主体，将所述待构图图像输入至主体检测模型，通过所述主体检测模型对主体区域进行预测，得到主体区域预测结果。

64、在一个实施例中，所述待构图图像包括终端设备拍摄的图像。

65、根据本公开实施例的第五方面，提供一种训练数据标注装置，应用于终端设备，所述装置包括：

66、第二检测模块，用于对样本图像进行主体信息检测，得到主体检测结果，其中，所述主体检测结果包括所述样本图像内主体的位置；

67、第二生成模块，用于根据所述样本图像的主体检测结果生成多个候选图像，其中，每个候选图像内均包括所述主体；

68、第二排序模块，用于将所述多个候选图像输入至预先训练的比较模型，通过所述比较模型对所述多个候选图像进行评价，得到至少一个候选图像的评价结果；

69、标注模块，用于根据所述至少一个候选图像的评价结果，在所述多个候选图像中确定所述样本图像的构图标签。

70、根据本公开实施例的第六方面，提供一种模型训练装置，用于训练构图预测模型，所述构图预测模型用于根据待构图图像，输出所述待构图图像对应的目标构图，所述装置包括训练模块，用于：

71、使用第五方面所述的训练数据标注装置所生成的训练数据训练所述构图预测模型，直至所述构图预测模型收敛。

72、根据本公开实施例的第七方面，提供一种电子设备，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现第一方面所述的图像处理方法、第二方面所述的训练数据标注方法或第三方面所述的训练方法。

73、根据本公开实施例的第八方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面、第二方面或第三方面所述的方法。

74、本公开的实施例提供的技术方案可以包括以下有益效果：

75、本公开实施例所提供的图像处理方法，通过对待构图图像进行主体信息检测得到主体的位置，可以根据主体的位置生成多个包括主体的候选图像，进而可以将这些候选图像输入至预先训练的比较模型，通过比较模型可以对这些候选图像进行评价，得到至少一个候选图像的评价结果，最后可以根据上述至少一个候选图像的评价结果，在多个候选图像中确定目标构图，即将评价结果最高的候选图像确定为目标构图。该方法通过生成多个候选图像，并对多个候选图像评价的方式得到待构图图像的目标构图，也就是得到最佳构图，可以高效、准确的完成最佳构图的预测，而且自动化程度高，难度较低，相对于相关技术中使用构图预测模型预测的目标构图有效提高了目标构图的质量。