图像处理的方法及电子设备与流程

本技术涉及图像处理，尤其涉及一种图像处理的方法及电子设备。

背景技术：

1、眩光（dazzle）是指视野中由于不适宜亮度分布，或在空间或时间上存在极端的亮度对比，以致引起视觉不舒适和降低物体可见度的视觉条件。眩光是由户外强光在镜片和其它表面上产生反射所引起的。目前电子设备在特定场景下（如逆光拍摄的场景）拍摄的图像会出现眩光问题，降低了拍摄的图像的质量，例如，图像中出现伪影、鬼影（也称为反射耀斑）等。图像中的每个光源与对应的反射耀斑均是基于一个点对称分布，该点可以称为对称中心。目前电子设备通常将图像的中心位置作为该对称中心，并基于该对称中心消除图像中产生的反射耀斑。

2、然而，不同的设备（如相同型号的两个设备）的对称中心不同，也就是说，不同设备拍摄的图像的中心位置不是该图像中光源与对应的反射耀斑之间的对称中心，导致电子设备不能准确消除图像中的反射耀斑，降低了拍摄的图像的质量。

技术实现思路

1、为了解决上述技术问题，本技术提供一种图像处理的方法及电子设备，使得电子设备可以提高消除图像中反射耀斑的准确性，同时，增加了该图像处理方法适用的场景。

2、第一方面，本技术提供一种图像处理的方法，包括：获取第一图像，第一图像包括至少一个光源以及至少一个反射耀斑；将第一图像输入至预设的第一模型，获取第一图像的目标点的第一坐标，第一模型是基于第一样本集训练获得，第一样本集包括多个第一样本图像，以及每个第一样本图像的目标点的坐标，第一样本图像包括光源和反射耀斑，图像的每个光源与对应的反射耀斑基于图像的目标点对称分布；根据第一图像、第一坐标以及预设的第二模型，获得第二图像，第二图像为消除了第一图像中的反射耀斑的图像，第二模型是基于第二样本集训练获得，第二样本集包括多个第二样本图像、第三样本图像以及每个第二样本图像的目标点的坐标，第二样本图像包括至少一个光源和至少一个反射耀斑，第三样本图像为消除了第二样本图像中的反射耀斑的图像。

3、这样，由于每个设备拍摄的图像中的目标点（即光源与反射耀斑之间的对称中心）不同，若将图像的中心位置作为该对称中心，并基于该对称中心消除图像中产生的反射耀斑，会导致消除反射耀斑的效果差，而本示例中的电子设备（如手机、电脑等）每次消除图像中的反射耀斑时，通过第一模型快速确定出获取的第一图像的目标点（即对称中心），使得确定第一图像的目标点更加准确，进而可以基于第一图像的目标点准确消除第一图像中的反射耀斑。本示例中在消除反射耀斑的方式可以应用于不同的设备，增加了该消除反射耀斑的方式适用的设备。

4、根据第一方面，在第一图像输入至预设的第一模型，获取第一图像的目标点的第一坐标之前，该方法还包括：获取第一基础图像，第一基础图像包括光源且不存在反射耀斑；根据第一基础图像中的第一位置，确定第一基础图像中的候选点，第一位置为第一基础图像的中心点，第一基础图像中的光源基于候选点对称的位置处于第一基础图像中；根据第一基础图像中候选点以及第一基础图像中的光源，生成第一样本图像。这样，电子设备根据第一基础图像构造第一样本图像，可以丰富用于训练的第一样本集中的数据，提高训练的第一模型的准确度，也提高了获取第一样本集的速度。

5、根据第一方面，根据第一基础图像中的第一位置，确定第一基础图像中的候选点，包括：根据第一位置，确定候选区域，第一基础图像中的光源基于任意一个边界点对称的位置处于第一基础图像中，边界点为候选区域的边界上的点；在候选区域选取任一点作为第一基础图像中的候选点。这样，真实图像中光源与反射耀斑之间的对称中心位于图像中心附近的概率高，电子设备在第一基础图像的图像中心位置构造候选区域，可以提高构造候选点（候选点可以作为构造的第一样本图像的目标点）的准确性，从而提高构造的第一样本图像与真实图像的相似度，提高训练的第一模型的准确性。

6、根据第一方面，根据第一位置，确定候选区域，包括：将第一位置作为候选区域的中心点，按照预设形状生成候选区域。这样，电子设备可以在第一基础图像中快速确定候选区域。

7、根据第一方面，预设形状包括：多边形、圆形、椭圆形。这样，电子设备按照规则的图形构造目标点候选位置，可以提高构造基于第一基础图像的中目标点的准确性。

8、根据第一方面，根据第一基础图像中候选点以及第一基础图像中的光源，生成第一样本图像，包括：获取第一基础图像中的光源；以第一基础图像中的候选点为对称中心，将第一基础图像中的光源旋转180度，生成第二基础图像；叠加第一基础图像和第二基础图像，获得第一样本图像，第一样本图像的目标点的位置与第一基础图像中的候选点的位置相同。这样，电子设备根据光源与反射耀斑基于目标点对称分布的特性，将第一基础图像中的光源旋转180度，可以快速获得与光源对应的反射耀斑，电子设备将光源所在的第一基础图像和反射耀斑所在第二基础图像进行叠加，可以快速生成第一样本图像。

9、根据第一方面，获取第一基础图像中的光源，包括：调低第一基础图像的亮度；根据每个第一样本图像的目标点的坐标，确定与每个第一样本图像对应的真值；根据每个所述真值和调低亮度的每个第一样本图像，对预设的训练模型进行网络训练，获得所述第一模型。这样，电子设备调低第一基础图像的亮度，可以降低第一基础图像中其他物体的图像对识别光源造成的不必要的干扰，提高是被光源的速度。

10、根据第一方面，获取第一基础图像中的光源，包括：识别第一基础图像中预先标注的光源标识，光源标识用于指示光源的所处区域；获取第一基础图像中光源标识指示的区域作为光源。这样，第一基础图像中的光源标识为预先标注的，如人工进行标注，电子设备通过光源标识可以快速且准确地识别出第一基础图像中的光源。

11、根据第一方面，将第一图像输入至预设的第一模型，获取第一图像的目标点的第一坐标之前，该方法还包括：调低每个第一样本图像的亮度；根据每个第一样本图像的目标点的坐标，确定与每个第一样本图像对应的真值；根据每个真值和调低亮度的每个第一样本图像，对预设的训练模型进行网络训练，获得第一模型。这样，电子设备根据调低亮度的第一样本图像的目标点，确定用于训练的真值，根据每个第一样本图像和对应的真值进行网络训练，可以减小网络训练的难度，加快第一模型训练的速度。

12、根据第一方面，根据每个第一样本图像的目标点的坐标，确定与每个第一样本图像对应的真值，包括：按照第一样本图像的尺寸构造第一真值图像，第一真值图像为黑色的图像；根据第一样本图像的目标点的坐标，将第一真值图像中对应位置置为白色；对第一真值图像进行高斯模糊处理，将处理后的第一真值图像作为第一样本图像的目标点的热力图像；将第一样本图像的目标点的热力图像作为与第一样本图像对应的真值。这样，电子设备构造与第一样本图像尺寸相同纯黑的第一真值图像，并对第一真值图像中与目标点对应的位置进行高斯模糊处理，输出的值作为训练第一模型过程中的真值，可以提高训练模型过程中的损失函数的准确性。

13、根据第一方面，每个第二样本图像的目标点为第二样本图像的图像中心。这样，使得训练的第二模型与目前用于消除反射耀斑的模型一致，即电子设备可以不更改存储的现有的用于消除反射耀斑的模型，进一步增加图像处理方法的适用场景。

14、根据第一方面，根据所述第一图像、所述第一坐标以及预设的第二模型，获得第二图像，包括：以第一坐标作为裁切区域的中心，对第一图像进行裁切，获得裁切后的第三图像，第三图像的图像中心的坐标与第一坐标重合；将第三图像输入第二模型，获得第四图像，第四图像为消除了第三图像中的反射耀斑的图像；执行将第一图像的裁切区域替换为第四图像的合成处理，生成第二图像。这样，电子设备根据第一图像的目标点对第一图像进行裁切，使得裁切后的图像（即第三图像）可以通过第二模型消除该图像中的反射耀斑，同时可以不替换电子设备中已使用的第二模型，进一步增加图像处理方法的适用设备。

15、根据第一方面，该方法还包括：响应于用户输入的第一操作，提示用户在第一图像中标注光源以及标注反射耀斑的位置，第一操作用于指示重新消除第一图像中的反射耀斑；响应于用户输入的第一标注操作，获取第一图像中光源的位置；响应于用户输入的第二标注操作，获取第一图像中反射耀斑的位置；根据第一图像中光源的位置和反射耀斑的位置，确定第一图像的目标点的第一坐标；根据第一图像的目标点的位置信息以及预设的第二模型，重新获得第二图像。这样，电子设备还可以根据用户的选定操作，确定第一图像中的目标点，为电子设备提供了另一种获得第一图像的目标点的方式，进而增加了消除第一图像中的反射耀斑的灵活性。

16、根据第一方面，根据第一图像中光源的位置和反射耀斑的位置，确定第一图像的目标点的位置信息，包括：获取第一图像中光源的中心点作为第二位置；获取第一图像中反射耀斑的中心点作为第三位置；获取第二位置和第三位置之间中点作为第一图像的目标点的第一坐标。这样，电子设备可以快速确定第一坐标。

17、第二方面，本技术提供了一种图像处理的方法，包括：在显示界面显示获取的第一图像，第一图像包括至少一个光源以及至少一个反射耀斑；响应于用户对第一图像的第一标注操作，获取第一图像中光源的位置；响应于用户对第一图像的第二标注操作，获取第一图像中反射耀斑的位置；根据第一图像中光源的位置和反射耀斑的位置，确定第一图像的目标点的第一坐标，第一图像的光源与反射耀斑基于第一图像的目标点对称分布；根据第一图像、第一坐标以及预设的第二模型，获得第二图像，第二图像为消除了第一图像中的反射耀斑的图像，第二模型是基于第二样本集训练获得，第二样本集包括多个第二样本图像、第三样本图像以及每个第二样本图像的目标点的坐标，第二样本图像包括至少一个光源和至少一个反射耀斑，第三样本图像为消除了第二样本图像中的反射耀斑的图像。

18、这样，由于每个设备拍摄的图像中的目标点（即光源与反射耀斑之间的对称中心）不同，若将图像的中心位置作为该对称中心，并基于该对称中心消除图像中产生的反射耀斑，会导致消除反射耀斑的效果差，而本示例中的电子设备可以通过用户的选定快速确定出获取的第一图像的目标点，使得确定第一图像的目标点更加准确，进而可以基于第一图像的目标点准确消除第一图像中的反射耀斑。本示例中在消除反射耀斑的方式可以应用于不同的设备，增加了该消除反射耀斑的方式适用的设备。同时，电子设备无需训练第一模型，减小电子设备的功耗。

19、第三方面，本技术提供了一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行第一方面以及第一方面的任一种实现方式对应的图像处理的方法。

20、第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

21、第四方面，本技术提供了一种计算机可读介质，用于存储计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行上述第一方面以及第一方面的任意一种实现方式所对应的图像处理的方法。