一种处理车牌图像的方法以及装置与流程

本技术涉及图像处理，尤其涉及一种处理车牌图像的方法以及装置。

背景技术：

1、随着社会经济的快速发展，道路交通迅速发展，车辆保有量及交通出行量剧增，为解决地面交通迅速发展所引发的诸多问题，智能交通系统(intelligent traffic system，its)发挥着重要的作用。

2、在智能交通系统的智能监控技术中，现有的监控设备对车辆拍摄监控图像时，为了拍摄清楚场景中行人、车辆以及车辆中人的行为等信息，需要提高监控设备的曝光时间或者在附近安装补光用爆闪灯，监控设备拍摄时会联动爆闪灯爆闪，抓拍的瞬间爆闪灯亮度比较大，导致拍摄到的监控图像中的车牌可能会过曝，进而导致车牌图像颜色失真。

3、对颜色失真的车牌图像进行矫正处理，有利于提升后续对车牌图像进行处理的准确率，比如有利于提升车牌识别的准确率。因此，如何解决车牌图像颜色失真问题是一个需要解决的技术问题。

技术实现思路

1、本技术提供一种处理车牌图像的方法以及装置，可以提升对颜色失真的车牌图像的矫正效果。

2、第一方面，本技术实施例提供一种处理车牌图像的方法，可以适用于多种需要对车牌图像进行处理的场景，比如可以适用于道路监控场景或者停车场自动收费的场景。该方法包括：获取第一待处理的车牌图像。第一待处理的车牌图像可以是包括一个车牌的图像，比如，通过道路监控设备获取到的原始图像可能包括一个或者多个车牌，通过对原始图像进行车牌检测得到该原始图像中包括的一个或多个车牌中每个车牌所在的区域，其中，上述车牌检测得到的每车牌所在的区域对应的图像都可以视为一个第一待处理的车牌图像。根据第一待处理的车牌图像从多个车牌底色模板图像中获取目标车牌底色模板图像，每个车牌底色模板图像包括尺寸固定和形状固定的颜色区域，颜色区域具有至少一种颜色，任意两个车牌底色模板图像包含至少一种不同的颜色。利用机器学习模型对第一待处理的车牌图像和目标车牌底色模板图像进行处理，以获取目标车牌图像，目标车牌图像中车牌的底色与目标车牌底色模板图像包含的颜色一致。

3、本技术实施例提供的方案在利用机器学习模型对车牌图像进行图像处理时，引入了车牌底色模板图像作为辅助信息，可以使机器学习模型输出的车牌图像的底色和引入的车牌底色模板图像包括的颜色一致，能够提升对车牌图像中车牌的底色的矫正或增强效果。

4、在第一方面的一种可能的实施方式中，根据第一待处理的车牌图像从多个车牌底色模板图像中获取目标车牌底色模板图像，包括：获取第一待处理的车牌图像中车牌的底色。根据第一待处理的车牌图像中车牌的底色从多个车牌底色模板图像中获取目标车牌底色模板图像。在这种实施方式中，给出了一种具体的获取目标车牌底色模板图像的方式，其中，获取第一待处理的车牌图像的底色可以有多种方式，本技术实施例对此并不进行限定。比如，可以获取第一待处理的车牌图像的彩色图像和高亮灰度图像。然后，对于彩色图像中任一个第一像素点，确定该第一像素点的颜色是否为车牌颜色。这里，车牌颜色是指需要增强的车牌底色，可以根据需要设定。在确定第一像素点的颜色为车牌颜色时，根据高亮灰度图像中与第一像素点坐标一致的第二像素点的亮度值，确定第一像素点的色彩增强强度。这里，对于不同的亮度值，本技术的实施例可以采用不同的色彩增强强度。例如，亮度值较低时，色彩增强强度较低或者为零。亮度值较高时，色彩增强强度较高。简言之，亮度值越高，色彩增强强度越大。根据第一像素点的色彩增强强度，对第一像素点进行色彩增强处理，并确定第一像素点的输出像素值，进而可以获取第一待处理的车牌图像中车牌的底色。再比如，也可以通过人来观测该第一待处理的车牌图像中车牌的底色，并对该第一车牌图像中车牌的底色进行标注。

5、在第一方面的一种可能的实施方式中，该方法还包括：获取第二待处理的车牌图像，第二待处理的车牌图像和第一待处理的车牌图像都包括第一车牌，第二待处理的车牌图像的亮度低于第一待处理的车牌图像的亮度。获取第一待处理的车牌图像中车牌的底色，包括：根据第二待处理的车牌图像中第一车牌的底色获取第一待处理的车牌图像中车牌的底色。通常需要进行车牌底色增强的图像存在图像过曝的问题，即第一待处理的车牌图像可能存在图像过曝的问题。比如，通常为了拍摄清楚场景中行人、车辆以及车辆中人的行为等信息，需要提高监控设备的曝光时间或者在附近安装补光用爆闪灯，监控设备拍摄时会联动爆闪灯爆闪，抓拍的瞬间爆闪灯亮度比较大，导致拍摄到的监控图像中的车牌可能会过曝，进而导致车牌图像颜色失真。换句话说，为了能够准备识别拍摄的内容，需要获取的图像的亮度足够高，但是亮度足够高的图像可能存在过曝问题，导致图像中车牌底色的失真。在一定程度上，亮度不足够高的图像中车牌的底色更接近标准车牌的底色。所以，在这种实施方式中，可以通过亮度低的车牌图像获取车牌的底色，并根据获取到的车牌的底色获取目标车牌底色模板，再将获取到的目标车牌底色模板，和亮度高的车牌图像输入至机器学习模型中，以针对亮度高的车牌图像(可能是过曝图像)进行车牌底色增强处理。

6、在第一方面的一种可能的实施方式中，该第一待处理的车牌图像是在补光状态下拍摄的，第二待处理的车牌图像是在无补光状态下拍摄的。

7、在第一方面的一种可能的实施方式中，该方法还包括：根据第一待处理的车牌图像对目标车牌底色模板图像进行图像配准处理，以获取配准后的目标车牌底色模板图像。利用机器学习模型对第一待处理的车牌图像和目标车牌底色模板图像进行处理，以获取目标车牌图像，包括：利用机器学习模型对第一待处理的车牌图像和配准后的目标车牌底色模板图像进行处理，以获取目标车牌图像。在一些场景中，通过摄像机等设备拍摄到的第一待处理的车牌图像，或者第一待处理的车牌图像和第二待处理的车牌图像，和目标车牌底色模板图像的角度可能并不能保持一致，对此，还可以根据第一待处理的车牌图像对目标车牌底色模板图像进行配准处理，以使最终获取的目标车牌图像能够更接近真实拍摄获取的车牌图像。

8、在第一方面的一种可能的实施方式中，第二待处理的车牌图像是根据预设的图像质量评估指标从多帧第三待处理的车牌图像中选择得到的。

9、在第一方面的一种可能的实施方式中，该方法还包括：在获取第一待处理的车牌图像之前，获取m帧图像，m为正整数。在获取第一待处理的车牌图像之后，获取n帧图像，n为正整数。根据m帧图像和n帧图像获取多帧第三待处理的车牌图像。为了使获取第二待处理的车牌图像时利用到的多张车牌图像能够能丰富，可以基于不同的时机获取多张车牌图像，并从中选择一张车牌图像作为待处理的车牌图像。

10、第二方面，本技术一种车牌图像处理模型的训练方法，包括：获取第一车牌图像，第一车牌图像的图像质量满足预设条件。对第一车牌图像进行图像退化处理，以获取第二车牌图像。获取第一车牌图像中车牌的底色。根据底色从多个车牌底色模板图像中获取目标车牌底色模板图像，每个车牌底色模板图像包括尺寸固定和形状固定的颜色区域，颜色区域具有至少一种颜色，任意两个车牌底色模板图像包含至少一种不同的颜色。将第一车牌图像、第二车牌图像和目标车牌底色模板图像作为训练样本训练得到机器学习模型。

11、在第二方面的一种可能的实施方式中，将第一车牌图像、第二车牌图像和目标车牌底色模板图像作为训练样本训练得到机器学习模型，包括：将第一车牌图像、第二车牌图像和目标车牌底色模板图像输入至初始的机器学习模型。对第一车牌图像、第二车牌图像和目标车牌底色模板图像进行特征提取，以获取特征向量。根据该特征向量对第二车牌图像的底色进行矫正处理，以获取矫正结果。根据该矫正结果和第一车牌图像中车牌的底色之间的差异获取损失值。根据损失值更新初始的机器学习模型，以获取训练后的机器学习模型。

12、在第二方面的一种可能的实施方式中，该方法还包括：根据第二车牌图像对目标车牌底色模板图像进行图像配准处理，以获取配准后的目标车牌底色模板图像。将第一车牌图像、第二车牌图像和目标车牌底色模板图像作为训练样本训练得到机器学习模型，包括：利用第二车牌图像、第二车牌图像和配准后的目标车牌底色模板图像作为训练样本训练得到机器学习模型。

13、第三方面，本技术实施例提供一种处理车牌图像的装置，该处理车牌图像的装置具有实现上述第一方面处理车牌图像的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。比如，在一个可能的实施方式中，该处理车牌图像的装置，可以包括获取模块和处理模块。

14、第四方面，本技术实施例提供一种车牌图像处理模型的训练装置，该车牌图像处理模型的训练装置具有实现上述第二方面车牌图像处理模型的训练方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。比如，在一个可能的实施方式中，该车牌图像处理模型的训练装置，可以包括获取模块和处理模块。

15、第五方面，本技术实施例提供一种处理车牌图像的装置，包括：处理器和存储器，其中，处理器和存储器通过线路互联，处理器调用存储器中的程序代码用于执行上述第一方面任一项所示的处理车牌图像方法中与处理相关的功能。可选地，该处理车牌图像的装置可以是芯片。

16、在第五方面的一种可能的实施方式中，该处理车牌图像的装置可以是摄像机、监控设备、车载设备、汽车中的至少一种。

17、第六方面，本技术实施例提供一种车牌图像处理模型的训练装置，包括：处理器和存储器，其中，处理器和存储器通过线路互联，处理器调用存储器中的程序代码用于执行上述第二方面任一项所示的车牌图像处理模型的训练方法中与处理相关的功能。可选地，该车牌图像处理模型的训练装置可以是芯片。

18、第七方面，本技术实施例提供了一种数字处理芯片或者芯片，芯片包括处理单元和通信接口，处理单元通过通信接口获取程序指令，程序指令被处理单元执行，处理单元用于执行如上述第一方面或第二方面中任一可选实施方式中与处理相关的功能。

19、第八方面，本技术实施例提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面中任一可选实施方式中的方法。

20、第九方面，本技术实施例提供了一种包含计算机程序/指令的计算机程序产品，当其被处理器执行时，使得处理器执行上述第一方面或第二方面中的任一可选实施方式中的方法。