去反光模型的训练方法、去反光模型和去反光方法与流程

本发明涉及图像处理，尤其涉及一种去反光模型的训练方法、去反光模型和去反光方法。

背景技术：

1、用户在使用手机等终端设备，透过具有镜面反射效应的透光材料（如透明玻璃）等，拍摄透明玻璃后侧物体时，由于透明玻璃常常会发生镜面反射，反射光和透射光混叠在一起，可能会导致拍摄的图像中存在反光区域。该反光区域中，可能会出现透明玻璃前侧物体的反射图像，使得拍摄的图像的清晰度较差。其中，上述透明玻璃后侧物体，可以是与前述手机处于透明玻璃不同侧的物体。上述反光区域中出现的透明玻璃前侧物体，可以是与前述手机位于透明玻璃同一侧的物体。

2、目前，手机等终端设备，可以采用深度神经网络模型，进行去反光操作，来去除拍摄的图像中，透明玻璃前侧物体的反射图像，从而获得清晰度较高的去反光后的图像。

3、然而，采用深度神经网络模型进行去反光操作的处理方案，可能会由于深度神经网络模型的训练数据不充分，导致深度神经网络模型的预测结果的精确度较低。

技术实现思路

1、本发明实施例提供了一种去反光模型的训练方法、去反光模型和去反光方法。

2、第一方面，本发明提供了一种去反光模型的训练方法，此模型包括第一子模型和第二子模型；并且，此方法包括：基于第一训练数据和第一目标数据训练第一子模型，得到训练后的第一子模型，其中，第一训练数据包括第一样本图像，第一样本图像的拍摄内容包括反光对象、由反光对象反射成像的反射对象、由反光对象透射成像的透射对象，并且，第一目标数据包括第一样本图像的反射对象的光照图和第一样本图像的透射对象的光照图，第一样本图像的反射对象的光照图包括反射对象的光强，第一样本图像的透射对象的光照图包括透射对象的光强；基于第二训练数据和第二目标数据训练第二子模型，得到训练后的第二子模型，其中，第二训练数据包括第二样本图像和第二目标数据，第二目标数据包括第二样本图像的反射对象的反射图像和第二样本图像的透射对象的透射图像，并且，第二样本图像的拍摄内容与第一样本图像的拍摄内容相同，第二样本图像在第一波长范围内的光强与第一样本图像在第一波长范围内的光强相同。

3、在上述方法中，第一样本图像的反射对象的光照图的每一个像素值为第一样本图像的反射对象在此像素点位置上的照射光强，也即在此像素点位置上照射第一样本图像的反射对象的光束的光强。第一样本图像的透射对象的光照图的每一个像素值为第一样本图像的透射对象在此像素点位置上的照射光强，也即在此像素点位置上照射第一样本图像的透射对象的光束的光强。第一样本图像的第一波长范围内的光强为照射第一样本图像中拍摄内容的第一波长范围内的光束的光强，包括照射第一样本图像的反射对象的第一波长范围内的光束的光强，以及照射第一样本图像的透射对象的第一波长范围内的光束的光强。第二样本图像在第一波长范围内的光强为照射第二样本图像中拍摄内容的第一波长范围内的光束的光强，包括照射第二样本图像的反射对象的第一波长范围内的光束的光强，以及照射第二样本图像的透射对象的第一波长范围内的光束的光强。第一波长范围为第二样本图像的波长范围，也即照射第二样本图像的拍摄内容的光束的波长范围。

4、此去反光模型可以对第二样本图像进行去反光操作，从而将第二样本图像中的反射对象的反射图像分离出来，将获取的第二样本图像中的透射对象的透射图像，作为对第二样本图像进行去反光获取的去反光后的第二样本图像。其中，反射对象可以对应于下文的的前侧物体，透射对象可以对应于下文的的后侧物体，反光对象可以对应于下文的透明玻璃。

5、上述方法，将第一样本图像输入第一子模型后，可以训练第一子模型根据输入的第一样本图像，获取第一样本图像中反射对象的光照图和透射对象的光照图。将第二样本图像和第一子模型的输出的第一样本图像中反射对象的光照图和透射对象的光照图，输入第二子模型后，可以训练第一子模型根据输入的数据，获取第二样本图像的反射对象的反射图像和第二样本图像的透射对象的透射图像。

6、可以理解，由于第二样本图像的拍摄内容与第一样本图像的拍摄内容相同，第二样本图像在第一波长范围内的光强与第一样本图像在第一波长范围内的光强相同，因此，第二样本图像和第一样本图像在第一波长范围内具有相同的光照信息。光照信息可以包括图像的拍摄内容接收的光束的波长范围，以及接收的光束在不同波长范围内的光强。因此，第一子模型获取的第一样本图像中反射对象的光照图和透射对象的光照图，可以作为第二样本图像中反射对象的光照图和透射对象的光照图。

7、由于反射对象的光照图和透射对象的光照图的特征，与反射对象的反射图像和透射对象的透射图像具有强关联，因此，将第二样本图像中反射对象的光照图和透射对象的光照图作为先验信息和第二样本图像一起输入第二子模型，可以训练第二子模型依赖于输入的第一样本图像中反射对象的光照图和透射对象的光照图，对第二样本图像进行去反光操作，从而提高去反光模型的精确度。

8、在上述第一方面的一种可能的实现中，反光对象包括透明玻璃、透明塑料。

9、可以理解，反光对象可以为具有镜面反射效应的透光材料，反光对象包括但不限于透明玻璃和透明塑料。

10、在上述第一方面的一种可能的实现中，第一样本图像的波长范围包括第二样本图像的波长范围，第一样本图像的颜色通道的数量大于第二样本图像的颜色通道的数量。

11、可以理解，第一样本图像的波长范围为第一样本图像的拍摄内容接收的光束的波长范围，第二样本图像的波长范围为第二样本图像的拍摄内容接收的光束的波长范围，第一样本图像的颜色通道为第一样本图像包括的不同的颜色，第二样本图像的颜色通道为第二样本图像包括的不同的颜色。将第一样本图像输入第一子模型，获取的光照信息，比第二样本图像的光照信息更多，通过此光照信息，可以使得去反光模型对第二样本图像的去反光操作获取的结果更加精确。

12、在上述第一方面的一种可能的实现中，第一样本图像为多光谱图像，第二样本图像为rgb图像。

13、可以理解，可以基于多光谱图像获取rgb图像中拍摄内容的更多的光照信息，从而使得对于rgb图像的去反光操作获取的结果更加精确。

14、在上述第一方面的一种可能的实现中，通过以下方式获取第一样本图像的反射图像和第一样本图像的透射图像：获取反射对象的反射率图和反射对象的光照图；基于反射对象的反射率图和反射对象的光照图的乘积，得到反射对象的反射图像；获取透射对象的反射率图和透射对象的光照图；基于透射对象的反射率图和透射对象的光照图的乘积，得到透射对象的透射图像。

15、可以理解，在一种可能的实现中，可以在数据库中，获取第一物体的反射率图，作为反射对象的反射率图，第一物体可以为数据中的任意的物体，比如皮质沙发。可以在数据库中，获取第二物体的反射率图，作为反射对象的反射率图，第二物体可以为数据中的任意的物体，比如陶瓷花盆。其中，反射对象的反射率图的每一个像素点，为反射对象在此像素点位置上的反射率，反映了在此像素点位置上反射对象被照射后对照射的光束的反射能力。透射对象的反射率图的每一个像素点，为透射对象在此像素点位置上的反射率，反映了在此像素点位置上透射对象被照射后对照射的光束的反射能力。

16、可以理解，在一种可能的实现中，可以在数据库中，选取第一光照图，作为第一物体的光照图，选取第二光照图，作为第二物体的光照图。其中，第一光照图的每一个像素点，为在此像素点位置上的光强。第二光照图的每一个像素点，为在此像素点位置上的光强。

17、在上述第一方面的一种可能的实现中，第一样本图像可以基于下列公式得到：

18、 ；

19、其中，m表示第一样本图像，表示透射系数，的取值范围为（0.5，1），l表示光照图，r表示反射率图，t表示透射，r表示反射，lt表示透射对象的光照图，lr表示反射对象的光照图，rt表示透射对象的反射率图，rr表示反射对象的反射率图，k表示模糊核，为透射对象的透射图像，为反射对象的反射图像。

20、可以理解，可以基于上述公式，得到第一样本图像。其中，的值可以基于需要进行调整，从而获取更加符合需要的多光谱图像。

21、在上述第一方面的一种可能的实现中，第二样本图像、第二样本图像的反射对象的反射图像和第二样本图像的透射对象的透射图像可以通过下述方法获取：基于颜色匹配函数算法，将第一样本图像颜色通道映射为第二样本图像的颜色通道，得到第二样本图像；基于颜色匹配函数算法，将第一样本图像的反射对象的反射图像颜色通道映射为第二样本图像的反射对象的反射图像的颜色通道，得到第二样本图像的反射对象的反射图像；基于颜色匹配函数算法，将第一样本图像的透射对象的透射图像颜色通道映射为第二样本图像的透射对象的透射图像的颜色通道，得到第二样本图像的透射对象的透射图像。

22、可以理解，通过上述方法获得第二样本图像、第二样本图像的反射对象的反射图像和第二样本图像的透射对象的透射图像，并作为训练数据输入去反光模型，可以使得去反光模型的预测结果更加精确，提高训练后的去反光模型的精确度。

23、在上述第一方面的一种可能的实现中，模型为深度神经网络模型。

24、可以理解，去反光模型可以为深度神经网络模型中任意一个，本技术实施例中，不做具体限定。

25、第二方面，本文提供了一种去反光模型，包括第一子模型和第二子模型；其中，第一子模型用于生成待处理的第一图像的光照图，其中，第一图像的拍摄内容包括反光对象、由反光对象反射成像的反射对象和由反光对象透射成像的透射对象，第一图像的光照图包括第一图像的反射对象的光照图和第一图像的透射对象的光照图，第一图像的反射对象的光照图包括反射对象的光强，第一图像的透射对象的光照图包括透射对象的光强；第二子模型用于基于第一图像和第一图像的光照图，对第一图像进行去反光处理得到第二图像，其中，第二图像不包括反射对象。

26、其中，第一图像的反射对象的光照图的每一个像素值为第一图像的反射对象在此像素点位置上的照射光强，也即在此像素点位置上照射第一图像的反射对象的光束的光强。第一图像的透射对象的光照图的每一个像素值为第一图像的透射对象在此像素点位置上的照射光强，也即在此像素点位置上照射第一图像的透射对象的光束的光强。

27、上述模型，可以通过第一子模型获取第一图像的光照图，通过第二子模型，根据第一图像的光照图和第一图像，对第一图像进行去反光操作。由于第一图像的光照图的特征，与第一图像的反射对象和透射对象的成像具有强关联，此模型可以依赖于获取的第一图像的光照图的特征，对第二样本图像进行去反光操作，提高去反光模型获取的结果的精确度。

28、在上述第二方面的一种可能的实现中，反光对象包括透明玻璃、透明塑料。

29、在上述第二方面的一种可能的实现中，生成待处理的第一图像的光照图，包括：基于第一图像的参照图像，得到第一图像的光照图，其中，第一图像的参照图像的拍摄内容与第一图像的拍摄内容相同，第一图像的参照图像在第一波长范围内的光强与第一图像的第一波长范围内的光强相同。

30、可以理解，第一波长范围为第二样本图像的波长范围，也即照射第一图像的拍摄内容的光束的波长范围。第一图像的参照图像在第一波长范围内的光强，为照射第一图像的参照图像中拍摄内容的第一波长范围内的光束的光强，包括照射第一图像的参照图像的反射对象的第一波长范围内的光束的光强，以及照射第一图像的参照图像的透射对象的第一波长范围内的光束的光强。第一图像在第一波长范围内的光强为照射第一图像中拍摄内容的第一波长范围内的光束的光强，包括照射第一图像的反射对象的第一波长范围内的光束的光强，以及照射第一图像的透射对象的第一波长范围内的光束的光强。

31、可以理解，由于第一图像的参照图像的拍摄内容与第一图像的拍摄内容相同，第一图像的参照图像在第一波长范围内的光强与第一图像在第一波长范围内的光强相同，因此，第一图像的参照图像和第一图像在第一波长范围内具有相同的光照信息。光照信息可以包括图像的拍摄内容接收的光束的波长范围，以及接收的光束在不同波长范围内的光强。因此，上述获取的第一图像的参照图像中反射对象的光照图和透射对象的光照图，可以作为第一图像中反射对象的光照图和透射对象的光照图。

32、在上述第二方面的一种可能的实现中，第一图像的参照图像的波长范围包括第一图像的波长范围，第一图像的参照图像的颜色通道的数量大于第一图像的颜色通道的数量。

33、可以理解，第一图像的参照图像的波长范围为第一图像的参照图像的拍摄内容接收的光束的波长范围，第一图像的波长范围为第一图像的拍摄内容接收的光束的波长范围，第一图像的参照图像的颜色通道为第一图像的参照图像包括的不同的颜色，第一图像的颜色通道为第一图像包括的不同的颜色。因此，将第一图像的参照图像输入第一子模型，获取的光照信息，比第二样本图像的光照信息更多，通过此光照信息，可以使得去反光模型对第二样本图像的去反光操作获取的结果更加精确。

34、在上述第二方面的一种可能的实现中，第一图像的参照图像为采用多光谱摄像头拍摄的图像，第一图像为采用rgb摄像头拍摄的图像。

35、可以理解，可以采用多光谱摄像头和rgb摄像头采用相同的参数，比如曝光参数，同时对相同的拍摄内容采集图像，分别获取多光谱图像和rgb图像。从而使得多光谱摄像头和rgb摄像头可以采集同样的拍摄内容在相同拍摄场景中的图像，使得多光谱图像和rgb图像具有相同的光照信息和相同的拍摄内容。从而提高去反光模型对rgb图像的去反光操作的结果的精确度。

36、在上述第二方面的一种可能的实现中，模型为深度神经网络模型。

37、可以理解，去反光模型可以为深度神经网络模型中任意一个，本技术实施例中，不做具体限定。

38、第三方面，本文提供了一种去反光方法，此方法包括获取待处理的第一图像，其中第一图像的拍摄内容包括反光对象和由反光对象反射成像的反射对象；基于第一图像的光照图，对第一图像进行去反光处理得到第二图像，其中，第一图像的光照图包括第一图像的反射对象的光照图，反射对象的光照图包括第一图像的反射对象的光强，第二图像不包括反射对象。

39、在上述第三方面的一种可能的实现中，反光对象包括透明玻璃、透明塑料。

40、在上述第三方面的一种可能的实现中，第一图像的拍摄内容还包括由反光对象透射成像的透射对象，第一图像的光照图还包括第一图像的透射对象的光照图，透射对象的光照图包括第一图像的透射对象的光强，并且第二图像包括透射对象。

41、在上述第三方面的一种可能的实现中，基于第一图像的光照图，对第一图像进行去反光处理得到第二图像，包括：基于第一图像的参照图像，得到第一图像的光照图，第一图像的参照图像的拍摄内容与第一图像的拍摄内容相同，且第一图像的参照图像在第一波长范围内的光强，与第一图像在第一波长范围内的光强相同。基于第一图像和第一图像的光照图，得到第二图像。

42、第四方面，本发明实施例提供了一种可读存储介质，该可读存储介质上存储有指令，该指令在电子设备上执行时使电子设备实现上述第一方面及各种可能实现和第三方面及各种可能实现提供的任意一种方法。

43、第五方面，本发明实施例提供了一种电子设备，该电子设备包括：存储器，用于存储由电子设备的一个或多个处理器执行的指令；以及处理器，是电子设备的处理器之一，用于执行存储器中存储的指令以实现上述第一方面及各种可能实现和第三方面及各种可能实现提供的任意一种方法。

44、第六方面，本发明实施例提供了一种程序产品，该程序产品中包括指令，在该指令被电子设备执行时可以使电子设备实现上述第一方面及各种可能实现和第三方面及各种可能实现提供的任意一种方法。