一种图像融合方法、装置、电子设备及存储介质与流程

1.本发明涉及图像处理技术领域，特别是涉及一种图像融合方法、装置、电子设备及存储介质。


背景技术：

2.城市道路卡口系统是在城市出入口和收费站等卡口处通过安装摄像头对过往车辆进行自动实时拍摄与记录的系统。为了使拍摄的画面更清楚，城市道路卡口系统通常会在拍摄过往车辆时采用爆闪灯补光，因此，爆闪灯带来的光污染问题越来越普遍。为了避免光污染，如何在低照度场景下提升成像质量，一直是监控领域的热点需求。
3.目前通常是通过同时拍摄同一场景的红外图像和可见光图像，利用红外图像的高信噪比的特点，对红外图像和可见光图像进行融合得到亮度较高的融合图像，这样可以降低补光灯的强度，减少光污染。
4.然而，对于一些红外反射特性差异较大的物体，红外图像和可见光图像融合后得到的融合图像会存在一定的色彩失真。可以通过整体限制红外图像的亮度在融合图像中的权重校正融合图像的色彩失真。但是限制权重会导致无法保证融合图像的高信噪比及信息量最大化，即会导致融合图像质量较差。也就是说，目前无法在保证融合图像的质量的前提下，获得颜色准确的融合图像。


技术实现要素：

5.本发明实施例的目的在于提供一种图像融合方法、装置、电子设备及存储介质，以在保证融合图像的质量的前提下，获得颜色准确的融合图像。
6.第一方面，本发明实施例提供了一种图像融合方法，包括：
7.获取目标可见光图像和目标红外图像；
8.根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；其中，所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异；
9.基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；其中，所述对应关系为差分特征与融合权重呈反相关关系；
10.根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；
11.基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。
12.可选的，在所述对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像之后，还包括：
13.根据所述融合后的图像的各个像素点的r、g、b值，确定每个像素点对应的预设颜
色；
14.基于所述融合后的图像的各个像素点对应的预设颜色以及每个像素点的r、g、b值，确定每个像素点对应的偏色校正参数；
15.根据所述融合后的图像的亮度和所述目标可见光图像的亮度，确定所述融合后的图像的各个像素点对应的亮度参数；
16.基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的r、g、b值和每个像素点对应的亮度参数，对该像素点的r、g、b值进行校正，得到校正后的融合图像。
17.可选的，所述基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的r、g、b值和每个像素点对应的亮度参数，对该像素点的r、g、b值进行校正，得到校正后的融合图像，包括：
18.针对所述融合后的图像的每个像素点，根据该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值和该像素点对应的偏色校正参数，计算该像素点的每个颜色通道对应的校正值；
19.将该像素点的每个颜色通道的灰度值分别减去对应的校正值，得到校正后的融合图像。
20.可选的，所述根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图，包括：
21.对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤波，得到可见光亮度特征图像和红外亮度特征图像；
22.计算所述可见光亮度特征图像和所述红外亮度特征图像中对应位置的像素点之间的亮度差值的绝对值，得到以所述绝对值为像素值的图像作为亮度差分特征图。
23.可选的，所述基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像，包括：
24.计算所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间亮度通道的像素值之差，得到红外图像细节纹理图层；
25.根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。
26.可选的，所述根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像，包括：
27.对所述目标红外图像的每个像素点的y值和所述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的y值和所述第二融合权重的乘积以及所述红外图像细节纹理图层与该像素点位置相同的像素点的像素值进行求和，得到的和值作为融合后的该位置处的像素点的y值，以及，基于融合后的该位置处的像素点的y值与所述目标可见光图像中该位置处的像素点y值的比值作为亮度增益，并将所述目标可见光图像中该位置处的像素点u、v值与亮度增益的乘积分别确定为融合后的该位置处的像素点的u、v值，得到融合后的图像。
28.可选的，所述基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对
应关系，确定所述目标红外图像的各个像素点对应的第一融合权重，包括：
29.针对所述目标红外图像的每个像素点，如果该像素点在所述亮度差分特征图中对应的像素值不大于预设差分阈值，确定该像素点对应的第一融合权重为目标权重值；
30.如果该像素点在所述亮度差分特征图中对应的像素值大于所述预设差分阈值，基于所述像素值以及预设权重函数，确定该像素点对应的第一融合权重；其中，所述预设权重函数表示第一融合权重在所述目标权重值的基础上，随着所述像素值的递增而线性递减。
31.第二方面，本发明实施例提供了一种图像融合装置，包括：
32.图像获取模块，用于获取目标可见光图像和目标红外图像；
33.差分特征确定模块，用于根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；其中，所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异；
34.第一权重确定模块，用于基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；其中，所述对应关系为差分特征与融合权重呈反相关关系；
35.第二权重确定模块，用于根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；
36.图像融合模块，用于基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。
37.第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
38.存储器，用于存放计算机程序；
39.处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
40.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
41.本发明实施例有益效果：
42.采用本发明实施例提供的方法，获取目标可见光图像和目标红外图像；根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。即可以通过亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定目标红外图像的各个像素点对应的第一融合权重，根据第一融合权重计算得到目标可见光图像的各个像素点对应的第二融合权重，可以根据第一融合权重以及第二融合权重，对目标可见光图像和目标红外图像对应位置的每个像素点进行融合，使得到的融合后的图像中每个像素点中来自目标红外图像的亮度和来自目标可见光图像的亮度达到最佳比例。由于亮度差分特征图用于表征所述目标可见光图像和所述目标红外
图像之间的反射特性差异，差分特征与融合权重呈反相关关系，因此对于红外反射特性差异较大的区域，可以通过降低该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，减少融合图像中该区域图像来自红外图像的亮度，进而避免了融合图像中该区域图像的色彩失真，对于红外反射特性差异较小的区域，可以通过提升该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，增加融合图像中该区域图像来自红外图像的亮度，提升融合图像中该区域图像的亮度，即本发明实施例提供的方法可以在保证融合图像的质量的前提下，获得颜色准确的融合图像。融合后的图像既具有可见光所具有的颜色信息，又具有红外光图像所具有的高信噪比的优点，因此，采用本发明实施例提供的方法可在低照度场景下获得清晰的彩色图像。
43.当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
45.图1为可见光图像、红外图像与融合图像的一种示意图；
46.图2为可见光图像、红外图像与融合图像的另一种示意图；
47.图3为本发明实施例提供的图像融合方法的一种流程图；
48.图4为红外图像与可见光图像的一种对比示意图；
49.图5为红外图像与可见光图像的另一种对比示意图；
50.图6为红外图像与可见光图像的又一种对比示意图；
51.图7为本发明实施例提供的获得亮度差分特征图的一种示意图；
52.图8为本发明实施例提供的一种差分特征映射示意图；
53.图9为本发明实施例提供的对融合后的图像进行偏色校正的一种流程图；
54.图10为本发明实施例提供的校正后的融合图像的一种示意图；
55.图11为本发明实施例提供的图像融合装置的一种结构示意图；
56.图12为本发明实施例提供的图像融合装置的另一种结构示意图；
57.图13为本发明实施例提供的电子设备的结构示意图。
具体实施方式
58.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本发明保护的范围。
59.由于爆闪灯带来的光污染问题越来越普遍，为了避免光污染，目前城市道路卡口系统通常会降低爆闪灯的强度，在低照度场景拍摄过往车辆的图像。然而低照度场景下的成像质量较差。为了提升低照度场景下的成像质量，目前通常是通过同时拍摄同一场景的
红外图像和可见光图像，对红外图像和可见光图像进行融合得到亮度较高的融合图像。
60.由于可见光图像具有颜色信息，红外图像具有高信噪比等特点，因此在低照度场景下可以将红外图像和可见光图像融合得到清晰的彩色图像——融合图像。但是对于一些具有红外反光材料的物体，将红外图像和可见光图像融合所得到的融合图像往往会出现色彩失真的问题。图1为可见光图像、红外图像与融合图像的一种示意图，如图1所示，图1中可见光图像101与红外图像102融合得到融合图像103，由于车身具有红外反光特性(图1中车辆外壳颜色为红色)，因此得到的融合图像103中车身颜色与真实颜色相比存在颜色失真的问题。
61.为了避免融合图像出现颜色失真的问题，一些方法可以通过整体限制红外图像的亮度在融合图像中的权重校正融合图像的色彩失真。图2为可见光图像、红外图像与融合图像的另一种示意图，如图2所示，图2中车身具有红外反光特性(图2中车辆外壳颜色为红色)，将图2中可见光图像201与红外图像202进行融合得到融合图像203，并且在进行图像融合时整体限制了红外图像202的亮度在融合图像203中的权重，因此，所得到的融合图像203的色彩失真问题得到了一定程度的解决，然而，由于整体限制了红外图像202的亮度在融合图像203中的权重，因此所得到的融合图像203的亮度受到了影响，融合图像203的信噪比及信息量也受到了限制，图像质量较差。也就是说，目前利用红外图像和可见光图像融合所得到的融合图像存在一定的色偏问题或者对红外亮度信息利用不足的问题，即目前无法在保证融合图像的质量的前提下，获得颜色准确的融合图像。
62.为了在保证融合图像的质量的前提下，获得颜色准确的融合图像，本发明实施例提供了提供一种图像融合方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。
63.本发明实施例所提供的图像融合方法可以应用于任何可以进行图像处理的电子设备，例如，可以为电脑、摄像机、处理设备等，在此不做具体限定，图像处理的电子设备可以对图像进行滤波和图像融合等处理。
64.图3为本发明实施例提供的图像融合方法的一种流程图，如图3所示，所述方法包括：
65.s301，获取目标可见光图像和目标红外图像。
66.s302，根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图。
67.其中，所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异。
68.s303，基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重。
69.其中，所述对应关系为差分特征与融合权重呈反相关关系。
70.s304，根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重。
71.s305，基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。
72.采用本发明实施例提供的方法，获取目标可见光图像和目标红外图像；根据所述
目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。即可以通过亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定目标红外图像的各个像素点对应的第一融合权重，根据第一融合权重计算得到目标可见光图像的各个像素点对应的第二融合权重，可以根据第一融合权重以及第二融合权重，对目标可见光图像和目标红外图像对应位置的每个像素点进行融合，使得到的融合后的图像中每个像素点中来自目标红外图像的亮度和来自目标可见光图像的亮度达到最佳比例。由于亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异，差分特征与融合权重呈反相关关系，因此对于红外反射特性差异较大的区域，可以通过降低该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，减少融合图像中该区域图像来自红外图像的亮度，进而避免了融合图像中该区域图像的色彩失真，对于红外反射特性差异较小的区域，可以通过提升该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，增加融合图像中该区域图像来自红外图像的亮度，提升融合图像中该区域图像的亮度，即本发明实施例提供的方法可以在保证融合图像的质量的前提下，获得颜色准确的融合图像。融合后的图像既具有可见光所具有的颜色信息，又具有红外光图像所具有的高信噪比的优点，因此，采用本发明实施例提供的方法可在低照度场景下获得清晰的彩色图像。
73.本发明实施例中，可以针对同一被拍摄场景，使用红外摄像机和可见光摄像机同时拍摄该场景的图像，得到目标红外图像和目标可见光图像。
74.或者，也可以通过双传感器相机拍摄被拍摄场景，得到该场景的红外图像和可见光图像。双传感器相机采用两颗星光级图像传感器，其中一颗传感器通过红外补光并对红外光波段感光获取红外图像，提供亮度信息，另外一颗传感器对可见光波段感光获取可见光图像，提供环境颜色信息和亮度信息。具体的，可以预设快门增益光圈值，通过双传感器相机抓拍被拍摄场景，获取可见光图像和红外光图像，经图像信号处理和图像配准，可以得到可见光图像和红外光图像的yuv数据。其中，yuv是图像的一种颜色空间，“y”表示明亮度，“u”和“v”表示色度和浓度。
75.红外图像对于同一颜色的亮度表现不一致，风格迥异。图4为红外图像与可见光图像的一种对比示意图，图5为红外图像与可见光图像的另一种对比示意图，图6为红外图像与可见光图像的又一种对比示意图。图4中包括可见光图像401和红外图像402，图5中包括可见光图像501和红外图像502，图6中包括可见光图像601和红外图像602。图4、图5和图6中的车辆的车身均为红色，如图4、图5和图6所示，对于都是红颜色的车辆，红外图像402、红外图像502和红外图像602中，有的明亮有的暗淡。并且，可见光图像601中人物衣服上的条纹在红外图像602中不可见，黑色安全带在红外图像中均变为灰色。如果对红外图像对于同一颜色的亮度表现不一致的特点不加以区分，势必会导致融合得到的图像产生偏色问题。
76.本发明实施例中，利用了可见光图像和红外图像之间的亮度差分特征图进行图像融合。可见光图像和红外图像之间的亮度差分特征图可以很好得反映融合图像中容易偏色
的图像区域，因此本发明实施例可以利用亮度差分特征图，在融合图像时对融合图像中容易偏色的图像区域做偏色校正，避免融合后得到的融合图像出现偏色等颜色失真的问题。
77.图7为本发明实施例提供的获得亮度差分特征图的一种示意图，如图7所示，对可见光图像701和红外图像702进行差分处理，可以得到对应的亮度差分特征图703。亮度差分特征图703中越亮的图像区域，红外图像702和可见光图像701中对应的该区域的红外反射特性差异越大，越容易产生偏色问题，如亮度差分特征图703中驾驶人员的上衣对应的图像区域；反之亮度差分特征图703中越暗的图像区域，红外图像702和可见光图像701中对应的该区域的红外反射特性差异越小，越不容易产生偏色问题，如亮度差分特征图703中方向盘对应的图像区域。也就是说，红外反射较可见光更强烈，在可见光图像中非常暗的、红外图像中非常亮的区域，对融合图像中该区域进行亮度消减可以还原真实颜色。
78.在一种可能的实施方式中，所述根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图，可以包括如下步骤a1-a2：
79.步骤a1，对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤波，得到可见光亮度特征图像和红外亮度特征图像。
80.本实施方式中，可以选择能够消除噪点的滤波器对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤波，例如，可以选择尺度为3的高斯滤镜对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道进行局部平滑、消除噪点，得到可见光亮度特征图像和红外亮度特征图像：
[0081][0082]
其中，k(x)为低通保边滤波器算子，例如高斯滤波算子等，f
vis
为可见光亮度特征图像，f
nir
为红外亮度特征图像，y
vis
目标可见光图像，y
nir
为目标红外图像，x为目标可见光图像和目标红外图像中相同位置处的像素点，表示低通滤波操作。
[0083]
步骤a2，计算所述可见光亮度特征图像和所述红外亮度特征图像中对应位置的像素点之间的亮度差值的绝对值，得到以所述绝对值为像素值的图像作为亮度差分特征图。
[0084]
具体的，可以采用如下公式计算亮度差分特征图：
[0085]
diff(x)＝abs(f
nir
(x)-f
vis
(x))
[0086]
其中，abs为取绝对值的运算，diff(x)为所述亮度差分特征图中像素点x的像素值，f
vis
(x)为所述可见光亮度特征图像中与像素点x相同位置处的像素点的亮度通道的像素值，f
nir
(x)为红外亮度特征图像中与像素点x相同位置处的像素点的亮度通道的像素值。
[0087]
在一种可能的实施方式中，所述基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重，可以包括如下步骤b1-b2：
[0088]
步骤b1，针对所述目标红外图像的每个像素点，如果该像素点在所述亮度差分特征图中对应的像素值不大于预设差分阈值，确定该像素点对应的第一融合权重为目标权重值。
[0089]
目标权重值可以根据实际的图像融合场景进行具体设定，通常可以设定为1，即如果该像素点在所述亮度差分特征图中对应的像素值不大于预设差分阈值，表示：该像素点
和所述可见光图像中对应的像素点之间的反射特性差异不足以导致融合后的图像产生偏色问题。当然，目标权重值也可以设定为0.9或0.8等，表示：该像素点和所述可见光图像中对应的像素点之间的反射特性差异会导致融合后的图像产生轻微的偏色问题，因此，可以通过将第一融合权重设定为目标权重值，对融合后的图像进行偏色校正。
[0090]
步骤b2，如果该像素点在所述亮度差分特征图中对应的像素值大于所述预设差分阈值，基于所述像素值以及预设权重函数，确定该像素点对应的第一融合权重。
[0091]
其中，所述预设权重函数表示第一融合权重在所述目标权重值的基础上，随着所述像素值的递增而线性递减。
[0092]
由于所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异。如果该像素点在所述亮度差分特征图中对应的像素值大于预设差分阈值，表示：该像素点和所述可见光图像中对应的像素点之间的反射特性差异过大，如果对所述目标可见光图像和所述目标红外图像进行融合，融合后的图像中该像素点对应的像素点会产生较为严重的偏色问题。因此，可以使第一融合权重在目标权重值的基础上随着像素值的递增而线性递减，即所述目标红外图像中和所述目标可见光图像之间的反射特性差异越大的像素点对应的第一融合权重越小。针对所述目标可见光图像和所述目标红外图像中反射特性差异大的位置，可以通过降低所述目标红外图像对应位置的像素点的第一融合权重，进而降低融合后的图像中对应像素点来自所述目标红外图像的亮度，达到校正偏色的效果。
[0093]
本发明实施例中，具体可以采用如下公式，基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重：
[0094][0095]
其中，α(x)为所述目标红外图像的像素点x对应的第一融合权重，diff(x)为像素点x在所述亮度差分特征图对应的像素值，thresh为预设差分阈值，预设差分阈值可以根据实际应用场景进行设定，此处不做具体限定，b为目标权重值，目标权重值b通常可以设定为1或0.9等。s为预设权重系数，s小于0。
[0096]
由上述第一融合权重确定公式可知，针对目标红外图像的每个像素点，如果该像素点在亮度差分特征图中对应的像素值diff(x)不大于预设差分阈值thresh，则该像素点对应的第一融合权重为目标权重值b。如果该像素点在亮度差分特征图中对应的像素值diff(x)大于预设差分阈值thresh，由于预设权重系数s小于0，则可以根据“diff(x)》thresh”对应的第一融合权重公式“s*(diff(x)-thresh)+b”确定出，第一融合权重α(x)是在目标权重值b的基础上，随着像素值diff(x)的递增而线性递减。
[0097]
对红外光反射强烈且红外图像中与可见光图像反射差异较大的区域，如果在图像融合时对该区域直接使用红外图像中的亮度，较容易引起偏色导致出现颜色失真的问题，因此图像融合时可以对该区域适当减少红外图像中的亮度的使用。
[0098]
图8为本发明实施例提供的一种差分特征映射示意图，如图8所示，当目标红外图像与目标可见光图像中对应位置的像素点x之间的亮度差分特征diff(x)小于等于预设差分阈值(thresh)时，对目标可见光图像和目标红外图像进行图像融合得到的融合后的图像
中该位置处的像素点对应的第一融合权重α最高，可以为1；当目标红外图像与目标可见光图像中对应位置的像素点之间的亮度差分特征大于thresh时，对目标可见光图像和目标红外图像进行图像融合得到的融合后的图像中该位置处的像素点对应的第一融合权重α随着亮度差分特征的增大而减小，如图8所示，减小的速率可以用预设权重系数slope表示。
[0099]
在一种可能的实施方式中，所述基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像，可以包括如下步骤c1-c2：
[0100]
步骤c1，计算所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间亮度通道的像素值之差，得到红外图像细节纹理图层。
[0101]
具体的，如下述公式所示，可以将所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间亮度通道的像素值之差，然后像素值之差再乘以预设强弱参数，得到得到红外图像细节纹理图层：
[0102][0103]
其中，nir_det_str为预设强弱参数，预设强弱参数是用于控制融合细节叠加的参数，可以根据实际应用场景进行具体设定，y
nir
(x)为所述目标红外图像中像素点x的亮度通道的像素值，表示对所述目标红外图像的亮度通道进行低通滤波得到红外亮度特征图像，k(x)为低通保边滤波器算子，d(x)为得到的红外图像细节纹理图层与像素点x对应位置处的像素点的像素值。
[0104]
步骤c2，根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。
[0105]
具体的，所述根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像，可以包括：
[0106]
对所述目标红外图像的每个像素点的y值和所述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的y值和所述第二融合权重的乘积以及所述红外图像细节纹理图层与该像素点位置相同的像素点的像素值进行求和，得到的和值作为融合后的该位置处的像素点的y值，以及，基于融合后的该位置处的像素点的y值与所述目标可见光图像中该位置处的像素点y值的比值作为亮度增益，并将所述目标可见光图像中该位置处的像素点u、v值与亮度增益的乘积分别确定为融合后的该位置处的像素点的u、v值，得到融合后的图像。
[0107]
本发明实施例中，目标可见光图像和目标红外光图像的yuv数据中，“y”表示明亮度，“u”和“v”表示色度和浓度。
[0108]
本发明实施例中，所述根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重，可以包括：将1减去所述目标可见光图像的各个像素点对应的第一融合权重所得的差值，作为该像素点对应的第二融合权重。
[0109]
例如，可以将目标可见光图像的y通道和目标红外图像y通道进行亮度加权融合，并与红外图像细节纹理图层d进行叠加，得到融合后的图像的y通道：
[0110]yfus
(x)＝(1-α(x))y
vis
(x)+α(x)y
nir
(x)+d(x)
[0111]
其中，y
fus
(x)为融合后的图像中像素点x的y值，y
vis
(x)为目标可见光图像中与像素点x位置相同的像素点的y值，(1-α(x))为目标可见光图像中与像素点x位置相同的像素点对应的第二融合权重，y
nir
(x)为目标红外图像中与像素点x位置相同的像素点的y值，α(x)为目标红外图像中与像素点x位置相同的像素点对应的第一融合权重，d(x)为红外图像细节纹理图层中与像素点x位置相同的像素点的像素值。
[0112]
然后，可以基于融合后的该位置处的像素点的y值与所述目标可见光图像中该位置处的像素点y值的比值作为亮度增益：y
fus
(x)/y
vis
(x)。
[0113]
然后，可以采用如下公式，将所述目标可见光图像中该位置处的像素点u、v值与亮度增益的乘积分别确定为融合后的该位置处的像素点的u、v值，得到融合后的图像：
[0114][0115]
其中，u
fus
(x)为融合后的图像中像素点x的u值，v
fus
(x)为融合后的图像中像素点x的v值。
[0116]
采用本发明实施例提供的方法，可以根据第一融合权重以及第二融合权重，对目标可见光图像和目标红外图像对应位置的每个像素点进行融合，使得到的融合后的图像中每个像素点中来自目标红外图像的亮度和来自目标可见光图像的亮度达到最佳比例，对于红外反射特性差异较大的区域，可以通过降低该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，减少融合图像中该区域图像来自红外图像的亮度，进而避免了融合图像中该区域图像的色彩失真，对于红外反射特性差异较小的区域，可以通过提升该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，增加融合图像中该区域图像来自红外图像的亮度，提升融合图像中该区域图像的亮度，即本发明实施例提供的方法可以在保证融合图像的质量的前提下，获得颜色准确的融合图像。融合后的图像既具有可见光所具有的颜色信息，又具有红外光图像所具有的高信噪比的优点。
[0117]
本发明实施例中，对于基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合所得到融合后的图像，如果该融合后的图像中还存在部分区域偏色的问题，本发明实施例还可以进一步对融合后的图像进行偏色校正。
[0118]
在一种可能的实施方式中，图9为本发明实施例提供的对融合后的图像进行偏色校正的一种流程图，如图9所示，在所述对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像之后，还包括：
[0119]
s901，根据所述融合后的图像的各个像素点的r、g、b值，确定每个像素点对应的预设颜色。
[0120]
图像中每个像素点的色彩是由r(red，红)、g(green，绿)、b(blue，蓝)三原色的值决定的，r、g、b值的范围为0-255，r、g、b不同的值组成不同的颜色。
[0121]
本实施方式中，可以针对融合后的图像的每个像素点，根据该像素点的r、g、b值，确定该像素点对应的预设颜色。具体的，可以对该像素点r、g、b值按照大小进行排序，然后计算最大的值与中间值之间的第一差值，与中间值与最小的值之间的第二差值，比较第一差值和第二差值的大小，如果第一差值大于第二差值，表示该像素点的颜色更靠近r、g、b值中最大的值对应的颜色，则可以确定该像素点的颜色为r、g、b值中最大的值对应的颜色；如
果第一差值小于第二差值，表示该像素点的颜色更靠近r、g、b值中最小的值对应的颜色，则可以确定该像素点的颜色为r、g、b值中最小的值对应的颜色；如果第一差值等于第二差值，则可以确定该像素点的颜色为r、g、b值中最小的值对应的颜色或为r、g、b值中最大的值对应的颜色。
[0122]
如果像素点的r值在像素点的r、g、b值中排序最大，则该r值对应的颜色为红色，如果像素点的r值在像素点的r、g、b值中排序最小，则该r值对应的颜色为青色；如果像素点的g值在像素点的r、g、b值中排序最大，则该g值对应的颜色为绿色，如果像素点的g值在像素点的r、g、b值中排序最小，则该g值对应的颜色为洋红色；如果像素点的b值在像素点的r、g、b值中排序最大，则该b值对应的颜色为蓝色，如果像素点的b值在像素点的r、g、b值中排序最小，则该b值对应的颜色为黄色。
[0123]
举例说明，如果像素点x1的r、g、b值分别为100、80、20。可以对该像素点x1的r、g、b值按照大小进行排序为：r(100)＞g(80)＞b(20)。最大值为r值，最小值为b值，中间值为g值。然后计算r值与g值之间的第一差值为20，计算g值与b值之间的第二差值为60，可以得到第一差值20小于第二差值60，表示该像素点x1的颜色更靠近最小值b值对应的颜色，而b值在像素点的r、g、b值中排序最小时b值对应的颜色为黄色，则可以确定该像素点x1的颜色为黄色。
[0124]
再例如，如果像素点x2的r、g、b值分别为255、20、10。可以对该像素点x2的r、g、b值按照大小进行排序为：r(255)＞g(20)＞b(10)。最大值为r值，最小值为b值，中间值为g值。然后计算r值与g值之间的第一差值为235，计算g值与b值之间的第二差值为10，可以得到第一差值235大于第二差值10，表示该像素点x2的颜色更靠近最大值r值对应的颜色，而r值在像素点的r、g、b值中排序最大时r值对应的颜色为红色，则可以确定该像素点x2的颜色为红色。
[0125]
再例如，如果像素点x3的r、g、b值分别为10、105、200。可以对该像素点x3的r、g、b值按照大小进行排序为：b(200)＞g(105)＞r(10)。最大值为b值，最小值为r值，中间值为g值。然后计算b值与g值之间的第一差值为95，计算g值与r值之间的第二差值也为95，可以得到第一差值95等于第二差值95，表示该像素点x3的颜色既可以被划分为r、g、b值中排序最大的b值对应的颜色——蓝色，也可以被划分为r、g、b值中排序最小的r值对应的颜色——青色(像素点的r值排序最小时对应的颜色为青色)。
[0126]
s902，基于所述融合后的图像的各个像素点对应的预设颜色以及每个像素点的r、g、b值，确定每个像素点对应的偏色校正参数。
[0127]
具体的，本发明实施例中，可以采用如下公式确定每个像素点对应的偏色校正参数scale(x)：
[0128][0129]
其中，ir(x)、ig(x)和ib(x)分别为融合后的图像中的像素点x对应的r、g、b值，c表示像素点x对应的预设颜色，scale(x)为像素点x对应的偏色校正参数，max表示取最大值的运算，med表示取中间值的运算，min表示取最小值的运算。
[0130]
举例说明，如果融合后的图像中的像素点x1对应的r、g、b值分别为100、80、20，上
述已经确定像素点x1对应的预设颜色为黄色，则可以得到像素点x1对应的偏色校正参数scale(x1)＝med(ir(x),ig(x),ib(x))-min(ir(x),ig(x),ib(x))＝80-20＝60。
[0131]
s903，根据所述融合后的图像的亮度和所述目标可见光图像的亮度，确定所述融合后的图像的各个像素点对应的亮度参数。
[0132]
具体的，本实施方式中可以采用如下公式，确定所述融合后的图像的各个像素点对应的亮度参数：
[0133]
k(x)＝max(y
fus
(x)-y
vis
(x),0)
[0134]
其中，k(x)为像素点x对应的亮度参数，y
fus
(x)为融合后的图像中像素点x的y值，y
vis
(x)为目标可见光图像中与像素点x位置相同的像素点的y值。
[0135]
s904，基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的r、g、b值和每个像素点对应的亮度参数，对该像素点的r、g、b值进行校正，得到校正后的融合图像。
[0136]
在一种可能的实施方式中，所述基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的r、g、b值和每个像素点对应的亮度参数，对该像素点的r、g、b值进行校正，得到校正后的融合图像的步骤，具体可以包括如下步骤d1-d2：
[0137]
步骤d1，针对所述融合后的图像的每个像素点，根据该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值和该像素点对应的偏色校正参数，计算该像素点的每个颜色通道对应的校正值。
[0138]
像素点的颜色通道可以包括r通道、g通道和b通道。
[0139]
具体的，可以将该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值，与该像素点对应的偏色校正参数之间的乘积作为该像素点的每个颜色通道对应的校正值。或者，也可以先计算将该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值，与该像素点对应的偏色校正参数之间的乘积，然后将乘积除以每个通道的最大灰度值(255)后得到的值作为该像素点的每个颜色通道对应的校正值。
[0140]
步骤d2，将该像素点的每个颜色通道的灰度值分别减去对应的校正值，得到校正后的融合图像。
[0141]
具体的，本发明实施例中，可以采用如下公式，基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的r、g、b值和每个像素点对应的亮度参数，对该像素点的r、g、b值进行校正，得到校正后的融合图像：
[0142][0143]
其中，i’r
(x)、i’g
(x)和i’b
(x)分别为像素点x校正后对应的r、g、b值，ir(x)、ig(x)和ib(x)分别为像素点x校正前对应的r、g、b值，k(x)为像素点x对应的亮度参数，scale(x)为像素点x对应的偏色校正参数。
[0144]
其中，像素点x的r通道的灰度值“ir(x)”、亮度参数“k(x)”以及最大灰度值与该通道的灰度值的差值“255-ir(x)”中的最小值“min(255-ir(x)，ir(x)，k(x))”，和该像素点x对应的偏色校正参数scale(x)的乘积再除以最大灰度值255后得到的“min(255-ir(x)，ir(x)，k(x))*scale(x)/255”，为像素点x的r通道对应的校正值；同样的方式可以得到：“min(255-ig(x)，ig(x)，k(x))*scale(x)/255”为像素点x的g通道对应的校正值，“min(255-ib(x)，ib(x)，k(x))*scale(x)/255”，为像素点x的b通道对应的校正值。
[0145]
像素点x的每个颜色通道的灰度值分别减去对应的校正值，可以得到每个通道对应的校正后的灰度值i’r
(x)、i’g
(x)和i’b
(x)。当融合后的图像的每个像素点的每个通道都得到对应的校正后的灰度值后，可以得到校正后的融合图像。
[0146]
图10为本发明实施例提供的校正后的融合图像的一种示意图，如图10所示，采用本发明实施例提供的图像融合方法，将低照度的目标可见光图像1001和目标红外图像1002进行融合，并对融合后的图像进行偏色校正，得到校正后的融合图像1003。可以看出，校正后的融合图像1003和目标红外图像1002的亮度和风格非常相似，即校正后的融合图像1003还充分利用了目标红外图像1002的亮度信息，并且通过偏色校正操作，校正后的融合图像1003具有明亮清晰且不偏色的特点。
[0147]
采用本发明实施例提供的方法，对融合后的图像进行偏色校正，对融合后的图像进一步进行颜色还原，最终得到的校正后的融合图像可以在较大程度上避免颜色失真问题，并且，校正后的融合图像的亮度和目标红外图像亮度非常相似，充分利用了目标红外图像的亮度信息，具有明亮清晰且不偏色的特点。
[0148]
相应于上述图像融合方法，本发明实施例还提供了一种图像融合装置，下面对本发明实施例所提供的图像融合装置进行介绍。图11为本发明实施例提供的图像融合装置的一种结构示意图，如图11所示，所述装置包括：
[0149]
图像获取模块1101，用于获取目标可见光图像和目标红外图像；
[0150]
差分特征确定模块1102，用于根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；其中，所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异；
[0151]
第一权重确定模块1103，用于基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；其中，所述对应关系为差分特征与融合权重呈反相关关系；
[0152]
第二权重确定模块1104，用于根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；
[0153]
图像融合模块1105，用于基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。
[0154]
可见，采用本发明实施例提供的装置，可以通过亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定目标红外图像的各个像素点对应的第一融合权重，根据第一融合权重计算得到目标可见光图像的各个像素点对应的第二融合权重，可以根据第一融合权重以及第二融合权重，对目标可见光图像和目标红外图像对应位置的每个像素点进行融合，使得到的融合后的图像中每个像素点中来自目标红外图像的亮度和来自目标
可见光图像的亮度达到最佳比例，对于红外反射特性差异较大的区域，可以通过降低该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，减少融合图像中该区域图像来自红外图像的亮度，进而避免了融合图像中该区域图像的色彩失真，对于红外反射特性差异较小的区域，可以通过提升该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，增加融合图像中该区域图像来自红外图像的亮度，提升融合图像中该区域图像的亮度，即本发明实施例提供的装置可以在保证融合图像的质量的前提下，获得颜色准确的融合图像。融合后的图像既具有可见光所具有的颜色信息，又具有红外光图像所具有的高信噪比的优点，因此，采用本发明实施例提供的装置可在低照度场景下获得清晰的彩色图像。
[0155]
可选的，如图12所示，所述装置还包括：
[0156]
色偏校正模块1201，用于根据所述融合后的图像的各个像素点的r、g、b值，确定每个像素点对应的预设颜色；基于所述融合后的图像的各个像素点对应的预设颜色以及每个像素点的r、g、b值，确定每个像素点对应的偏色校正参数；根据所述融合后的图像的亮度和所述目标可见光图像的亮度，确定所述融合后的图像的各个像素点对应的亮度参数；基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的r、g、b值和每个像素点对应的亮度参数，对该像素点的r、g、b值进行校正，得到校正后的融合图像。
[0157]
可选的，所述色偏校正模块1201，具体用于针对所述融合后的图像的每个像素点，根据该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值和该像素点对应的偏色校正参数，计算该像素点的每个颜色通道对应的校正值；将该像素点的每个颜色通道的灰度值分别减去对应的校正值，得到校正后的融合图像。
[0158]
可选的，所述差分特征确定模块1102，包括：
[0159]
低通滤波子模块(图中未示出)，用于对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤波，得到可见光亮度特征图像和红外亮度特征图像；
[0160]
差分特征计算子模块(图中未示出)，用于计算所述可见光亮度特征图像和所述红外亮度特征图像中对应位置的像素点之间的亮度差值的绝对值，得到以所述绝对值为像素值的图像作为亮度差分特征图。
[0161]
可选的，所述图像融合模块1105，包括：
[0162]
纹理图层计算子模块(图中未示出)，用于计算所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间亮度通道的像素值之差，得到红外图像细节纹理图层；
[0163]
融合子模块(图中未示出)，用于根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。
[0164]
可选的，所述融合子模块，具体用于对所述目标红外图像的每个像素点的y值和所述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的y值和所述第二融合权重的乘积以及所述红外图像细节纹理图层与该像素点位置相同的像素点的像素值进行求和，得到的和值作为融合后的该位置处的像素点的y值，以及，基于融合后的该位置处的像素点的y值与所述目标可见光图像中该位置处的像素点y值的比值作为亮度
增益，并将所述目标可见光图像中该位置处的像素点u、v值与亮度增益的乘积分别确定为融合后的该位置处的像素点的u、v值，得到融合后的图像。
[0165]
可选的，所述第一权重确定模块1103，具体用于针对所述目标红外图像的每个像素点，如果该像素点在所述亮度差分特征图中对应的像素值不大于预设差分阈值，确定该像素点对应的第一融合权重为目标权重值；如果该像素点在所述亮度差分特征图中对应的像素值大于所述预设差分阈值，基于所述像素值以及预设权重函数，确定该像素点对应的第一融合权重；其中，所述预设权重函数表示第一融合权重在所述目标权重值的基础上，随着所述像素值的递增而线性递减。
[0166]
可见，采用本发明实施例提供的装置，对融合后的图像进行偏色校正，对融合后的图像进一步进行颜色还原，最终得到的校正后的融合图像可以在较大程度上避免颜色失真问题，并且，校正后的融合图像的亮度和目标红外图像亮度非常相似，充分利用了目标红外图像的亮度信息，具有明亮清晰且不偏色的特点。
[0167]
本发明实施例还提供了一种电子设备，如图13所示，包括处理器1301、通信接口1302、存储器1303和通信总线1304，其中，处理器1301，通信接口1302，存储器1303通过通信总线1304完成相互间的通信，
[0168]
存储器1303，用于存放计算机程序；
[0169]
处理器1301，用于执行存储器1303上所存放的程序时，实现任一所述图像融合方法的步骤。
[0170]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0171]
通信接口用于上述电子设备与其他设备之间的通信。
[0172]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0173]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0174]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像融合方法的步骤。
[0175]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像融合方法。
[0176]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或
部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0177]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0178]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0179]
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。