一种图像融合方法、装置、电子设备及存储介质与流程
本发明涉及图像处理技术领域，尤其涉及一种图像融合方法、装置、电子设备及存储介质。
背景技术：
在安防领域，夜晚低照场景和雾霾场景，需要采集更多的图像信息来提高监控效果。多传感器设备中的红外波段传感器，既可以在夜间低照环境下获取噪声较小、细节清楚的近红外图像，又可以在雾霾天气中获取细节更多的透雾图像，通过与可见光波段传感器获取的可见光图像进行融合处理，得到包括色彩和细节的融合图像。
现有技术中的图像融合技术方案一般为，分别获得可见光和非可见光图像，通过合成模块得到一幅合成图像，该合成图像与可见光图像进行联合双边滤波降噪，得到降噪后的合成图像和可见光图像；滤波模块分别提取可见光图像和合成图像的高频信息和低频信息，融合模块的作用是融合低频信息和高频信息，得到最终融合图像。现有技术存在的问题是，对可见光图像和红外图像进行降噪时，采用联合双边滤波降噪算法，该算法用到幂次方和多次除法，计算复杂度高，不易实现与应用。
技术实现要素：
本发明实施例提供了一种图像融合方法、装置、电子设备及存储介质，用以解决现有技术在图像融合过程中去躁过程复杂度高，不易实现与应用的问题。
本发明实施例提供了一种图像融合方法，所述方法包括：
分别针对可见光图像和红外光图像中的每个第一像素点，根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围；
在当前图像包含所述第一像素点在内的预设第一邻域内，将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点；
根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值，将所述第一像素点在当前图像中的第一像素值更新为所述第一目标像素值；
对像素值更新后的可见光图像和红外光图像进行融合处理。
进一步地，所述将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点包括：
将第一像素值位于阈值范围内的第一像素点作为所述第一像素点对应的候选像素点；
将所述可见光图像和红外光图像中的坐标信息相对应的候选像素点，分别设置为所述可见光图像中第一像素点对应的目标像素点和所述红外光图像中第一像素点对应的目标像素点。
进一步地，所述根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值包括：
根据所述第一像素点在当前图像中对应的目标像素点在预设第一邻域内的位置信息，和预先保存的预设第一邻域内的每个位置信息对应的权重，确定目标像素点的第一权重；
根据所述第一像素点在当前图像中对应的目标像素点的第一像素值和对应的第一权重，确定所述第一像素点对应的第一目标像素值。
进一步地，所述根据所述第一像素点在当前图像中对应的目标像素点的第一像素值和对应的第一权重，确定所述第一像素点对应的第一目标像素值包括：
根据所述第一像素点在当前图像中对应的目标像素点的第一像素值、对应的第一权重和对应的目标像素点的数量，确定目标像素点的第一像素值的加权平均值作为所述第一像素点对应的第一目标像素值。
进一步地，所述将所述第一像素点在当前图像中的第一像素值更新为所述第一目标像素值之后，对像素值更新后的可见光图像和红外光图像进行融合处理之前，所述方法还包括：
分别将所述可见光图像和红外光图像进行滤波处理，得到可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像；
针对红外光低频图像中的每个第二像素点，根据包含所述第二像素点在内的预设第二邻域内的每个第三像素点的第二像素值，确定所述第二像素点的方差；根据所述第二像素点的方差，确定所述第二像素点的第二权重；根据所述第二像素点的第二权重、所述红外光高频图像中与所述第二像素点坐标信息一致的第五像素点的第四像素值，确定所述第五像素点的第二目标像素值；将所述第五像素点的第四像素值更新为第二目标像素值；
所述对像素值更新后的可见光图像和红外光图像进行融合处理包括：
对像素值更新后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行融合处理。
进一步地，所述根据所述第二像素点的方差，确定所述第二像素点的第二权重包括：
根据所述第二像素点的方差、所述可见光低频图像中与所述第二像素点坐标信息一致的第四像素点的第三像素值，确定所述第二像素点的第二权重。
进一步地，所述分别将所述可见光图像和红外光图像进行滤波处理，得到可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像包括：
分别对所述可见光图像和红外光图像进行多尺度分解处理，得到所述可见光图像和红外光图的金字塔图像；
对金字塔图像中的每一层图像进行滤波处理，得到每一层图像对应的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像，并针对每一层图像对应的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行后续步骤；
所述对像素值更新后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行融合处理包括：
分别对每一层图像对应的像素值更新后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行多尺度重构处理，对多尺度重构处理后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行融合处理。
另一方面，本发明实施例提供了一种图像融合装置，所述装置包括：
第一确定模块，用于分别针对可见光图像和红外光图像中的每个第一像素点，根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围；
第二确定模块，用于在当前图像包含所述第一像素点在内的预设第一邻域内，将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点；
第一更新模块，用于根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值，将所述第一像素点在当前图像中的第一像素值更新为所述第一目标像素值；
融合模块，用于对像素值更新后的可见光图像和红外光图像进行融合处理。
本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种图像融合方法、装置、电子设备及存储介质，所述方法包括：分别针对可见光图像和红外光图像中的每个第一像素点，根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围；在当前图像包含所述第一像素点在内的预设第一邻域内，将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点；根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值，将所述第一像素点在当前图像中的第一像素值更新为所述第一目标像素值；对像素值更新后的可见光图像和红外光图像进行融合处理。
由于在本发明实施例中，针对待融合的可见光图像和红外光图像中的每个第一像素点，首先根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围，当前图像中包含所述第一像素点在内的预设第一邻域内的，第一像素值位于阈值范围内第一像素点为当前图像中的非噪声点，将非噪声点作为目标像素点，然后根据当前图像中目标像素点的第一像素值对所述第一像素点的像素值进行更新，从而达到去躁的效果。本案提供的图像融合方法中，在对图像进行去躁时，首先筛选出用于去躁的目标像素点，然后基于目标像素点的像素值确定去躁后的目标像素值，不需要经过复杂的计算，易实现与应用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像融合过程示意图；
图2为本发明实施例提供的确定目标像素点的示意图；
图3为本发明实施例提供的去伪影效果图；
图4为本发明实施例提供的图像融合装置结构示意图；
图5为本发明实施例提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的图像融合过程示意图，该过程包括以下步骤：
s101：分别针对可见光图像和红外光图像中的每个第一像素点，根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围。
s102：在当前图像包含所述第一像素点在内的预设第一邻域内，将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点。
s103：根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值，将所述第一像素点在当前图像中的第一像素值更新为所述第一目标像素值。
s104：对像素值更新后的可见光图像和红外光图像进行融合处理。
本发明实施例提供的图像融合方法应用于电子设备，该电子设备可以是pc、平板电脑等设备。电子设备可以接收图像采集设备发送的可见光图像和红外光图像，并分别对可见光图像和红外光图像进行去躁处理。
具体的，电子设备将可见光图像和红外光图像中的像素点作为第一像素点。分别针对可见光图像和红外光图像中的每个第一像素点，根据该第一像素点在当前图像中的第一像素值和预设的像素阈值，确定该第一像素点在当前图像中的阈值范围，其中，可以将该第一像素点在当前图像中的第一像素值与预设的像素阈值的差作为阈值范围中的低阈值，将该第一像素点在当前图像中的第一像素值与预设的像素阈值的和作为阈值范围中的高阈值。需要说明的是，如果当前处理的图像为可见光图像，本发明实施例中的当前图像即为可见光图像，如果当前处理的图像为红外光图像，本发明实施例中的当前图像即为红外光图像。并且对于处理可见光图像时的预设的像素阈值与处理红外光图像时的预设的像素阈值可以相同或不同。
电子设备针对可见光图像和红外光图像中的每个第一像素点，可以确定出该第一像素点在当前图像中的阈值范围，电子设备中保存有预设第一邻域范围，其中，预设邻域范围可以是5*5的邻域范围、7*7的邻域范围等等。针对每个第一像素点，可以确定包含该第一像素点在内的预设第一邻域内的每个像素点。较佳的，在确定包含该第一像素点在内的预设第一邻域内的每个像素点时，以该第一像素点为预设第一邻域的中心，确定包含该第一像素点在内的预设第一邻域内的每个像素点。识别确定的包含该第一像素点在内的预设第一邻域内的每个像素点的第一像素值，并将第一像素值位于当前图像中该第一像素点对应的阈值范围内的像素点设置为该第一像素点对应的目标像素点。
电子设备针对可见光图像和红外光图像中的每个第一像素点，确定出该第一像素点对应的目标像素点之后，根据该第一像素点在当前图像中对应的目标像素点的第一像素值，及预设第一邻域内包含的目标像素点，确定该第一像素点对应的第一目标像素值。其中，可以将该第一像素点在当前图像中对应的目标像素点的第一像素值的平均值作为该第一像素点对应的第一目标像素值，或者为预设第一邻域内包含的目标像素点分配预设的权重值，将该第一像素点在当前图像中对应的目标像素点的第一像素值的加权平均值作为该第一像素点对应的第一目标像素值。
在本发明实施例中，为了使确定目标像素点更准确，所述将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点包括：
将第一像素值位于阈值范围内的第一像素点作为所述第一像素点对应的候选像素点；
将所述可见光图像和红外光图像中的坐标信息相对应的候选像素点，分别设置为所述可见光图像中第一像素点对应的目标像素点和所述红外光图像中第一像素点对应的目标像素点。
在本发明实施例中，将第一像素值位于阈值范围内的第一像素点作为第一像素点对应的候选像素点，针对红外光图像中的每个第一像素点，确定出该第一像素点对应的候选像素点，以及针对可见光图像中的每个第一像素点，确定出该第一像素点对应的候选像素点之后，如图2所示，将可见光图像和红外光图像中的坐标信息一致的第一像素点作为一组第一像素点，判断同一组第一像素点中，分别在可见光图像中和红外光图像中对应的候选像素点的坐标信息是否相对应。如图2所示，图2中的①为可见光图像中某个第一像素点对应的候选像素点，②为红外光图像中该第一像素点对应的候选像素点，箭头所指的两个图像中的候选像素点即为坐标信息对应的目标像素点，图2中的a的位置所对应的像素点即为可见光图像和红外光图像中确定的目标像素点，然后分别在可见光图像中和可见光图像中，根据目标像素点的第一像素值，确定该第一像素点对应的第一目标像素值。
电子设备针对每个第一像素点，确定出该第一像素点对应的第一目标像素值之后，将该第一像素点在当前图像中的第一像素值更新为第一目标像素值，从而实现对可见光图像和红外光图像的去躁。然后对像素值更新后的可见光图像和红外光图像，也就是对去躁后的可见光图像和红外光图像进行融合处理。其中，对可见光图像和红外光图像进行融合处理的过程属于现有技术，在此不再对该过程进行赘述。
由于在本发明实施例中，针对待融合的可见光图像和红外光图像中的每个第一像素点，首先根据该第一像素点在当前图像中的第一像素值和预设的像素阈值，确定该第一像素点在当前图像中的阈值范围，当前图像中包含该第一像素点在内的预设第一邻域内的，第一像素值位于阈值范围内第一像素点为当前图像中的非噪声点，将非噪声点作为目标像素点，然后根据当前图像中目标像素点的第一像素值对该第一像素点的像素值进行更新，从而达到去躁的效果。本案提供的图像融合方法中，在对图像进行去躁时，首先筛选出用于去躁的目标像素点，然后基于目标像素点的像素值确定去躁后的目标像素值，不需要经过复杂的计算，易实现与应用。
为了使确定第一像素点对应的第一目标像素值更准确，在本发明实施例中，所述根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值包括：
根据所述第一像素点在当前图像中对应的目标像素点在预设第一邻域内的位置信息，和预先保存的预设第一邻域内的每个位置信息对应的权重，确定目标像素点的第一权重；
根据所述第一像素点在当前图像中对应的目标像素点的第一像素值和对应的第一权重，确定所述第一像素点对应的第一目标像素值。
具体的，所述根据所述第一像素点在当前图像中对应的目标像素点的第一像素值和对应的第一权重，确定所述第一像素点对应的第一目标像素值包括：
根据所述第一像素点在当前图像中对应的目标像素点的第一像素值、对应的第一权重和对应的目标像素点的数量，确定目标像素点的第一像素值的加权平均值作为所述第一像素点对应的第一目标像素值。
电子设备中保存有预设第一邻域和权重矩阵的对应关系，该权重矩阵可以是高斯权重矩阵。例如预设第一邻域为5*5的邻域，则对应的权重矩阵为5*5的矩阵，预设第一邻域为7*7的邻域，则对应的权重矩阵为7*7的矩阵等。以5*5的邻域为例，则对应的权重矩阵为
确定出每个目标像素点对应的第一权重后，根据该第一像素点在当前图像中对应的目标像素点的第一像素值、对应的第一权重和对应的目标像素点的数量，确定目标像素点的第一像素值的加权平均值作为该第一像素点对应的第一目标像素值。也就是根据公式
其中，(x，y)为当前图像中该第一像素点的坐标信息，m为当前图像中该第一像素点对应的目标像素点的数量，vis′(x+i，y+j)为当前图像中该第一像素点对应的坐标为(x+i，y+j)的目标像素点的第一像素值，r1为预设第一邻域的半径，w(x+i，y+j)为坐标为(x+i，y+j)的目标像素点的第一权重；new_vis(x，y)为当前图像中该第一像素点对应的第一目标像素值。
在本发明实施例中，根据第一像素点在当前图像中对应的目标像素点的第一像素值、对应的第一权重和对应的目标像素点的数量，确定目标像素点的第一像素值的加权平均值作为该第一像素点对应的第一目标像素值，使得确定的第一像素点对应的第一目标像素值更准确，进而使得对当前图像的去躁更准确。
另外，由于融合过程中光谱成像的不同，导致区域内可见光图像是平坦高亮的，红外光图像是具有灯具轮廓的中等亮度，图像分解后，可见光和红外光在该区域的高频信息选择不恰当，重构出的融合图像有伪影出现。为了解决图像融合过程中出现伪影的问题，在本发明实施例中，所述将该第一像素点在当前图像中的第一像素值更新为所述第一目标像素值之后，对像素值更新后的可见光图像和红外光图像进行融合处理之前，所述方法还包括：
分别将所述可见光图像和红外光图像进行滤波处理，得到可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像；
针对红外光低频图像中的每个第二像素点，根据包含所述第二像素点在内的预设第二邻域内的每个第三像素点的第二像素值，确定所述第二像素点的方差；根据所述第二像素点的方差，确定所述第二像素点的第二权重；根据所述第二像素点的第二权重、所述红外光高频图像中与所述第二像素点坐标信息一致的第五像素点的第四像素值，确定所述第五像素点的第二目标像素值；将所述第五像素点的第四像素值更新为第二目标像素值；
所述对像素值更新后的可见光图像和红外光图像进行融合处理包括：
对像素值更新后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行融合处理。
在本发明实施例中，分别对像素值更新后的可见光图像和红外光图像进行滤波处理，得到可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像。其中，可以是对可见光图像进行低通滤波处理，得到可见光低频图像，计算可见光图像与可见光低频图像的差，得到可见光高频图像；对红外光图像进行低通滤波处理，得到红外光低频图像，计算红外光图像与红外光低频图像的差，得到红外光高频图像。
电子设备确定出可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像后，首先针对红外光低频图像中的每个第二像素点，计算该第二像素点的方差。具体的，针对每个第二像素点，根据包含该第二像素点在内的预设第二邻域内的每个第三像素点的第二像素值，采用方差公式，确定出该第二像素点的方差。根据第二像素点的方差，可以确定第二像素点的第二权重。例如，可以预先保存方差与第二权重的对应关系，在确定出第二像素点的方差后，根据预先保存的对应关系，确定第二像素点的第二权重。
为了使确定的第二权重更准确，在本发明实施例中，所述根据所述第二像素点的方差，确定所述第二像素点的第二权重包括：
根据所述第二像素点的方差、所述可见光低频图像中与所述第二像素点坐标信息一致的第四像素点的第三像素值，确定所述第二像素点的第二权重。
具体的，由于可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像是分辨率相同的图像，因此电子设备确定出红外光低频图像中每个第二像素点的方差后，针对每个第二像素点，可以确定可见光低频图像中与该第二像素点坐标信息一致的第四像素点，然后根据该第二像素点的方差、可见光低频图像中与该第二像素点坐标信息一致的第四像素点的第三像素值，确定该第二像素点的第二权重，然后根据该第二像素点的第二权重、红外光高频图像中与该第二像素点坐标信息一致的第五像素点的第四像素值，确定该第五像素点的第二目标像素值，再将第五像素点的第四像素值更新为第二目标像素值。
采用本发明实施例提供的方法可以实现对红外光高频图像的更新，通过对红外光高频图像的更新，然后再对像素值更新后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行融合处理，可以消除图像中的伪影，使得融合后的图像质量更好。
为了对红外光高频图像的更新更准确，需要使确定的第二像素点的方差更准确，因此，在本发明实施例中，所述根据包含该第二像素点在内的预设第二邻域内的每个第三像素点的第二像素值，确定该第二像素点的方差包括：
将包含该第二像素点在内的预设第二邻域内的每个第三像素点的第二像素值代入公式
其中，(x，y)为该第二像素点的坐标信息，nirl(x+i，y+j)为红外光低频图像中坐标为(x+i，y+j)的第三像素点的第二像素值，r2为该第二像素点到预设第二邻域中左边缘或右边缘之间的像素点数量；n为预设第二邻域内的像素点个数，nirl_var为该第二像素点的方差。
为了对红外光高频图像的更新更准确，需要使确定的第二像素点的第二权重更准确，因此，在本发明实施例中，所述根据该第二像素点的方差、所述可见光低频图像中与该第二像素点坐标信息一致的第四像素点的第三像素值，确定该第二像素点的第二权重包括：
将该第二像素点的方差、所述可见光低频图像中与该第二像素点坐标信息一致的第四像素点的第三像素值代入公式
其中，visl(x，y)为该第四像素点的第三像素值，nirl_var(x，y)为该第二像素点的方差，a为消除伪影的强度、b为红外光细节的调整强度，a、b的取值为(0，1]，hw(x，y)为该第二像素点的第二权重。
根据该第二像素点的第二权重、所述红外光高频图像中与该第二像素点坐标信息一致的第五像素点的第四像素值，确定该第五像素点的第二目标像素值包括：
将该第二像素点的第二权重、所述红外光高频图像中与该第二像素点坐标信息一致的第五像素点的第四像素值代入公式nirh′(x,y)＝hw(x,y)*nirh(x,y)，确定该第五像素点的第二目标像素值；
其中，nirh(x，y)为该第五像素点的第四像素值，hw(x，y)为该第二像素点的第二权重，nirh＇(x，y)为该第五像素点的第二目标像素值。
在本发明实施例中，根据上述公式确定红外光高频图像中第五像素点的第二目标像素值，然后将第五像素点的第四像素值更新为对应的第二目标像素值，可以解决图像融合过程中出现伪影的问题。
为了进一步提高去伪影的效果，在本发明实施例中，所述分别将所述可见光图像和红外光图像进行滤波处理，得到可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像包括：
分别对所述可见光图像和红外光图像进行多尺度分解处理，得到所述可见光图像和红外光图的金字塔图像；
对金字塔图像中的每一层图像进行滤波处理，得到每一层图像对应的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像，并针对每一层图像对应的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行后续步骤；
所述对像素值更新后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行融合处理包括：
分别对每一层图像对应的像素值更新后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行多尺度重构处理，对多尺度重构处理后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行融合处理。
为了进一步提高去伪影的效果，在本发明实施例中，对像素值更新后的可见光图像和红外光图像进行多尺度分解处理，得到所述可见光图像和红外光图的金字塔图像。需要说明的是，在对可见光图像和红外光图像进行多尺度分解处理时，并不对分层的数量进行限定，可以分解为3层、4层、5层等。只要保证对可见光图像和红外光图像进行多尺度分解的规则相同即可。
然后对分解后的每一层金字塔图像进行滤波处理，得到每一层图像对应的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像，并针对每一层图像对应的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行更新红外光高频图像的步骤。最后再分别对每一层图像对应的像素值更新后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行多尺度重构处理，对多尺度重构处理后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行融合处理。
其中，对图像进行多尺度分解处理和重构处理的过程属于现有技术，在此不再对该过程进行赘述。
图3为本发明实施例提供的去伪影效果示意图，图3左侧的图中包含灯光伪影，采用本发明实施例确定的去伪影策略得到的图像为图3右侧的图。可以看出本发明实施例提供的方案去伪影效果较好。
图4为本发明实施例提供的图像融合装置结构示意图，所述装置包括：
第一确定模块41，用于分别针对可见光图像和红外光图像中的每个第一像素点，根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围；
第二确定模块42，用于在当前图像包含所述第一像素点在内的预设第一邻域内，将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点；
第一更新模块43，用于根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值，将所述第一像素点在当前图像中的第一像素值更新为所述第一目标像素值；
融合模块44，用于对像素值更新后的可见光图像和红外光图像进行融合处理。
所述第二确定模块42，具体用于将第一像素值位于阈值范围内的第一像素点作为所述第一像素点对应的候选像素点；将所述可见光图像和红外光图像中的坐标信息相对应的候选像素点，分别设置为所述可见光图像中第一像素点对应的目标像素点和所述红外光图像中第一像素点对应的目标像素点。
所述第一更新模块43，具体用于根据所述第一像素点在当前图像中对应的目标像素点在预设第一邻域内的位置信息，和预先保存的预设第一邻域内的每个位置信息对应的权重，确定目标像素点的第一权重；根据所述第一像素点在当前图像中对应的目标像素点的第一像素值和对应的第一权重，确定所述第一像素点对应的第一目标像素值。
所述第一更新模块43，具体用于根据所述第一像素点在当前图像中对应的目标像素点的第一像素值、对应的第一权重和对应的目标像素点的数量，确定目标像素点的第一像素值的加权平均值作为所述第一像素点对应的第一目标像素值。
所述装置还包括：
第二更新模块45，用于分别将所述可见光图像和红外光图像进行滤波处理，得到可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像；针对红外光低频图像中的每个第二像素点，根据包含所述第二像素点在内的预设第二邻域内的每个第三像素点的第二像素值，确定所述第二像素点的方差；根据所述第二像素点的方差，确定所述第二像素点的第二权重；根据所述第二像素点的第二权重、所述红外光高频图像中与该第二像素点坐标信息一致的第五像素点的第四像素值，确定所述第五像素点的第二目标像素值，将所述第五像素点的第四像素值更新为第二目标像素值；
所述第二更新模块45，具体用于根据所述第二像素点的方差、所述可见光低频图像中与所述第二像素点坐标信息一致的第四像素点的第三像素值，确定所述第二像素点的第二权重。
所述融合模块44，具体用于对像素值更新后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行融合处理。
所述第二更新模块45，具体用于将包含该第二像素点在内的预设第二邻域内的每个第三像素点的第二像素值代入公式
其中，(x，y)为该第二像素点的坐标信息，nirl(x+i，y+j)为红外光低频图像中坐标为(x+i，y+j)的第三像素点的第二像素值，r2为该第二像素点到预设第二邻域中左边缘或右边缘之间的像素点数量；n为预设第二邻域内的像素点个数，nirl_var为该第二像素点的方差。
所述第二更新模块45，具体用于将该第二像素点的方差、所述可见光低频图像中与该第二像素点坐标信息一致的第四像素点的第三像素值代入公式
其中，visl(x，y)为该第四像素点的第三像素值，nirl_var(x，y)为该第二像素点的方差，a为消除伪影的强度、b为红外光细节的调整强度，a、b的取值为(0，1]，hw(x，y)为该第二像素点的第二权重。
所述第二更新模块45，具体用于分别对所述可见光图像和红外光图像进行多尺度分解处理，得到所述可见光图像和红外光图的金字塔图像；对金字塔图像中的每一层图像进行滤波处理，得到每一层图像对应的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像，并针对每一层图像对应的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行后续步骤；
所述融合模块44，具体用于分别对每一层图像对应的像素值更新后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行多尺度重构处理，对多尺度重构处理后的可见光低频图像、可见光高频图像、红外光低频图像和红外光高频图像进行融合处理。
在本发明实施例中还提供了一种电子设备，如图5所示，包括：处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信；
所述存储器503中存储有计算机程序，当所述程序被所述处理器501执行时，使得所述处理器501执行如下步骤：
分别针对可见光图像和红外光图像中的每个第一像素点，根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围；
在当前图像包含所述第一像素点在内的预设第一邻域内，将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点；
根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值，将所述第一像素点在当前图像中的第一像素值更新为所述第一目标像素值；
对像素值更新后的可见光图像和红外光图像进行融合处理。
基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与图像融合方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personaldigitalassistant，pda)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口502用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时，实现分别针对可见光图像和红外光图像中的每个第一像素点，根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围；在当前图像包含所述第一像素点在内的预设第一邻域内，将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点；根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值，将所述第一像素点在当前图像中的第一像素值更新为所述第一目标像素值；对像素值更新后的可见光图像和红外光图像进行融合处理。
由于在本发明实施例中，针对待融合的可见光图像和红外光图像中的每个第一像素点，首先根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围，当前图像中包含所述第一像素点在内的预设第一邻域内的，第一像素值位于阈值范围内第一像素点为当前图像中的非噪声点，将非噪声点作为目标像素点，然后根据当前图像中目标像素点的第一像素值对所述第一像素点的像素值进行更新，从而达到去躁的效果。本案提供的图像融合方法中，在对图像进行去躁时，首先筛选出用于去躁的目标像素点，然后基于目标像素点的像素值确定去躁后的目标像素值，不需要经过复杂的计算，易实现与应用。
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
分别针对可见光图像和红外光图像中的每个第一像素点，根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围；
在当前图像包含所述第一像素点在内的预设第一邻域内，将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点；
根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值，将所述第一像素点在当前图像中的第一像素值更新为所述第一目标像素值；
对像素值更新后的可见光图像和红外光图像进行融合处理。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与图像融合方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(mo)等、光学存储器如cd、dvd、bd、hvd等、以及半导体存储器如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序，计算机程序被处理器执行时实现分别针对可见光图像和红外光图像中的每个第一像素点，根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围；在当前图像包含所述第一像素点在内的预设第一邻域内，将第一像素值位于阈值范围内的第一像素点，设置为所述第一像素点对应的目标像素点；根据所述第一像素点在当前图像中对应的目标像素点的第一像素值，及所述预设第一邻域内包含的目标像素点，确定所述第一像素点对应的第一目标像素值，将所述第一像素点在当前图像中的第一像素值更新为所述第一目标像素值；对像素值更新后的可见光图像和红外光图像进行融合处理。
由于在本发明实施例中，针对待融合的可见光图像和红外光图像中的每个第一像素点，首先根据所述第一像素点在当前图像中的第一像素值和预设的像素阈值，确定所述第一像素点在当前图像中的阈值范围，当前图像中包含所述第一像素点在内的预设第一邻域内的，第一像素值位于阈值范围内第一像素点为当前图像中的非噪声点，将非噪声点作为目标像素点，然后根据当前图像中目标像素点的第一像素值对所述第一像素点的像素值进行更新，从而达到去躁的效果。本案提供的图像融合方法中，在对图像进行去躁时，首先筛选出用于去躁的目标像素点，然后基于目标像素点的像素值确定去躁后的目标像素值，不需要经过复杂的计算，易实现与应用。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！