图像处理方法、装置、电子设备和计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着电子设备技术的发展，用户使用电子设备进行拍摄(如，照片或视频)的频率越来越高。以电子设备拍摄照片为例，当用户使用电子设备在光照较强或者光照条件不充足的环境中拍摄照片时，通常采用基于多帧的高动态范围图像(high dynamic range，hdr)技术或者降噪技术对拍摄的图像进行处理，以增强拍摄照片的图像质量。由于多帧融合降噪(mfnr，mutil-frame noise reduction)技术去噪效果相对单帧更佳，细节纹理保持更好等原因，目前已在业内广泛使用。但在实际拍摄场景中，当相机在捕捉运动场景或者有轻微抖动时，拍摄得到的图像中运动区域容易出现人造伪影(artifacts)的现象。
3.传统技术通常使用阈值控制或者剔帧处理的方法抑制运动区域的人造伪影现象，但是处理效果并不佳。


技术实现要素：

4.本技术实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以有效抑制拍摄图像中出现的人造伪影现象。
5.第一方面，本技术提供了一种图像处理方法。所述方法包括：
6.获取同一场景的多帧图像；
7.根据预设的图像质量筛选条件从所述多帧图像中选取参考图像；
8.以所述参考图像为基准，将其他图像与所述参考图像配准，得到所述其他图像对应的位移变化图；所述其他图像为所述多帧图像中除所述参考图像之外的图像；所述位移变化图用于表征所配准的图像之间的位移变化量；
9.针对每帧所述其他图像，根据对应的所述位移变化图确定所述其他图像的第一融合权重；获取所述参考图像对应的第二融合权重；
10.对所述其他图像及对应的第一融合权重和所述参考图像及对应的第二融合权重进行融合，得到目标图像。
11.第二方面，本技术还提供了一种图像处理装置。所述装置包括：
12.图像获取模块，用于获取同一场景的多帧图像；
13.图像筛选模块，用于根据预设的图像质量筛选条件从所述多帧图像中选取参考图像；
14.图像配准模块，用于以所述参考图像为基准，将其他图像与所述参考图像配准，得到所述其他图像对应的位移变化图；所述其他图像为所述多帧图像中除所述参考图像之外的图像；所述位移变化图用于表征所配准的图像之间的位移变化量；
15.权重确定模块，用于针对每帧所述其他图像，根据对应的所述位移变化图确定所
述其他图像的第一融合权重；获取所述参考图像对应的第二融合权重；
16.图像融合模块，用于对所述其他图像及对应的第一融合权重和所述参考图像及对应的第二融合权重进行融合，得到目标图像。
17.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
18.获取同一场景的多帧图像；
19.根据预设的图像质量筛选条件从所述多帧图像中选取参考图像；
20.以所述参考图像为基准，将其他图像与所述参考图像配准，得到所述其他图像对应的位移变化图；所述其他图像为所述多帧图像中除所述参考图像之外的图像；所述位移变化图用于表征所配准的图像之间的位移变化量；
21.针对每帧所述其他图像，根据对应的所述位移变化图确定所述其他图像的第一融合权重；获取所述参考图像对应的第二融合权重；
22.对所述其他图像及对应的第一融合权重和所述参考图像及对应的第二融合权重进行融合，得到目标图像。
23.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
24.获取同一场景的多帧图像；
25.根据预设的图像质量筛选条件从所述多帧图像中选取参考图像；
26.以所述参考图像为基准，将其他图像与所述参考图像配准，得到所述其他图像对应的位移变化图；所述其他图像为所述多帧图像中除所述参考图像之外的图像；所述位移变化图用于表征所配准的图像之间的位移变化量；
27.针对每帧所述其他图像，根据对应的所述位移变化图确定所述其他图像的第一融合权重；获取所述参考图像对应的第二融合权重；
28.对所述其他图像及对应的第一融合权重和所述参考图像及对应的第二融合权重进行融合，得到目标图像。
29.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
30.获取同一场景的多帧图像；
31.根据预设的图像质量筛选条件从所述多帧图像中选取参考图像；
32.以所述参考图像为基准，将其他图像与所述参考图像配准，得到所述其他图像对应的位移变化图；所述其他图像为所述多帧图像中除所述参考图像之外的图像；所述位移变化图用于表征所配准的图像之间的位移变化量；
33.针对每帧所述其他图像，根据对应的所述位移变化图确定所述其他图像的第一融合权重；获取所述参考图像对应的第二融合权重；
34.对所述其他图像及对应的第一融合权重和所述参考图像及对应的第二融合权重进行融合，得到目标图像。
35.上述图像处理方法、装置、电子设备和计算机可读存储介质，可以通过预设的图像质量筛选条件从多帧图像中选取参考图像，以参考图像为基准，将其他图像与参考图像配准，得到其他图像对应的位移变化图，针对每帧其他图像，根据对应的位移变化图确定其他
图像的第一融合权重，获取参考图像对应的第二融合权重，对其他图像及对应的第一融合权重和参考图像及对应的第二融合权重进行融合，得到目标图像，可将运动部分的信息参与到融合权重中对融合权重进行调控，从而有效减少运动区域的人造伪影现象，同时还能实现去噪。
附图说明
36.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为一个实施例中图像处理方法的流程图；
38.图2为一个是实施例中一帧图像中的像素分布图；
39.图3为一个实施例中106步骤的流程图；
40.图4为一个实施例中110步骤的流程图；
41.图5为一个是实施例中308步骤的流程图；
42.图6a为一个实施例中其他图像示意图；
43.图6b为一个是实施例中图6a对应的位移变化图示意图；
44.图7为一个实施例中108步骤的流程图；
45.图8为一个是实施例中raw格式的图像数据分布示意图；
46.图9为一个是实施例中404步骤的流程图；
47.图10为另一个实施例中图像处理方法的流程图；
48.图11a为一个实施例中传统加权融合得到的目标图像示意图；
49.图11b为一个实施例中通过运动区域的位移变化量调控融合权重后融合得到的目标图像示意图；
50.图12为一个实施例中图像处理装置的结构框图；
51.图13为一个实施例中计算机设备的内部结构图。
具体实施方式
52.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
53.多帧融合降噪(mfnr)，是根据图像帧与图像帧之间的相似性进行加权融合实现降噪，越相似的部分融合的权重越大，从而通过多帧图像融合降低噪声，通常使用3～10帧图像进行融合。在图像信号处理系统(isp，image signal process)中，通过连续的多帧图像进行融合降噪，可以有效滤除时域的高斯噪声提升图像画质，增强图像的表现力。但是，在进行多帧融合降噪的过程中，当摄像头在捕捉运动场景或者拍摄时摄像头发生轻微抖动时，融合的效果会明显降低，所获取的图像的运动区域中容易出现人造伪影(artifacts)现象，运动或抖动的幅度越大，所获取的图像的运动区域的人造伪影现象会越明显。其中，人造伪影现象，可以理解为是合成图片中，不自然的、反常的、能让人看出是人为处理过的痕
迹、区域、瑕疵等现象。
54.当前，一般通过阈值控制的方式，区分出运动区域同时降低运动区域的融合权重，从而抑制人造伪影现象的产生；另外的方式是进行相应的剔帧处理，即只融合与参考帧图像较相近的几帧其他图像，以期实现降噪和抑制人造伪影现象的产生。但是，阈值控制的方法中对阈值调控较困难，不同的场景需要设定不同的阈值，调试工作量较大，同时会产生强边缘噪声，使得降噪不均匀；另外，当目标物体在纹理比较复杂的区域运动时，难以通过阈值进行准确判断，从而难以避免人造伪影现象的产生。通过剔帧的方法容易导致剔帧过多，使得降噪强度不足，所获取的图像噪声比较明显，而且在运动幅度过大(如高速行驶的汽车或近距离的行人)的情形下，即使是与参考图像相邻的其他图像，两帧之间的差异也会比较明显，容易产生人造伪影现象。
55.基于此，本技术提出了一种图像处理方法，通过获取同一场景的多帧图像；根据预设的图像质量筛选条件从多帧图像中选取参考图像；以参考图像为基准，将其他图像与参考图像配准，得到其他图像对应的位移变化图；其他图像为多帧图像中除参考图像之外的图像；位移变化图用于表征所配准的图像之间的位移变化量；针对每帧其他图像，根据对应的位移变化图确定其他图像的第一融合权重；获取参考图像对应的第二融合权重；对其他图像及对应的第一融合权重和参考图像及对应的第二融合权重进行融合，得到目标图像。可将运动部分的信息参与到融合权重中对融合权重进行调控，从而有效减少运动区域的人造伪影现象，同时还能实现去噪。
56.本技术实施例提供的图像处理方法，以运行于电子设备上为例进行描述。其中，电子设备可以但不限于是各种个人计算机、照相机、扫描仪、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
57.在一个实施例中，如图1所示，提供了一种图像处理方法，包括以下步骤102至步骤110。
58.步骤102，获取同一场景的多帧图像。
59.其中，多帧图像是连续拍摄的并且帧与帧之间间隔时间较短的图像，间隔时间可根据场景的不同而不同，例如在白天拍摄的多帧图像的时间隔为5ms，夜晚拍摄的时间间隔为20ms，多帧图像至少为2帧，通常包括3-10帧，具体数量可以根据实际场景进行选择。
60.多帧图像可以是cmos(complementary metal-oxide-semiconductor，互补金属氧化物半导体)或ccd(charge coupled device，电荷耦合器件)图像传感器直接获取的原始图像数据，也可以是经过图像信号处理的图像，即多帧图像的图像格式可以是raw格式、rgb(red、green、blue，红色、绿色、蓝色)格式、hsv(hue、saturation、value，色调、饱和度、明度)格式或yuv格式等。其中，yuv格式的图像中的y分量表示明亮度(luminance或luma)，u分量和v分量表示的色度(chrominance或chroma)。
61.可选地，电子设备调用摄像头，控制摄像头对同一场景进行连续拍摄，获取间隔预设时长的多帧图像。
62.步骤104，根据预设的图像质量筛选条件从多帧图像中选取参考图像。
63.电子设备根据预设的图像质量筛选条件从多帧图像中选取参考图像。其中，参考图像可以是一帧，也可以是多帧。图像质量筛选条件，是指能够表征图像质量的筛选条件，
例如可以是基于图像的清晰度、亮度、信噪比、失真度等至少一种设置的筛选条件，还可以是具体使用场景中其他的图像质量筛选条件。图像质量筛选条件不局限于是某一单一的筛选条件，也可以由多个筛选条件共同构成，例如既要满足图像清晰度筛选条件同时也要满足亮度筛选条件。预设的图像质量筛选条件，例如可以是图像清晰度最高或者是亮度满足预设亮度筛选条件。
64.步骤106，以参考图像为基准，将其他图像与参考图像配准，得到其他图像对应的位移变化图；其中，其他图像为多帧图像中除参考图像之外的图像；位移变化图用于表征所配准的图像之间的位移变化量。
65.以参考图像为基准，将其他图像与参考图像配准，表征在参考图像中找到与其他图像中的特征具有预设对应关系的特征的过程。预设对应关系可以指特征之间相似度最高，或者是从相似度大于相似度阈值的特征中选择的一个特征。其中，其他图像为多帧图像中除参考图像之外的图像。可选地，可以是将其他图像与参考图像整体配准，也可以是将其他图像和参考图像以相同的划分方式划分为多个图像块后，依次将其他图像中的图像块与参考图像中的图像块进行配准。当其他图像中的图像块与参考图像中的图像块配准时，表示配准的两个图像块之间满足预设对应关系，例如，是参考图像中与其他图像中的图像块相似度最高的图像块。
66.位移变化图，用于表征所配准的图像特征之间的位移变化量。针对每帧其他图像，根据所配准的图像特征之间的位置确定相应的位移变化量，根据所配准的图像特征之间的位移变化量，得到其他图像对应的位移变化图。将多帧图像划分为多个图像块后，将其他图像中的图像块与参考图像中的图像块进行配准，根据所配准的两个图像块之间的位置确定相应的位移变化量，根据其他图像中所配准的图像块之间的位移变化量，得到对应的位移变化图。
67.步骤108，针对每帧其他图像，根据对应的位移变化图确定其他图像的第一融合权重；获取参考图像对应的第二融合权重。
68.电子设备根据每帧其他图像对应的位移变化图，可以确定其他图像的第一融合权重。其中，第一融合权重可以是多个。在将每帧其他图像划分为多个图像块时，第一融合权重为其他图像中各图像块对应的融合权重。参考图像对应的第二融合权重可以直接从电子设备的输入端口或数据库直接获取，也就是可以从终端输入或者从所存储数据库中获取。第二融合权重也可以是多个，在将参考图像划分为多个图像块时，第二融合权重为参考图像中各图像块对应的融合权重。在此需要说明的是，其他图像或参考图像中各图像块对应的融合权重可以相同也可以不同。
69.可选地，也可以根据参考图像对应的位移变化图确定参考图像对应的第二融合权重。只是此时以参考图像为基准，将参考图像与参考图像本身进行配准，得到参考图像对应的位移变化图，由于位移变化图是表征所配准的图像特征之间的位移变化量，因此，参考图像对应的位移变化图中的位移变化量均为零。可以理解的是，根据参考图像对应的位移变化图确定参考图像对应的第二融合权重，与根据其他图像对应的位移变化图确定第一融合权重的方式一样，只是在确定第二融合权重时，对应位移变化图的部分变为了零。
70.在一个可选的实施例中，可以根据参考图像、其他图像和其他图像对应的位移变化图，确定其他图像对应的第一融合权重。例如，可以根据其他图像与参考图像之间的像素
差值和其他图像对应的位移变化图，确定其他图像对应的第一融合权重。在将每帧其他图像和参考图像划分为多个图像块时，针对每帧其他图像中的每个第一图像块，找到参考图像中与第一图像块配准的第二图像块，确定第一图像块与第二图像块之间的像素差值，根据第一图像块与第二图像块之间的位移变化量，根据第一图像块与第二图像块之间的像素差值、第一图像块与第二图像块之间的位移变化量，确定该第一图像块对应的融合权重，根据该帧其他图像中各第一图像块对应的融合权重，得到该帧其他图像对应的第一融合权重。
71.步骤110，对其他图像及对应的第一融合权重和参考图像及对应的第二融合权重进行融合，得到目标图像。
72.本实施例中，可以是一帧其他图像和一帧参考图像进行融合，也可以是多帧其他图像和多帧参考图像进行融合，也可以是一帧其他图像和多帧参考图像进行融合，还可以是多帧其他图像和一帧参考图像进行融合，具体可以根据实际应用场景的要求进行选择。
73.在一些可选的实施例中，对其他图像及对应的第一融合权重和参考图像及对应的第二融合权重进行加权融合，得到目标图像。可选地，对其他图像及对应的第一融合权重和参考图像及对应的第二融合权重进行加权平均处理，得到目标图像。即，将其他图像及对应的第一融合权重和参考图像及对应的第二融合权重进行加权求和后，再除以第一融合权重和第二融合权重之和，得到目标图像。
74.在一些可选的实施例中，对一帧其他图像及对应的第一融合权重和一帧参考图像及对应的第二融合权重进行融合，得到目标图像。可以提升图像处理速度，减小系统运行压力，降低对计算机硬件的处理要求。
75.在一些可选的实施例中，对一帧其他图像及对应的第一融合权重和多帧参考图像及对应的第二融合权重进行融合，得到目标图像。可以保留运动区域的原始信息，抑制人造伪影现象，实现较好的去噪效果，提升目标图像的质量。
76.在一些可选的实施例中，对多帧其他图像及对应的第一融合权重和一帧参考图像及对应的第二融合权重进行融合，得到目标图像。可以将运动部分的信息充分参与到融合权重中对融合权重进行调控，从而有效减少运动区域的人造伪影现象。
77.在一些可选的实施例中，对多帧其他图像及对应的第一融合权重和多帧参考图像及对应的第二融合权重进行融合，得到目标图像。可选地，可以将多帧其他图像分别与每一帧参考图像进行融合，得到目标子图像，再将多个目标子图像进行融合得到目标图像。可以实现较好地减少运动区域的人造伪影现象，同时实现较好的去噪效果。
78.在一些可选的实施例中，在将参考图像和其他图像划分为多个图像块时，以图像块为单位进行融合。针对参考图像中的每个第二图像块，将其他图像中对应与其配准的第一图像块进行融合，也就是第二图像块及对应的融合权重和与其配准的第一图像块及对应的融合权重进行融合，得到目标图像中的目标图像块，根据目标图像块得到目标图像。
79.上述图像处理方法中，通过获取同一场景的多帧图像，根据预设的图像质量筛选条件从多帧图像中选取参考图像，以参考图像为基准，将其他图像与参考图像配准，得到其他图像对应的位移变化图，针对每帧其他图像，根据对应的位移变化图确定其他图像的第一融合权重，获取参考图像对应的第二融合权重，对其他图像及对应的第一融合权重和参考图像及对应的第二融合权重进行融合，得到目标图像，可将运动部分的信息参与到融合
权重中对融合权重进行调控，从而有效减少运动区域的人造伪影现象，同时还能实现去噪。
80.在一些实施例中，根据预设的图像质量筛选条件从多帧图像中选取参考图像的步骤104，包括：
81.根据图像清晰度和图像亮度中的至少一种从多帧图像中选取参考图像。
82.可选地，可以根据图像清晰度从多帧图像中选取参考图像。例如，根据图像清晰度从多帧图像中选取至少一帧参考图像，可以选取多帧图像中清晰度最高的一帧，或者选取大于清晰度阈值的图像作为参考帧图像。清晰度的表征方式，可以通过brenner梯度函数、tenengrad梯度函数、laplacian梯度函数、灰度方差、灰度方差乘积、方差函数、能量梯度函数、vollath函数、熵函数等中的任意一种方式。可选地，可以通过多帧图像中每帧图像的像素的差值绝对值之和来表征图像的清晰度，例如，针对每帧图像，计算图像中的上方像素与下方像素的差值绝对值，以及图像的左方像素和右方像素的差值绝对值，以及斜对角像素之间的差值绝对值之和来表征相应帧图像的清晰度。在一个具体示例中，如图2所示的一帧图像中，共包括9个像素，该帧图像的差值绝对值之和sad为：
[0083][0084]
其他帧图像的sad值依此类推。可选地，图像的差值绝对值之和越小，代表该帧图像越清晰。
[0085]
可选地，可以根据图像亮度从多帧图像中选取参考图像。例如，根据图像亮度从多帧图像中选取至少一帧参考图像，可以选取图像亮度最接近多帧图像的平均亮度均值的图像作为参考图像，或者选取满足在预设图像亮度范围内的图像作为参考帧图像。在一个示例中，多帧图像为8帧，8帧图像的图像亮度均值分别为82,89,90,85,95,91,98,90，8帧图像的平均亮度均值为90，那么选取最接近平均亮度均值的亮度均值所对应帧图像作为参考帧图像。
[0086]
可选地，可以根据图像清晰度和图像亮度从多帧图像中选取参考图像。参考图像至少为一帧，所选取的参考图像需要同时满足预设图像清晰度要求和预设图像亮度要求。其中，预设图像清晰度要求或预设图像亮度要求可参照上述实施例进行设定，在此不再赘述。
[0087]
本实施例中，根据图像清晰度和图像亮度中的至少一种从多帧图像中选取参考图像，可以方便且准确地选取适合应用场景的参考图像，有利于融合出质量更好的目标图像。
[0088]
在一个实施例中，如图3所示，以参考图像为基准，将其他图像与参考图像配准，得到其他图像对应的位移变化图的步骤106，包括步骤302至步骤308。
[0089]
步骤302，将每帧多帧图像划分为多个图像块。
[0090]
按照相同的划分方式，将每帧多帧图像划分为多个图像块。其中，每个图像块包括至少一个像素，例如，一个图像块可以是1
×
1像素、4
×
4像素、8
×
8像素或16
×
16像素大小。
[0091]
步骤304，针对其他图像的每个第一图像块，在参考图像中搜索与第一图像块相似度最高的第二图像块。
[0092]
针对每帧其他图像中的每个第一图像块，依次在参考图像中搜索与第一图像块相似度最高的第二图像块。可选地，可以在参考图像中全局搜索，也可以在参考图像中的预设范围内搜索与第一图像块相似度最高的第二图像块。可选地，相似度最高可以指相匹配的
第一图像块和第二图像块中对应位置像素的像素值差值绝对值之和最小。
[0093]
步骤306，根据第一图像块的第一位置和第二图像块的第二位置，得到第一图像块对应的位移变化量。
[0094]
电子设备根据第一图像块的第一位置和第二图像块的第二位置，得到第一图像块对应的位移变化量。可选地，可根据第一图像块对应的第一坐标和第二图像块对应的第二坐标，得到第一图像块相对于第二图像块的位移变化量。具体可以将第一坐标和第二坐标之间的向量，作为第一图像块相对于第二图像块的位移变化量。或者，也可以将第一坐标与第二坐标对应的横坐标差值绝对值与纵坐标差值绝对值之和，作为第一图像块相对于第二图像块的位移变化量。其中，图像块的坐标可以使用该图像块中的任意一个像素坐标进行表征。
[0095]
在一个可选的示例中，第一图像块的第一坐标为(x1，y1)，第二图像块的第二坐标为(x2，y2)，那么，第一图像块相对于对应的第二图像块的位移变化量l为：
[0096]
l＝|x1-x2|+|y1-y2|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2)
[0097]
即，第一图像块相对于第二图像块的位移变化量可以通过一个数值来表征。
[0098]
在此需要说明的是，在图像处理中，每帧图像对应有坐标系，每帧图像中的每个像素对应有相应的坐标，电子设备在获取相应图像时，可以识别出图像中各像素的坐标。本实施例中，参考图像和其他图像对应的坐标系相同，而且相同位置的像素对应的坐标也相同。因此，可以根据第一图像块的第一坐标和第二图像的第二坐标，得到第一图像块对应的位移变化量。
[0099]
步骤308，根据其他图像中每个第一图像块对应的位移变化量，得到其他图像对应的位移变化图。
[0100]
根据其他图像中每个第一图像块对应的位移变化量，得到该帧其他图像相对于参考图像的位移变化图。可选地，将每个第一图像块对应的位移变化量直接放置于对应第一图像块的位置，形成该帧其他图像对应的位移变化图。可选地，可以通过设置变化量阈值，根据第一图像块对应的位移变化量与变化量阈值之间的关系，得到第一图像块对应的位移变化量所对应的变化量映射值；还可以通过函数来进行映射，得到变化量映射值。其中，变化量映射值可直接用于表征图像的灰度信息；每个第一图像块对应的变化量映射值，得到该帧其他图像对应的位移变化图。
[0101]
本实施例中，通过将每帧多帧图像划分为多个图像块，将其他图像中的第一图像块与参考图像中的第二图像块进行配准，根据所配准的图像块之间的位置，得到第一图像块对应的位移变化量，根据每个第一图像块对应的位移变化量，得到其他图像对应的位移变化图，即，以图像块为单位进行配准，可以提高其他图像与参考图像的配准精度，从而提升融合得到的目标图像的质量，有效抑制人造伪影现象的产生。
[0102]
与上述实施例相对应地，在将每帧多帧图像划分为多个图像块时，如图4所示，进一步示例性说明，对其他图像及对应的第一融合权重和参考图像及对应的第二融合权重进行融合，得到目标图像的步骤110，包括步骤402至步骤406。
[0103]
步骤402，以每个第二图像块为基准，搜索其他图像中与第二图像块相配准的第一图像块。
[0104]
以参考图像中的每个第二图像块为基准，搜索每帧其他图像中与第二图像块相配
准的第一图像块。当其他图像为多帧时，则存在多个与第二图像块相配准的第一图像块。
[0105]
步骤404，将第二图像块及第二图像块对应的第二权重，以及第一图像块及第一图像块对应的第一权重进行加权，得到目标图像中的目标图像块。
[0106]
可选地，将第二图像块及第二图像块对应的第二权重，以及所有的第一图像块及第一图像块对应的第一权重进行加权平均，得到目标图像中的目标图像块。即，将第二图像块及第二图像块对应的第二权重的乘积，与第一图像块及第一图像块对应的第一权重的乘积之和，除以第一权重和第二权重之和，得到目标图像中的目标图像块。
[0107]
在一个可选的实施例中，将第二图像块中的第二像素及第二像素对应的第二权重，以及第一图像块中的第一像素及第一像素对应的第一权重进行加权，得到目标图像中与第二像素对应位置的像素的像素值。可选地，可将第二图像块中的第二像素及第二像素对应的第二权重，以及第一图像块中的第一像素及第一像素对应的第一权重进行加权平均，得到目标图像中与第二像素对应位置的像素的像素值。
[0108]
可选地，针对参考图像中的一个第二图像块中的第一个第二像素来说，搜索到每帧其他图像中与第二图像块配准的第一图像块，获取各第一图像块中对应位置的第一个第一像素的像素值及第一像素对应的第一权重，与第二图像块中的第一个第二像素的像素值及第二像素对应的第二权重进行加权求和后，再除以每个第一图像块的第一个第一像素的第一权重与第二图像块中第一个第二像素的第二权重之和，得到目标图像中与第二图像块对应位置的目标图像块中第一个像素的像素值。目标图像块中的其他像素的像素值以此类推得到。其中，在此需要说明的是，属于同一个图像块中的像素对应的权重相同，且等于相应图像块对应的权重。例如，第一图像块中的所有像素的权重与第一图像块对应的第一权重相同，第二图像块中的所有像素的权重与第二图像块对应的第二权重相同。
[0109]
示例性地，参考图像中各个第二图像块对应的第二权重为固定值，即第二图像块中的各个第二像素的权重为固定值，例如为1。电子设备针对同一场景获取6帧图像，选取其中1帧为参考图像，其余5帧为其他图像，即，将5帧其他图像与1帧参考图像进行融合，具体为：参考图像的第二图像块的第一个第二像素为p
′
1，其中，第二图像块可以是参考图像中的任一个图像块，第一个像素例如可以是第二图像块中左上角的像素；在5帧其他图像中，分别找到与第二图像块配准的第一图像块，则共有5个第一图像块，5个第一图像块中的第一个像素的像素值分别是p1，p2，p3，p4，p5；5帧其他图像中，第一个像素对应的权重依次是w1，w2，w3，w4，w5；参考图像中，第二图像块中的第一个像素的像素值为p
′
1，那么目标图像中与第二图像块对应位置的目标图像块中的第一个像素的像素值p1为：
[0110][0111]
步骤406，根据各个目标图像块，得到目标图像。
[0112]
本实施例中，可以根据目标图像块中各个像素对应的像素值，得到目标图像块；根据各个目标图像块，从而得到目标图像。
[0113]
上述实施例中，以第二图像块为基准，将第二图像块及第二图像块对应的第二权重，以及第一图像块及第一图像块对应的第一权重进行加权，得到目标图像中的目标图像块，根据目标图像块得到目标图像，以图像块为单位进行融合，可使得目标图像中充分融合参考图像和其他图像的信息，并且根据对应的权重调节融合的比重，使得目标图像更能够
优化运动区域的信息，从而减少人造伪影现象的产生，同时还能有效压制噪声。
[0114]
在一个实施例中，如图5所示，根据其他图像中每个第一图像块对应的位移变化量，得到其他图像对应的位移变化图步骤308，包括步骤502至步骤504。
[0115]
步骤502，根据第一图像块对应的位移变化量与变化量阈值之间的关系，得到第一图像块对应的位移变化量所对应的变化量映射值。
[0116]
通过设置变化量阈值，可以根据第一图像块对应的位移变化量与变化量阈值之间的大小关系，得到第一图像块对应的位移变化量所对应的变化量映射值。可选地，可将第一图像块对应的位移变化量小于变化量阈值的，对应的变化量映射值为0，将第一图像块对应的位移变化量大于或等于变化量阈值的，根据特定比例得到对应的变化量映射值。
[0117]
在一个可选的示例中，由于可以是在参考图像中的特定搜索半径对应的搜索范围内搜索与第一图像块相配准的第二图像块，因此，假设第一图像块对应的位移变化量的最大值为20，变化量阈值可设为4，那么，当位移变化量低于4时，第一图像块对应的变化量映射值为0；当位移变化量位于4和8之间时，第一图像块对应的变化量映射值为0.2；当位移变化量位于8和12之间时，第一图像块对应的变化量映射值为0.5；当位移变化量位于12和16之间时，第一图像块对应的变化量映射值为0.8；当位移变化量位于16和20之间时，第一图像块对应的变化量映射值为1.0。其中，0、0.2、0.5、0.8、1.0等变化量映射值可直接代表对应位移变化图的灰度值。
[0118]
步骤504，根据其他图像中每个第一图像块对应的变化量映射值，得到其他图像对应的位移变化图。
[0119]
由于变化量映射值可以直接表征对应位移变化图的灰度信息，因此，根据每帧其他图像中每个第一图像块对应的变化量映射值，可得到该帧其他图像对应的位移变化图。位移变化图可以表征其他图像中的运动区域，具体可参考图6a所示的其他图像以及图6b所示的位移变化图示意图。
[0120]
本实施例中，根据第一图像块对应的位移变化量与变化量阈值之间的关系，得到第一图像块对应的位移变化量所对应的变化量映射值，根据每个第一图像块对应的位移变化量所对应的变化量映射值，得到相应帧的其他图像对应的位移变化图，通过位移变化图可以更加突出地显示其他图像中的运动区域的特征，从而有利于将运动区域的特征加入到融合权重中并对相应融合权重进行调控，实现更准确的图像融合，以减少人造伪影现象的产生。
[0121]
在一个实施例中，在将每帧多帧图像划分为多个图像块时，如图7所示，在步骤108中，针对每帧其他图像，根据对应的位移变化图确定其他图像的第一融合权重，可以包括以下步骤702至步骤706。
[0122]
步骤702，针对每帧其他图像，计算第一图像块和第二图像块之间的差值。
[0123]
针对每帧其他图像，计算每个第一图像块和与其相配准的第二图像块之间的像素差值。也就是说，不同的第一图像块所对应的第二图像块不同。其中，第一图像块与第二图像块之间的像素差值，可以指第一图像块与第二图像块中对应位置像素的像素值的差值绝对值之和。
[0124]
步骤704，根据差值和第一图像块对应的变化量映射值，确定第一图像块的第一子权重。
[0125]
根据第一图像块与第二图像块之间的像素差值、第一图像块对应的变化量映射值，确定第一图像块的第一子权重。其中，第一图像块的第一子权重与第一图像块对应的变化量映射值负相关。
[0126]
在一个可能的实现方式中，确定第一图像块与第二图像块之间的像素差值和在目标位移变化图中对应的位移变化量的乘积与像素差值和经验常数之和的比值，将1与该比值的差值作为该第一图像块的第一子权重。例如，第i个第一图像块的权重wi为：
[0127][0128]
其中，diffi表示第i个第一图像块与配准的第二图像块之间的像素差值，mi表示第i个第一图像块对应的变化量映射值，n代表经验常数，wi≥0。
[0129]
第一图像块的第一子权重与第一图像块对应的变化量映射值负相关。负相关是指变化量映射值越大，第一子权重越小。当第一图像块对应的变化量映射值越大时，第一图像块的第一子权重越小，此时，第一图像块趋向于在运动区域，当第一图像块的第一子权重偏小时，相对地，第二图像块的权重偏大，融合后的目标图像更多保留的是参考图像的信息；相应地，当第一图像块对应的位移变化量越小时，第一图像块的第一子权重越大，第一图像块趋向于在非运动区域，当第一图像块的第一子权重偏大，相对地，参考图像中的第二图像块的第二子权重偏小，融合后的目标图像更多保留的是其他图像的信息。
[0130]
也就是说，在运动区域，更多融合的是参考图像的信息，而在非运动区域，更多融合的是其他图像的信息。针对每帧其他图像中的各个第一图像块对应的第一子权重，通过第一图像块对应的变化量映射值对各个第一图像块对应的第一子权重进行调控，以保留每个第一图像块对应的较优的图像特征。
[0131]
步骤706，根据每个第一图像块的第一子权重，得到其他图像的第一融合权重。
[0132]
针对每帧其他图像，不同的第一图像块对应不同的第一子权重，由各个第一子权重，得到该帧其他图像对应的第一融合权重。
[0133]
本实施例中，根据第一图像块与第二图像块之间的差值和第一图像块对应的变化量映射值，确定第一图像块的第一子权重，根据每个第一子权重得到对应帧的其他图像的第一融合权重，将图像划分为多个图像块，并计算对应的子权重，可实现图像以更小的单位进行融合，提升图像融合的精度；同时，可根据变化量映射值调控每个图像块对应的子权重，对应保留每个图像块中较优的图像特征，使得融合后的目标图像最大程度上保留图像中的优质信息，从而减少人造伪影现场的产生。
[0134]
在一些实施例中，多帧图像的格式为raw格式，针对每帧其他图像，根据对应的位移变化图确定其他图像的第一融合权重，获取参考图像对应的第二融合权重的步骤108，包括：
[0135]
针对每帧其他图像，根据对应的位移变化图，分别确定各个第一图像块中各通道分量所对应的第一子权重；以及获取各个第二图像块中各通道分量所对应的第二子权重。
[0136]
raw格式的图像是指传感器端将捕捉到的光源信号转化为数字信号的原始数据，每个通道分量只有rgb中的某个颜色信息，像素组成格式可以是grbg格式、rggb、bggr、gbrg、rgbw等格式，即由4个通道分量可以构成rgb中对应的一个像素d。在一个示例中，raw格式的图像数据分布如图8所示，即以bggr格式为例进行说明。
[0137]
在将raw格式的多帧图像划分为多个图像块时，为了保留完整的颜色信息，图像块的大小需为偶数，例如划分为2
×
2、4
×
4、6
×
6或8
×
8大小的图像块。
[0138]
可选地，针对每帧其他图像的每个第一图像块，根据对应的位移变化图中第一图像块对应的变化量映射值，分别确定第一图像块中各通道分量所对应的第一子权重；以及获取各个第二图像块中各通道分量所对应的第二子权重。获取各个第二图像块中各通道分量所对应的第二子权重，第二子权重可以直接从端口或数据库获取，也可以通过确定第一子权重的方式获取。
[0139]
可选地，根据第一图像块和与其配准的第二图像块之间对应通道分量的差值、第一图像块对应的变化量映射值，确定第一图像块中对应通道分量对应的第一子权重。例如，可根据第一图像块和第二图像块中r分量的差值、第一图像块对应的变化量映射值，确定第一图像中r分量对应的第一子权重。不同的通道分量对应的第一子权重一般不同。其中，第一图像块与第二图像块之间对应通道分量的差值，针对同一通道分量，可以是对应位置的该通道分量之间的差值的绝对值之和。
[0140]
上述实施例中说明了分别确定第一图像块中各通道分量对应的第一子权重，获取得到第二图像块中各通道分量对应的第二子权重，接下来说明当多帧图像格式为raw格式时，如何对第一图像块中各通道分量和第二图像块中各通道分量进行加权融合的过程。
[0141]
如图9所示，将第二图像块及第二图像块对应的第二权重，以及第一图像块及第一图像块对应的第一权重进行加权，得到目标图像中的目标图像块的步骤404，包括步骤902至步骤904。
[0142]
步骤902，将各个第一图像块中各通道分量及所对应的第一子权重，以及第二图像块中各通道分量及所对应的第二子权重进行加权，得到融合后的目标图像块中各通道分量。
[0143]
可选地，将各个第一图像块中各通道分量及所对应的第一子权重，以及第二图像块中各通道分量及对应的第二子权重进行加权平均，得到融合后的目标图像块中各通道分量。第一图像块中的通道分量及对应的第一子权重，以及第二图像块中对应通道分量及对应的第二子权重进行加权平均，得到融合后的目标图像块中对应的通道分量。示例性地，针对一个第一图像块中的第一通道分量，将该第一图像块中第一通道分量及对应的第一子权重，与第二图像块中第一通道分量及对应的第二子权重加权求和，再除以第一子权重与第二子权重之和，得到融合后的目标图像块中的第一通道分量，目标图像块中的其他的通道分量以此类推得到。
[0144]
步骤904，根据目标图像块中各通道分量，得到所述目标图像。
[0145]
根据所有目标图像块中的各通道分量，得到目标图像。
[0146]
针对raw格式的图像，通过对图像传感器获取的原始图像数据进行处理，可以尽量多地保留图像的原始信息，同时将各个通道分量分开处理，即各个通道分量对应不同的子权重，不同的通道分量分开进行融合，可以针对性地对各个通道分量存在的噪声进行处理，从而可以较大程度实现去噪，同时保留图像的原始信息，避免人造伪影现象。
[0147]
在一个可选实施例中，针对raw格式的多帧图像，可以将每帧图像根据通道分量划分为不同的子图像，即一帧子图像只包括一种通道分量，再将每种通道分量的子图像分别进行处理，得到对应的目标子图像，目标子图像分别对应目标图像中的各通道分量，根据目
标子图像得到目标图像。
[0148]
在一个实施例中，如图10所示，图像处理方法包括以下步骤1002至步骤1012。
[0149]
步骤1002，获取同一场景的多帧图像。
[0150]
步骤1004，根据图像清晰度从多帧图像中选取参考图像。
[0151]
步骤1006，将每帧多帧图像划分为多个图像块；针对其他图像的每个第一图像块，在参考图像中搜索与第一图像块相似度最高的第二图像块。
[0152]
步骤1008，根据第一图像块的第一位置和第二图像块的第二位置，得到第一图像块对应的位移变化量；根据其他图像中每个第一图像块对应的位移变化量，得到其他图像对应的位移变化图。
[0153]
步骤1010，以每个第二图像块为基准，搜索其他图像中与第二图像块相配准的第一图像块。
[0154]
步骤1012，将第二图像块及第二图像块对应的第二权重，以及第一图像块及第一图像块对应的第一权重进行加权，得到目标图像中的目标图像块；根据目标图像块，得到目标图像。
[0155]
上述实施例通过图像块的位移变化量来调控对应图像块融合的权重，可以更加精准有效地调整图像的运动区域，同时对静止区域或强边缘区域不会有影响，从而减少运动区域的人造伪影现象，同时还能有效压制噪声。实际处理效果可参见图11a所示的传统加权融合的示意图以及图11b所示的通过上述实施例的方法调控融合权重进行融合的示意图，图11b中在方框中显示的运动区域相对较清晰，没有人造伪影现象，而图11a中在方框中显示的运动区域存在明显的人造伪影现象。
[0156]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0157]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
[0158]
在一个实施例中，如图12所示，提供了一种图像处理装置，包括：图像获取模块1202、图像筛选模块1204、图像配准模块1206、权重确定模块1208和图像融合模块1210，其中：
[0159]
图像获取模块1202，用于获取同一场景的多帧图像；
[0160]
图像筛选模块1204，用于根据预设的图像质量筛选条件从所述多帧图像中选取参考图像；
[0161]
图像配准模块1206，用于以所述参考图像为基准，将其他图像与所述参考图像配准，得到所述其他图像对应的位移变化图；所述其他图像为所述多帧图像中除所述参考图
像之外的图像；所述位移变化图用于表征所配准的图像之间的位移变化量；
[0162]
权重确定模块1208，用于针对每帧所述其他图像，根据对应的所述位移变化图确定所述其他图像的第一融合权重；获取所述参考图像对应的第二融合权重；
[0163]
图像融合模块1210，用于对所述其他图像及对应的第一融合权重和所述参考图像及对应的第二融合权重进行融合，得到目标图像。
[0164]
在一个实施例中，图像筛选模块1204，还用于：根据图像清晰度和图像亮度中的至少一种从所述多帧图像中选取所述参考图像。
[0165]
在一个实施例中，图像配准模块1206，还用于：将每帧所述多帧图像划分为多个图像块；针对所述其他图像的每个第一图像块，在所述参考图像中搜索与所述第一图像块相似度最高的第二图像块；根据所述第一图像块的第一位置和第二图像块的第二位置，得到所述第一图像块对应的位移变化量；根据所述其他图像中每个第一图像块对应的位移变化量，得到所述其他图像对应的位移变化图；
[0166]
在一些实施例中，图像融合模块1210，还用于：以所述每个第二图像块为基准，搜索所述其他图像中与所述第二图像块相配准的第一图像块；将所述第二图像块及所述第二图像块对应的第二权重，以及所述第一图像块及所述第一图像块对应的第一权重进行加权，得到所述目标图像中的目标图像块；根据各个所述目标图像块，得到所述目标图像。
[0167]
在一个实施例中，图像配准模块1206，还用于：根据所述第一图像块对应的位移变化量与变化量阈值之间的关系，得到所述第一图像块对应的位移变化量所对应的变化量映射值；根据所述其他图像中每个第一图像块对应的变化量映射值，得到所述其他图像对应的位移变化图。
[0168]
在一个实施例中，权重确定模块1208，还用于：针对每帧所述其他图像，计算所述第一图像块和第二图像块之间的差值；根据所述差值和所述第一图像块对应的变化量映射值，确定所述第一图像块的第一子权重；根据每个所述第一图像块的第一子权重，得到所述其他图像的第一融合权重。
[0169]
在一个实施例中，所述多帧图像的格式为raw格式，权重确定模块1208，还用于：针对每帧所述其他图像，根据对应的所述位移变化图，分别确定各个所述第一图像块中各通道分量所对应的第一子权重；以及获取各个所述第二图像块中各通道分量所对应的第二子权重；
[0170]
图像融合模块1210，还用于：将各个所述第一图像块中各通道分量及所对应的第一子权重，以及所述第二图像块中各通道分量及所对应的第二子权重进行加权，得到融合后的目标图像块中各通道分量；根据所述目标图像块中各通道分量，得到所述目标图像。
[0171]
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0172]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储
有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储位移变化图或第二融合权重数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
[0173]
本领域技术人员可以理解，图13中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0174]
本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
[0175]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
[0176]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0177]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0178]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0179]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。