图像处理方法、电子设备及存储介质与流程

本技术涉及智能终端，尤其涉及一种图像处理方法、电子设备及存储介质。

背景技术：

1、近红外光是介于可见光和中红外光之间的电磁波，是人的肉眼无法察觉的。近红外光图像是在人眼不可感知的近红外光波段上成像的，相比可见光波段上成像的rgb图像而言其具有更多的细节信息。因此，将同一场景下的rgb图像和近红外光图像融合，得到的rgb图像不仅可以保留图像本身的颜色稳定性，也能兼具近红外光图像的细节信息。

2、鉴于rgb图像和近红外光图像的融合方法的局限性，例如耗时过久、算力要求高等，目前无法将rgb图像和近红外光图像进行融合以提高画面质量的方案应用于智能终端（如手机等）中。

技术实现思路

1、为了解决上述技术问题，本技术实施例提供一种图像处理方法、电子设备及存储介质。在该方法中，电子设备对rgb图像和nir图像进行梯度融合时，并根据梯度融合后的图像进行图像重建以得到融合后的rgb图像，不仅能保证融合效果，而且缩短了rgb图像重建耗时，使其应用于手机等智能终端中成为可能。

2、第一方面，本技术实施例提供一种图像处理方法。该方法应用于电子设备中，包括：电子设备获取在同一场景下采集的第一rgb图像和近红外光nir图像；电子设备在第一rgb图像的每个颜色通道上分别计算像素梯度，得到与第一rgb图像对应的第一梯度；电子设备计算nir图像的梯度，得到与nir图像对应的第二梯度；电子设备将第一梯度和第二梯度进行融合，得到目标梯度；其中，目标梯度与第二梯度的结构张量匹配；电子设备根据目标梯度，确定第二rgb图像中各像素点的近似像素值，以生成第二rgb图像。

3、这样，电子设备获取与同一场景对应的rgb图像和nir图像，并分别对rgb图像和nir图像进行梯度计算，得到rgb图像的梯度和nir图像的梯度，对rgb图像的梯度和nir图像的梯度进行融合，得到融合后的梯度，再基于融合后的梯度进行rgb图像重建，以此得到融合后的rgb图像。

4、其中，电子设备在进行梯度融合时，融合目标为第二rgb图像梯度的结构张量与nir图像梯度的结构张量匹配，以使第二rgb图像的梯度相对rgb图像的梯度而言，更加接近于nir图像的梯度，以实现对nir图像细节信息的充分融合。而且，电子设备基于融合后的梯度进行rgb图像重建时，求取像素值的近似解来代替精确解，以此缩短泊松融合过程的时间，使rgb图像和nir图像的融合方案应用于手机等智能终端中成为可能。

5、根据第一方面，该方法还包括：目标梯度与第一梯度呈线性关系。

6、这样，由于融合后的梯度与rgb图像的梯度呈线性关系，能够避免图像融合后所得的rgb图像与原始rgb图像的颜色偏差过大。

7、根据第一方面，或者以上第一方面的任意一种实现方式，电子设备根据目标梯度，确定第二rgb图像中各像素点的近似像素值，包括：电子设备根据目标梯度构建泊松方程，泊松方程的未知量为第二rgb图像中各像素点的像素值；电子设备基于离散余弦变换求解泊松方程的近似解，作为第二rgb图像中各像素点的近似像素值。

8、这样，用离散余弦变换解泊松方程的思路进行梯度域的rgb图像重建，能够显著提升rgb图像的重建效率，使得将rgb图像和nir图像进行融合以提升rgb图像质量的方法可以应用于手机等智能终端中。

9、根据第一方面，或者以上第一方面的任意一种实现方式，电子设备根据目标梯度，确定第二rgb图像中各像素点的近似像素值，包括：电子设备根据目标梯度中的r通道分量构建第一泊松方程，第一泊松方程的未知量为第二rgb图像中各像素点的r通道像素值；电子设备根据目标梯度中的g通道分量构建第二泊松方程，第二泊松方程的未知量为第二rgb图像中各像素点的g通道像素值；电子设备根据目标梯度中的b通道分量构建第三泊松方程，第三泊松方程的未知量为第二rgb图像中各像素点的b通道像素值；电子设备基于离散余弦变换求解第一泊松方程的近似解，作为第二rgb图像中各像素点的r通道近似像素值；电子设备基于离散余弦变换求解第二泊松方程的近似解，作为第二rgb图像中各像素点的g通道近似像素值；电子设备基于离散余弦变换求解第三泊松方程的近似解，作为第二rgb图像中各像素点的b通道近似像素值。

10、根据第一方面，或者以上第一方面的任意一种实现方式，电子设备包括可见光相机模组和近红外光相机模组。在电子设备获取在同一场景下采集的第一rgb图像和nir图像之前，该方法还包括：电子设备响应于第一操作，通过可见光相机模组采集rgb图像数据，以及通过近红外光相机模组采集nir图像数据；电子设备对rgb图像数据进行处理，生成第一rgb图像，以及对nir图像数据进行处理，得到nir图像；在生成第二rgb图像之后，该方法还包括：电子设备显示并保存第二rgb图像。

11、根据第一方面，或者以上第一方面的任意一种实现方式，该方法还包括：

12、响应于第二操作，开启近红外光相机模组。

13、根据第一方面，或者以上第一方面的任意一种实现方式，第一rgb图像是基于n个rgb图像帧融合而成的，nir图像是基于n个nir图像帧融合而成的；n为大于1的整数。

14、根据第一方面，或者以上第一方面的任意一种实现方式，电子设备在第一rgb图像的每个通道上分别计算像素梯度，得到与第一rgb图像对应的第一梯度，包括：

15、在第一rgb图像的每个颜色通道上，针对每个第一目标像素点，电子设备根据与第一目标像素点上下左右相邻的四个像素点的像素值，计算与第一目标像素点对应的梯度值，以得到与第一rgb图像对应的第一梯度；

16、电子设备计算nir图像的梯度，得到与nir图像对应的第二梯度，包括：

17、针对nir图像的每个第二目标像素点，电子设备根据与第二目标像素点上下左右相邻的四个像素点的像素值，计算与第二目标像素点对应的梯度值，以得到与nir图像对应的第二梯度。

18、根据第一方面，或者以上第一方面的任意一种实现方式，其特征在于，电子设备为手机。

19、第二方面，本技术实施例提供一种电子设备。该电子设备包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行第一方面以及第一方面中任意一项的图像处理方法。

20、第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

21、第三方面，本技术实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行第一方面以及第一方面中任意一项的图像处理方法。

22、第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

23、第四方面，本技术实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面中任意一项的图像处理方法。

24、第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

25、第五方面，本技术提供了一种芯片，该芯片包括处理电路、收发管脚。其中，该收发管脚和该处理电路通过内部连接通路互相通信，该处理电路执行如第一方面或第一方面中任意一项的图像处理方法，以控制接收管脚接收信号，以控制发送管脚发送信号。

26、第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。