图像处理方法、电子设备、计算机程序产品及存储介质与流程

本技术涉及终端领域，尤其涉及一种图像处理方法、电子设备、计算机程序产品及计算机可读存储介质。

背景技术：

1、相机的成像传感器的感光能力与人眼的感光能力存在差异，导致相机获取的图像的原始色彩信息与人眼实际看到的色彩信息可能不一致。

2、为了使得相机捕获到的场景的色彩信息与人眼感受到的色彩信息一致，可对相机拍摄的图像进行色彩还原处理。现有的色彩还原处理方式一般是基于事先标定出几种典型光源的色彩校正参数进行色彩还原处理。然而，实际拍摄场景下的光源组成较为复杂，导致拍摄区域内可能存在各种光源照射情形，基于上述处理方式，相机难以准确进行色彩还原，从而导致拍摄出的照片与人眼观察的真实场景存在较大的色彩偏差。

技术实现思路

1、有鉴于此，有必要提供一种图像处理方法，解决现有技术中难以准确对拍摄图像进行色彩还原，导致拍摄出的图像与人眼观察的真实场景存在较大的色彩偏差的问题。

2、本技术实施例第一方面公开了一种色彩还原方法，应用于电子设备，该方法包括：获取拍摄场景的多光谱图像及原始成像图像；基于多光谱图像进行光谱估计，得到拍摄场景中光源的光谱功率；根据光谱功率确定色彩还原参数，及基于色彩还原参数对原始成像图像进行色彩还原，得到色彩还原后的图像。

3、采用上述技术方案，通过获取拍摄场景的多光谱图像，多光谱图像相较于摄像头成像得到的原始成像图像(一般是基于三原色光(red green blue，rgb)图像传感器成像得到原始成像图像)，其具有更窄的通道带宽，因此，成像光谱分辨率更高，基于此，能够准确对拍摄现场的光源光谱进行估计，得到拍摄现场的光源光谱，进而准确得到拍摄场景对应的色彩还原参数，以校正相机拍摄的照片与人眼观察的真实场景的色彩偏差，使得拍摄图像的整体颜色感知与人类视觉相匹配，提升用户使用体验。

4、在一些实施例中，基于多光谱图像进行光谱估计，得到拍摄场景中光源的光谱功率，包括：基于拍摄场景的多光谱图像进行光谱估计，得到拍摄场景中各区域的局部光谱功率；根据光谱功率确定色彩还原参数，包括：根据拍摄场景中各区域的局部光谱功率，确定各区域的局部色彩还原参数。

5、采用上述技术方案，可以在同一拍摄场景各区域的光谱功率不相同的情形下，针对各区域进行色彩还原，使得同一拍摄场景下的各区域的图像颜色均能得到准确的还原，提高原始成像图像的色彩还原的准确性。

6、在一些实施例中，基于拍摄场景的多光谱图像进行光谱估计，得到拍摄场景中各区域的局部光谱功率，包括：对多光谱图像进行高光检测，得到多光谱图像的高光区域；根据高光区域，得到各区域的局部光谱功率。

7、采用该技术方案，由于光源照射拍摄物品，拍摄物品经反射可能会形成高光区域，基于高光区域更易确定光源的光谱功率，进而可准确得到各区域的局部光谱功率，节省计算量。

8、在一些实施例中，多光谱图像包括用于进行高光检测的辅助配件，对多光谱图像进行高光检测，得到多光谱图像的高光区域，包括：对多光谱图像中的辅助配件进行高光检测，基于判定为高光的辅助配件的位置，得到多光谱图像的高光区域。

9、采用该技术方案，通过辅助配件能够提高高光区域的检测成功率以及准确率。

10、在一些实施例中，对多光谱图像进行高光检测，得到多光谱图像的高光区域，包括：统计多光谱图像中各像素的亮度，及将像素亮度排名前预设位的像素所在的区域作为多光谱图像的高光区域；或检测多光谱图像中各像素的亮度，及将像素亮度大于预设亮度阈值的像素所在的区域作为多光谱图像的高光区域。

11、采用该技术方案，通过将像素亮度排名前预设位的像素所在的区域，或者像素亮度大于预设亮度阈值的像素所在的区域作为多光谱图像的高光区域，能够准确提取多光谱图像的高光区域，提高高光区域的检测成功率以及准确率。

12、在一些实施例中，根据高光区域，得到各区域的局部光谱功率，包括：对高光区域进行主成分分析，得到高光区域的第一主成分向量和高光区域的第二主成分向量；将高光区域的图像数据投影至高光区域的第一主成分向量和高光区域的第二主成分向量组成的平面中；基于投影后的图像数据在平面中的分布，确定成线性分布的线性簇；对线性簇进行主成分分析，得到线性簇的第一主成分向量；基于高光区域的第一主成分向量、高光区域的第二主成分向量和线性簇的第一主成分向量，得到局部光谱功率。

13、采用该技术方案，通过对高光区域进行主成分分析，能够消除图像数据中的噪声，减少后续分析光谱功率的计算开销，便于针对不同拍摄场景的区域生成局部对应的局部光谱功率，以提高局部光谱功率的准确性。

14、在一些实施例中，基于高光区域的第一主成分向量、高光区域的第二主成分向量和线性簇的第一主成分向量，得到局部光谱功率，包括：对高光区域的第一主成分向量和高光区域的第二主成分向量进行伪逆运算，得到伪逆矩阵；基于伪逆矩阵与线性簇的第一主成分向量，得到局部光谱功率。

15、采用该技术方案，引入伪逆运算可以准确计算得到与各个局部区域对应的局部光谱功率，提高局部光谱功率的准确性。

16、在一些实施例中，电子设备包括摄像模组，局部色彩还原参数包括局部色彩校正矩阵，根据拍摄场景中各区域的局部光谱功率，确定各区域的局部色彩还原参数，包括：获取摄像模组的色卡反射率函数、光谱灵敏度函数和标准观察者色匹配函数；基于色卡反射率函数、光谱灵敏度函数和局部光谱功率，得到摄像模组的感光数据；基于色卡反射率、标准观察者色匹配函数和局部光谱功率，得到标准观察者三刺激值；根据摄像模组的感光数据和标准观察者三刺激值，得到局部色彩校正矩阵。

17、采用该技术方案，在计算色彩校正矩阵的过程中拟合了局部色彩校正矩阵、色卡反射率函数、相机灵敏度函数和标准观察者色匹配函数，从而能够提高色彩校正矩阵的准确性，进而提高色彩还原的准确性。

18、在一些实施例中，局部色彩还原参数包括局部色适应转换矩阵，根据拍摄场景中各区域的局部光谱功率，确定各区域的局部色彩还原参数，包括：获取标准观察者色匹配函数和目标光源的光谱功率；基于局部光谱功率和标准观察者色匹配函数，得到拍摄场景中的光源的白点三刺激值；基于目标光源的光谱功率和标准观察者色匹配函数，得到目标光源的白点三刺激值；根据拍摄场景中的光源的白点三刺激值和目标光源的白点三刺激值，得到局部色适应转换矩阵。

19、采用该技术方案，基于标准观察者色匹配函数、目标光源的光谱功率和局部光谱功率拟合出局部色适应转换矩阵，以使得在进行色彩还原时，够将拍摄场景下的光源的三刺激值转换到目标光源下的三刺激值，提高色彩还原的准确性，例如目标光源为d65光源。

20、在一些实施例中，根据拍摄场景中的光源的白点三刺激值和目标光源的白点三刺激值，得到局部色适应转换矩阵，包括：基于拍摄场景中的光源的白点三刺激值与预设的色适应模型，得到第一响应值，第一响应值为人眼对拍摄场景中的光源的长波、中波和短波的响应值；基于目标光源的白点三刺激值与色适应模型，得到第二响应值，第二响应值为人眼对目标光源的长波、中波和短波的响应值；根据第一响应值和第二响应值，得到局部色适应转换矩阵。

21、采用该技术方案，将三刺激值转换为人眼对拍摄场景中的光源及目标光源的长波、中波和短波的响应值，再进行局部色适应转换矩阵的计算，使得计算出的色适应转换矩阵与人类视觉更加匹配。

22、在一些实施例中，色彩还原参数包括：色彩校正矩阵和色适应转换矩阵，基于色彩还原参数对原始成像图像进行色彩还原，得到色彩还原后的图像，包括：基于色彩校正矩阵对原始成像图像中的各像素进行校正处理，得到色彩校正后的图像；基于色适应转换矩阵对色彩校正后的图像进行转换处理，得到色彩还原的图像。

23、采用该技术方案，色彩校正矩阵能够将相机感光数据转换到标准观察者的三刺激值，色适应校正矩阵能够将拍摄场景下的光源的三刺激值转换到目标光源下的三刺激值，从而实现色彩的还原。

24、在一些实施例中，基于多光谱图像进行光谱估计，得到拍摄场景中光源的光谱功率，包括：基于多光谱图像进行光谱估计，得到拍摄场景中光源的光谱功率和光源分布信息；基于色彩还原参数对原始成像图像进行色彩还原，得到色彩还原后的图像之后，还包括：根据光源分布信息，确定色彩还原后的图像中的临界像素，临界像素位于光源分界区域；对临界像素进行平滑处理，得到平滑处理后的图像。

25、采用该技术方案，基于光源分布信息对色彩还原后的图像中的临界像素进行平滑处理，避免处于光源分界区域的图像颜色差异大，实现颜色的平滑过渡，从而提高色彩还原效果。

26、在一些实施例中，基于多光谱图像进行光谱估计，得到拍摄场景中光源的光谱功率，包括：响应于进入颜色保真模式的请求，生成用于设置拍摄场景光源信息的人机交互界面；从人机交互界面获取用户设置的拍摄场景光源信息；基于拍摄场景光源信息和多光谱图像进行光源光谱估计，得到拍摄场景中光源的光谱功率。

27、采用该技术方案，结合获取的拍摄场景的光源信息以及多光谱图像进行光谱估计，能够更准确地估计出拍摄场景中的光源的光谱功率，在颜色保真模式下，才进行光谱估计，能够使得在用户对图像的色彩还原需求较低的情况下，降低电子设备能耗，提高用户使用感。

28、在一些实施例中，获取拍摄场景的多光谱图像，包括：通过多个多光谱图像传感器获取拍摄场景的多光谱初始图像；将各多光谱初始图像进行合并，得到拍摄场景的多光谱图像。

29、采用该技术方案，将多个多光谱初始图像合并，使得得到的拍摄场景的多光谱图像的包含的信息更多，光谱功率估计更加准确。

30、第二方面，本技术实施例提供一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面所述的图像处理方法。

31、第三方面，本技术实施例提供一种电子设备，电子设备包括处理器和存储器，存储器用于存储指令，处理器用于调用存储器中的指令，使得电子设备执行如第一方面所述的图像处理方法。

32、第四方面，本技术实施例提供一种计算机程序产品，当计算机程序产品在电子设备(如计算机)上运行时，使得电子设备执行如第一方面所述的图像处理方法。

33、第五方面，提供一种装置，所述装置具有实现上述第一方面所提供的方法中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。

34、可以理解地，上述提供的第二方面所述的计算机可读存储介质，第三方面所述的电子设备，第四方面所述的计算机程序产品，第五方面所述的装置均与上述第一方面的方法对应，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。