一种图像色彩的处理方法及装置与流程

本技术涉及图像处理，尤其涉及图像色彩的处理方法及装置。

背景技术：

1、图像信号处理(image signal processor，isp)在手机摄影中占据着重要地位。它旨在模仿人的视觉系统，把相机传感器记录的信号恢复成符合人眼对真实世界认知的图像。人眼对于色彩的判别尤为敏锐。为了能使成像系统呈现真实、正确的色彩，在实际工程中，需要根据特定型号的相机特性进行白平衡、色彩修正等相关isp模块的调参。

2、由于终端设备迭代速度快、不同版本相机模组的响应各不相同，如何实现统一且准确的isp色彩调整成为一个挑战。传统的专家调试方法必然导致繁琐的重复调参过程，浪费了人力与时间；对于色彩标准的主观评测也限制了准确性的提升、导致不同型号模组呈现的色彩难以统一。

技术实现思路

1、本技术的实施例提供一种图像色彩的处理方法及装置，实现对成像通路更加准确的色彩标准化，后续isp模块仅需要基于标准色彩进行统一调参即可，实现与设备解耦，避免重复调参。

2、第一方面，本技术提供了一种图像色彩的处理方法，包括获取摄像模组对目标拍摄场景进行拍摄得到的待处理图像信号和阵列多光谱传感器模组对目标拍摄场景采集得到的陈列多光谱信号；基于阵列多光谱信号，确定场景频谱分布信息，该场景频谱分布信息指示目标拍摄场景对应的频谱分布；基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布；基于待处理图像信号和第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布，第二标准色彩值分布用于作为对待处理图像信号进行色彩参数调整的依据。

3、本技术通过利用阵列多光谱传感器感知场景频谱信息，引导成像通路进行更为精确的色彩标准化，后续的isp模块仅需要基于标准色彩进行统一调参即可，实现与设备解耦，避免由于设备的不同而进行的多次调参。

4、可选的，可以通过神经网络模型的方式实现基于阵列多光谱信号确定场景频谱分布信息，例如，将阵列多光谱信号作为训练完成的神经网络模型的输入，输出场景频谱分布信息。也即训练完成的神经网络模型可以实现将阵列多光谱信号映射至场景频谱分布信息。

5、由于阵列多光谱传感器受成像机制限制，往往通道间响应混叠，场景信息需要被有效提取，例如提取场景频谱分布信息，以便于后续的色彩的标准化处理。

6、在一个可能的实现中，神经网络模型包括第一分支网络和第二分支网络；将阵列多光谱信号作为神经网络模型的输入，输出场景频谱分布信息的一个具体实现为：将阵列多光谱信号作为第一分支网络的输入，输出光源种类概率分布；将阵列多光谱信号作为第二分支网络的输入，输出各个种类光源的频谱分布；神经网络模型的输入层对光源种类概率分布和各个种类光源的频谱分布做加权处理，输出场景频谱分布信息。

7、在该可能的实现中，光源种类预测信息作为辅助确定场景频谱分布信息，可以有效区分歧义场景，例如不同光源种类下可能存在不同材质多光谱信号类似的情形，保证了场景频谱分布信息的准确性；同时通过第一分支网络和第二分支网络的并行计算可以高效快速实现场景频谱分布信息的确定。

8、可选的，第一分支网络包括浅层卷积神经网络，例如，浅层卷积神经网络对的输入层对输入的阵列多光谱信号进行空间下采样，卷积层对空间下采样后的数据进行卷积处理，最后输出光源种类概率分布，例如太阳光的概率为0.8、白炽灯的概率为0.2。

9、在一个示例中，光源种类包括太阳光、白炽灯、led灯和荧光灯中的至少两种典型种类的光源。

10、在另一个可能的实现中，第二分支网络包括分组单元和全卷积神经网络(fullyconvolutional networks，fcn)；将阵列多光谱信号作为第二分支网络的输入，输出各个种类光源的频谱分布的一种具体实现为：在分组单元中对阵列多光谱信号进行分组处理，得到k个分组的多光谱信号，第i-1组中的多光谱信号与全局多光谱信号的相关性大于第i组的多光谱信号与全局多光谱信号的相关性，k为大于1的正整数，i为正整数；将k个分组中每个分组的多光谱信号的均值作为全卷积神经网络的输入，输出每个分组的多光谱信号对应的各个种类光源的频谱分布。

11、在该可能的实现中，采用轻量化的fcn神经网络作为频谱预测网络，预测各个种类光源的频谱分布，保证了网络的轻量化，可以实现在终端上进行部署，降低对终端的计算资源的开销，同时根据局部信号相似性进行分组调优的方式实现了计算资源的合理分配。

12、在一个示例中，每个分组的多光谱信号与全局多光谱信号的相关性，基于每个分组的多光谱信号与阵列多光谱信号的平均值的内积确定。

13、示例性的，分组单元先计算全局多光谱信号(也即阵列多光谱传感器模组采集到的所有像素的多光谱信号)的平均值，然后计算每个像素处的多光谱信号与全局多光谱信号的平均值间的相关性，根据相关性对每个像素处的多光谱信号进行排序，然后根据排序对阵列多光谱信号进行分组，分为k个组。例如，阵列多光谱信号进行排序后得到排序后的多光谱信号m，m 1、m 2…m n，从m1开始每n/k分为一个组，最后得到k个分组的多光谱信号，计算每个分组的多光谱信号的均值，然后将每个分组的多光谱信号的均值作为全卷积神经网络的输入，输出对应像素分区(也即对应分组)的平均场景频谱分布，也即每个分组对应的各个种类光源的频谱分布。

14、在另一个可能的实现中，基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布的一种具体实现为：将场景频谱分布与标准色卡进行拟合操作，得到第一转换矩阵；基于第一转换矩阵将阵列多光谱信号转换至标准色彩空间，得到第一标准色彩值分布。

15、在另一个可能的实现中，基于待处理图像信号和所述第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布的一种具体实现为：将待处理图像信号与第一标准色彩值进行拟合操作，得到第二转换矩阵；基于第二转换矩阵将待处理图像信号转换至标准色彩空间，得到第二标准色彩值分布。

16、在另一个可能的实现中，可以将阵列多光谱信息进行分区，逐分区的求解场景频谱分布信息，也即得到各个分区对应的场景频谱分布信息，然后根据各个分区对应的场景频谱分布信息，确定各个分区对应的第一标准色彩值分布。然后根据阵列多光谱信息的分区，对待处理图像信号也进行相应分区，将各个分区的待处理图像信号与相应的分区对应的第一标准色彩值分布进行拟合，得到各个分区的第二转换矩阵，再利用各个分区的第二转换矩阵将各个分区的图像信号转换至标准色彩空间，得到各个分区对应的第二标准色彩值分布。如此可以实现场景空间局部色彩的调优，从而避免场景中由于空间频谱分布差异大所造成的色彩偏移问题。

17、第二方面，本技术还提供一种图像色彩的处理装置，应用于摄像系统，摄像系统包括摄像模组和阵列多光谱传感器模组，该图像色彩的处理装置包括获取模块、第一确定模块、第二确定模块和第三确定模块，其中，获取模块用于获取待处理图像信号和陈列多光谱信号，待处理图像信号为摄像模组对目标拍摄场景进行拍摄得到的，阵列多光谱信号为阵列多光谱传感器模组对目标拍摄场景进行光谱信号采集得到；第一确定模块用于基于阵列多光谱信号，确定场景频谱分布信息，场景频谱分布信息指示目标拍摄场景对应的频谱分布；第二确定模块用于基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布；第三确定模块用于基于待处理图像信号和第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布，第二标准色彩值分布用于作为对待处理图像信号进行色彩参数调整的依据。

18、在一个可能的实现中，第二确定模块具体用于：将阵列多光谱信号作为神经网络模型的输入，输出场景频谱分布信息。

19、在另一个可能的实现中，神经网络模型包括第一分支网络和第二分支网络；将阵列多光谱信号作为神经网络模型的输入，输出场景频谱分布信息的一种具体实现为：将阵列多光谱信号作为所述第一分支网络的输入，输出光源种类概率分布；将阵列多光谱信号作为第二分支网络的输入，输出各个种类光源的频谱分布；神经网络模型的输入层对光源种类概率分布和各个种类光源的频谱分布做加权处理，输出场景频谱分布信息。

20、在另一个可能的实现中，第一分支网络包括浅层卷积神经网络。

21、在另一个可能的实现中，第二分支网络包括分组单元和全卷积神经网络；将所述阵列多光谱信号作为所述第二分支网络的输入，输出各个种类光源的频谱分布的一种具体实现为：在分组单元中对阵列多光谱信号进行分组处理，得到k个分组的多光谱信号，第i-1组中的多光谱信号与全局多光谱信号的相关性大于第i组的多光谱信号与全局多光谱信号的相关性，k为大于1的正整数，i为正整数；将k个分组中每个分组的多光谱信号的均值作为全卷积神经网络的输入，输出每个分组的多光谱信号对应的各个种类光源的频谱分布。

22、在另一个可能的实现中，每个分组的多光谱信号与全局多光谱信号的相关性，基于每个分组的多光谱信号与阵列多光谱信号的平均值的内积确定。

23、在另一个可能的实现中，第二确定模块具体用于：将场景频谱分布与标准色卡进行拟合操作，得到第一转换矩阵；基于第一转换矩阵将阵列多光谱信号转换至标准色彩空间，得到第一标准色彩值分布。

24、在另一个可能的实现中，第三确定模块具体用于：将待处理图像信号与第一标准色彩值进行拟合操作，得到第二转换矩阵；基于第二转换矩阵将待处理图像信号转换至标准色彩空间，得到第二标准色彩值分布。

25、在另一个可能的实现中，场景频谱分布信息包括阵列多光谱信号的多个像素分区的场景频谱分布信息；第二确定模块具体用于：基于多个像素分区中各个像素分区的场景频谱分布信息，确定各个像素分区对应的第一标准色彩值分布；第三确定模块具体用于：基于各个像素分区对应的待处理图像信号和各个像素分区的第一标准色彩值分布，确定待处理图像信号的各个像素分区对应的第二标准色彩值分布；基于待处理图像信号的各个像素分区对应的第二标准色彩值分布，确定待处理图像信号对应的第二标准色彩值分布。

26、第三方面，本技术还提供一种终端设备，包括摄像模组、阵列多光谱传感器模组、存储器和处理器，摄像模组用于对目标拍摄场景进行拍摄得到图像信号；阵列多光谱传感器模组用于对目标拍摄场景进行光谱信号采集得到阵列多光谱信号；存储器中存储有可执行代码，处理器执行可执行代码，实现第一方面所述的方法。

27、第四方面，本技术提供了一种计算机存储介质，包括计算机指令，当计算机指令在被处理器执行时，使得第一方面所述的方法被实现。

28、第五方面，本技术提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括指令，当该指令执行时，令计算机执行第一方面所述的方法。

29、本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。