一种基于AI色彩感知的调色方法和装置以及设备与流程

本发明涉及智能调色，尤其涉及一种基于ai色彩感知的调色方法和装置以及设备。

背景技术：

1、通常情况下，当使用raw解析软件进行转档时，需要调整raw转档的算法的一些参数来使得数码图像可以模仿类似胶片感的风格，或者模仿某些有名摄影师的风格，这个过程被称为调色。然而，调色是一项对色彩敏感性和美学素养要求较高的任务，需要长时间的训练和学习才能掌握。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种基于ai色彩感知的调色方法和装置以及设备，适用于对相机的原始raw文件进行色彩和场景分析，并在raw转档阶段提供使用参数推荐的算法。此方法不仅适用于对原始raw文件的调色参数推荐，对经过raw转档的普通图像也同样适用。

2、根据本发明的一个方面，提供一种基于ai色彩感知的调色方法，包括：

3、根据raw engine内部的pipeline构建风格化模型：

4、ires＝fstyle(iori,p)＝fn(…f2(f1(iori,p1),p2),…,pn)

5、式中，iori为原始图像，ires为调色过后的图像，fstyle()为风格化函数模型，p1、p2…pn为风格化参数；

6、将该风格化模型依据图片调整顺序分解为若干风格化参数子模型：

7、

8、

9、…

10、

11、式中，为不同风格化参数子模型，fn()为风格化参数子函数模型；为风格化参数子模型输出的结果。

12、根据风格化需求以及图片调整顺序，以前一子模型输出的图像数据作为后一子模型的输入的方式，训练上述若干个风格化参数子模型，并利用训练好后的若干个风格化参数模型按照图片调整顺序对原始图像iori进行分析输出若干风格化参数，基于风格化参数p1、p2…pn以及风格化函数模型fstyle()对原始图像iori进行调整获得调色后的图像ires。

13、在上述技术方案中，通过将原本复杂的风格化函数fstyle拆解成若干个风格化参数子模型，通过建立风格化参数子模型来求取风格化函数fstyle中的风格化参数，最后在利用分别求取的风格化参数以及风格化函数fstyle来对原始图像进行处理，由原本从一步到位的模型预估，转为了根据不同的阶段，这样就可以设计更小更准确的模型去实现，而且在训练难度减少的同时，还削减的数据的需求量。

14、在一些实施例中，所述风格化参数子模型：包括：白平衡子模型、影调子模型以及色彩子模型。

15、在上述技术方案中，一般的图像调色分为白平衡、影调、颜色三个部分，为此本实施例从raw engine内部的pipeline和原理出发，考虑到raw engine的流程内部，有参数的耦合，比如影调模型的某些参数，将会影响到后续模型的表现，因此，训练子模型的本身，需要对应这种耦合。以及模型的关联性和算法结构，将风格化函数模型拆解为白平衡子模型、影调子模型以及色彩子模型三个部分。

16、在一些实施例中，根据风格化需求训练白平衡子模型，具体地：

17、构建相机差异参数文件，并利用该相机差异参数文件修正原始图像数据；

18、以进行光源矫正后的图像数据作为基础数据，以卷积操作实现灰区域选择的功能，求取灰色区域的二维直方图作为第一神经网络的输入；以光源的色温&色调的推测值作为网络的输出；以标记有理想色温&色调值的数据作为训练数据，通过训练灰点的卷积网络作为媒介，最终输出白平衡推荐值p1。

19、在上述技术方案中，本实施例将标定不同相机之间差异的参数引入到网络内部，消除了差异。同时，本实施例使用神经网络实现了灰点选择，并对图像进行二维直方图统计，消除了位置信息的干扰，提高了算法的鲁棒性。

20、在一些实施例中，构建相机差异参数文件，具体地：

21、使用3个不同的光源分别拍摄色卡，进行初步校准，使用最小二乘法计算不同光源下的颜色校正矩阵；

22、拍摄其他非常见光源下的色卡以及实景拍摄的结果来对所述颜色校正矩阵进行微调，输出最终的颜色校正矩阵作为相机差异参数文件。

23、在本实施例中，不同的相机之间必定会存在差异，该差异可能会使得训练的原始数据是无法对齐的，甚至还可能出现数据冲突。所以，本实施例提出了使用标定的方式，去消除相机机型之间的差异。过以上方法，可以校正不同相机型号之间的差异，以确保它们符合调色标准。3个光源分开拍摄。主要考虑了，高色温，低色温和日常的中色温，3个比较有代表性的场景。

24、在一些实施例中，根据风格化需求训练影调子模型，具体地：

25、将原始图像数据进行灰度化预处理；

26、将灰度化预处理后的原始图像数据作为第二神经网络的输入，以曝光推荐值、高光&阴影推荐值以及色阶推荐值作为第二神经网络的输出，构建三主干网络的影调神经网络模型；对该影调神经网络模型进行训练，根据训练后的影调神经网络模型输出曝光推荐值p2、高光&阴影推荐值p3以及色阶推荐值p4。

27、在上述技术方案中，本实施例分别建立了曝光、高光和阴影以及色阶三主干网络。由于仅涉及到影调的学习，所以将raw数据先进行灰度化，然后分别送入网络。将求取的中间过程的特征图谱进行连接，然后再送入最后提取特征的网络，最后输出推荐值。此处三主干网络的目的在于将功能相似的模块进行合并，构建的模型会比好训练。尤其是，影调部分仅仅曝光、高光&阴影以及色阶三个参数，将三者构建与一网络中既能提高模型的精确性也能提高训练效率。

28、在一些实施例中，根据风格化需求训练色彩子模型，具体地：

29、将原始图像数据进行hsl数据色彩分离预处理；

30、将hsl数据色彩分离预处理后的原始图像数据作为第三神经网络的输入，以hsl推荐值、曲线&色彩曲线推荐值以及色彩推荐值作为第三神经网络的输出，构建三主干网络的色彩神经网络模型；对该色彩神经网络模型进行训练，根据训练后的色彩神经网络模型输出hsl推荐值p5、曲线&色彩曲线推荐值p6以及色彩推荐值p7。

31、在上述技术方案中，本实施例分别建立了hsl、曲线&色彩曲线和色彩分级器三主干网络。由于涉及到颜色部份的特征，所以，再输入到网络之前，使用hsl色彩空间，将数据根据色相的不同进行拆分。然后，将其送入各个功能的网络，将求取的中间过程的特征图谱进行连接，计算出推荐值。

32、根据本发明的另一个方面，提供一种基于ai色彩感知的调色装置，其特征在于，包括依序连接的构建模块以及调色模块，其中，

33、构建模块，根据raw engine内部的pipeline构建风格化模型：

34、ires＝fstyle(iori，p)＝fn(...f2(f1(iori，p1)，p2)，...，pn)

35、式中，iori为原始图像，ires为调色过后的图像，fstyle()为风格化函数模型，p1、p2…pn为风格化参数；

36、将该风格化模型依据图片调整顺序分解为若干风格化参数子模型：

37、

38、

39、…

40、

41、式中，为不同风格化参数子模型，fn()为风格化参数子函数模型；为风格化参数子模型输出的结果。

42、调色模块，用于根据风格化需求以及图片调整顺序，以前一子模型输出的图像数据作为后一子模型的输入的方式，训练上述若干个风格化参数子模型，并利用训练好后的若干个风格化参数模型按照图片调整顺序对原始图像iori进行分析输出若干风格化参数，基于风格化参数p1、p2…pn以及风格化函数模型fstyle()对原始图像iori进行调整获得调色后的图像ires。

43、在上述技术方案中，通过将原本复杂的风格化函数fstyle拆解成若干个风格化参数子模型，通过建立风格化参数子模型来求取风格化函数fstyle中的风格化参数，最后在利用分别求取的风格化参数以及风格化函数fstyle来对原始图像进行处理，由原本从一步到位的模型预估，转为了根据不同的阶段，这样就可以设计更小更准确的模型去实现，而且在训练难度减少的同时，还削减的数据的需求量。

44、根据本发明的又一个方面，提供一种基于ai色彩感知的调色设备，包括：

45、至少一个处理器；以及，

46、与所述至少一个处理器通信连接的存储器；其中，

47、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于ai色彩感知的调色方法。

48、在上述技术方案中，为了更好的运行和处理该方法，将上述方法存储至存储器，并利用处理器来执行存储的方法。需要注意的是，每个步骤的原理和效果已在上文描述，此处不再展开说明。

49、根据本发明的再一个方面，提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于ai色彩感知的调色方法。

50、在上述技术方案中，为了更好的运行和使用该方法，将上述方法存储至计算机可读存储介质，并利用处理器来实现上述方法。需要注意的是，每个步骤的原理和效果已在上文描述，此处不再展开说明。