一种颜色校正模型的快速提取及迁移应用方法

1.本发明涉及数字图像处理技术领域，特别涉及一种颜色校正模型的快速提取及迁移应用方法。


背景技术：

2.对数字图像颜色校正时，通常使用作用于rgb值(或其它颜色空间)的3x3线性空间颜色校正矩阵来实现，也可以使用更复杂的高阶非线性彩色校正方法来实现。由于校正常常是在某些图像处理软件中由人工多步操作配合算法处理、或直接由一些成像设备的嵌入式程序自动处理的，校正参数不易获取和记录；特别地，如果采用的是某些非线性校正方法，有时甚至校正模型不能用显式的数学表达式表示，校正参数也无法确定。
3.另外，常常某幅数字图像颜色校正完成后，对相似场景的数字图像可根据需要再使用相同的颜色校正方法和相同的参数进行颜色校正；而由人工多步操作配合算法处理的颜色校正过程一般不容易复现、且效率低下。
4.为此，本发明设计了一种能够快速提取及迁移应用的颜色校正模型，以解决上述问题。


技术实现要素：

5.针对上述技术问题，本发明将提供一种有效的方法，根据原图和该图颜色校正后的图像，快速提取、建立颜色校正模型，将模型结构和参数保存在校正后的图像中；在此基础上，当需要对同类或相似场景的新图像使用相同的模型进行颜色校正时，能快速获得模型参数、迁移应用至新图像上，对新图像直接通过数学变换进行颜色校正。
6.该方法能应用至多幅同类图像的白平衡调整、色温调节、低照度图像增强、图像风格化处理等情形，能快速、高效实现多幅相似场景图像的颜色校正，保证颜色校正效果的一致性。
7.一种颜色校正模型的快速提取及迁移应用方法，具体方案描述如下：
8.s1：读取图像及该图像颜色校正后的图像，分析并判定所采用的颜色校正是线性的还是非线性的，进而计算和提取颜色校正模型参数。具体过程如下所述：
9.s101：读取原图及该图像颜色校正后的图像。记原图为io，该图像颜色校正后的图像为ic。
10.s102：根据图像像素颜色特性，在原图和校正后的图像中筛选一定数量的像素。首先在图像ic中随机选取n0个像素，记l为颜色灰度级，检查每个像素各通道颜色值，若任一通道的颜色值存在0或l-1，则剔除该像素(记r、g、b每个颜色通道的灰度级为l，则每一颜色分量的范围为[0,l-1])。由此得到n个像素(一般取n0为2％～3％的图像ic的像素总个数，保证n大于0.5％～2％的图像ic的像素总个数即可)，每个像素的各颜色分量值均在范围[1,l-2]以内，即各通道均无饱和颜色。记得到的n个像素在原图中的行列坐标构成的序列为:p
n
＝{(x1,y1),(x2,y2),
…
,,,(x
n
,y
n
)}。在ic中对应的像素的颜色值构成的序列为：i
cn
＝
{(r
c1
,g
c1
,b
c1
),(r
c2
,g
c2
,b
c2
),
…
,(r
cn
,g
cn
,b
cn
)}。根据序列p
n
，得到在图像io中对应的像素的颜色值构成的序列为：i
on
＝{(r
o1
,g
o1
,b
o1
),(r
o2
,g
o2
,b
o2
),
…
,(r
on
,g
on
,b
on
)}。
[0011]
s103：利用最小二乘法，估算颜色校正矩阵。由s102所得数据，得到像素颜色值矩阵：
[0012][0013]
根据颜色校正公式：
[0014][0015]
式中r、g、b分别为校正后图像中像素的红、绿、蓝颜色分量值，而r、g、b分别为原图像中像素的红、绿、蓝颜色分量值；c为颜色校正矩阵，c＝c
ij
(i,j＝1,2,3)分别为颜色校正系数，可得:
[0016]
y＝cx
[0017]
定义罚函数：
[0018][0019]
其中y
i
为矩阵y中的第i行，c
i
为矩阵c中的第i行,i＝1,2,3，即y＝[y
1 y
2 y3]
t
，c＝[c
1 c
2 c3]
t
。利用最小二乘的矩阵法求解，得到
[0020]
c
i
＝y
i
x
t
(xx
t
)-1
[0021]
即可得到：
[0022]
c＝yx
t
(xx
t
)-1
[0023]
s104：判断颜色校正模型类型。将步骤s102重复三次得到三组{i
on
，i
cn
}，由步骤s103得到三组颜色校正矩阵c
(1)
、c
(2)
、c
(3)
，取其算术平均值：求得平均颜色校正矩阵利用的具体数值，采用步骤s102中所述颜色校正公式对图像io进行逐像素的颜色校正，得到原图预测输出的图像iop。定义均方根误差(rmse)评价iop与原图颜色校正后的图像ic之间的误差：
[0024][0025]
其中i＝1,2,
…
,m,j＝1,2,
…
,n，m和n分别为原图像io的像素的行数和列数(图像io、ic与iop都是m行、n列)；δr
ij
、δg
ij
、δb
ij
分别为图像iop与ic中第i行j列对应位置处像素的红、绿、蓝颜色分量的差值。
[0026]
选择rmse作为判定因子η，若rmse小于阈值ε(ε可取4～8)，则选定颜色校正模型为线型模型，进入步骤s105；否则选定颜色校正模型为非线性模型，进入步骤s106。
[0027]
s105：确定颜色校正矩阵。选定步骤s104所得的为颜色校正线性模型的颜色校正矩阵c，即转到步骤s2。
[0028]
s106：获取原图和该图像颜色校正后的图像的缩略图。采用行列等间隔采样的方式，行方向每s个像素取一个像素，列方向每s个像素取一个像素，构成缩略图。s的取值范围一般在3～8。记原图io的缩略图为i
o_th
，该图像颜色校正后的图像ic的缩略图为i
c_th
。由于io与ic行数相同、列数相同，因而i
o_th
和i
c_th
的行数相同、列数也相同。
[0029]
s107：确定颜色校正变换函数的系数矩阵。根据s106所得缩略图i
o_th
、i
c_th
，将其按照像素行方向从左到右、列方向从上往下的方式，逐个重排其颜色值，得到如下形式的矩阵：
[0030][0031]
式中k为每个缩略图的像素个数。由此，定义非线性变换函数f
t
，建立从i
o_th_r
至i
c_th_r
的映射，并且构造如下的优化问题：
[0032][0033]
式中‖
·
‖
f
为frobenius范数，其定义为其中矩阵a＝[a
ij
]
m
×
n
,i＝1,2,
…
,m,j＝1,2,
…
,n。函数r3→
r
u
为核函数，将图像颜色值由rgb三维空间变换至u维空间。优选地，核函数采用多项式核函数形式，实现变换：
[0034]
φ∶[r,g,b]
t
[0035]
→
[r,g,b,r2,g2,b2,rg,gb,rb,r3,g3,b3,rg2,gb2,rb2,gr2,bg2,br2,rgb,r4,g4,b4,r3g,r3b,g3r,g3b,b3r,b3g,r2g2,g2b2,r2b2,r2gb,g2rb,b2rg]
t
。
[0036]
因此映射变换函数f
t
可由一个3
×
34矩阵表示，记为变换函数系数矩阵m
ft
。
[0037]
求解上述优化问题，得到颜色校正变换函数的系数矩阵：
[0038][0039]
s2：根据s1所得数据，确定颜色校正模型结构类型及参数；以jpg格式保存颜色校正后的图像，同时将所确定的颜色校正模型结构类型及参数，保存至图像的注释域中。具体步骤如下：
[0040]
s201：记校正类型值为crtype，根据s1所得结果，若颜色校正采用线性模型，则crtype为0；若颜色校正采用非线性模型，则crtype为1。crtype为0时，颜色校正变换参数为颜色校正矩阵c；若crtype为1，颜色校正变换参数为变换函数的系数矩阵m
ft
。
[0041]
s202：将颜色校正后的图像保存为jpg图像格式，同时将s201所述数据crtype、c，或者crtype、m
ft
，保存至该jpg图像文件的注释域中。
[0042]
步骤s3：需要对新图像进行颜色校正前，读取嵌入了颜色校正模型及参数的图像中的注释域内容，解析得到颜色校正变换参数。具体步骤如下：
[0043]
s301：读取应用了步骤s2、存储有颜色校正模型结构类型及参数的jpg图像文件的注释域的内容。
[0044]
s302：记s301得到的注释域中第一个字段的值为crtype，根据其数值解析得到颜色校正参数。若crtype为0，表示颜色校正采用的是线性模型，将注释域第二个字段赋值为颜色校正矩阵c；若crtype为1，表示颜色校正采用的是非线性模型，将注释域第二个字段赋值给颜色校正变换函数的系数矩阵m
ft
。步骤s4：读取需要进行颜色校正的新图像，将步骤s3所得的颜色校正参数迁移应用至新图像的颜色校正。具体迁移应用的过程如下：
[0045]
s401：读取需要进行颜色校正的新图像ia。
[0046]
s402：根据步骤3所得数据，若crtype＝0，则利用s302所得颜色校正矩阵c对图像ia进行逐像素的颜色校正，得到校正后的图像iac。颜色校正采用如下公式：
[0047][0048]
其中r、g、b为校正前图像ia的像素颜色值，r、g、b为校正后的图像iac的像素颜色值。若crtype＝1，则转到步骤s403。
[0049]
s403：采用s301所得的颜色校正变换函数的系数矩阵m
ft
对图像i
a
进行颜色校正，校正变换表达式为：
[0050][0051]
式中i
a_r
是按照行方向从左到右、列方向从上往下的方式，逐个像素重排i
a
像素颜色值得到的矩阵，i
ac_r
为对应的校正后的像素颜色矩阵，q为图像ia中像素的总个数；为步骤s107所选定的核函数。
[0052]
据此，得到颜色校正后的图像i
ac
在第i行、第j列处的像素颜色值{r
ij
,g
ij
,b
ij
}，其中r
ij
＝r
ac,(i-1)*n+j
，g
ij
＝g
ac,(i-1)*n+j
，b
ij
＝b
ac,(i-1)*n+j
，i＝1,2,
…
,m；j＝1,2,
…
,n，m、n分别为图像ia的像素行数、列数。由此，得到颜色校正后的图像i
ac
。
[0053]
本发明的有益效果为：
[0054]
①
该方法根据原图和该图颜色校正后的图像，只需进行简单易行的计算，即可选定所采用的颜色校正的模型结构，快速得到颜色校正模型参数，主要过程可编写计算机程序实现，无需人工计算分析；
[0055]
②
该方法将颜色校正模型结构类型及参数保存至校正后的图像文件中，在处理相似场景图像时能快速读取、解析，得到颜色校正变换参数，使用方便；
[0056]
③
利用提取的颜色校正模型参数，对相似场景图像进行变换处理即可进行颜色校正，使得颜色校正模型及参数能快速、高效迁移应用至新的图像，保证处理相似场景图像时颜色校正效果的一致性。
[0057]
④
该方法可应用至多幅相似场景图像的白平衡、色温调节、低照度增强、图像风格化处理等，提高图像处理应用效率，有一定的实际应用价值。
附图说明
[0058]
图1是本发明中颜色校正模型自动提取及迁移应用的工作过程的流程图。
[0059]
图2是本发明中s1中颜色校正模型自动提取的工作过程的流程图。
[0060]
图3是本发明中用于实施例1示例的样图。
[0061]
图4是本发明中用于实施例2示例的样图。
[0062]
图5是本发明中用于实施例2示例的线性和非线性颜色校正效果比较图。
具体实施方式
[0063]
下面结合附图和具体实施方式对本发明给出进一步的说明。
[0064]
图1是本发明中颜色校正模型自动提取及迁移应用的工作过程的流程图。图1所示步骤s1和s2进行颜色校正模型及参数的提取，步骤s3和s4将提取的模型迁移应用至新图像上实现颜色校正。图2是本发明中步骤s1所述颜色校正模型自动提取的详细工作过程，可以判断和选定颜色校正模型为线性或非线性模型，不同类型时提取的模型参数不同。迁移应用至新图像上时，采用对应的模型及参数进行数学变换实现颜色校正。
[0065]
为进一步详细说明本发明的实施方式、过程和效果，结合两个实施例予以描述。
[0066]
实施例1
[0067]
图3是本发明中用于实施例1示例的样图，列出了采用本发明提供的方法后的各图像的效果。如图3所示，原图为io，原图颜色校正后得到的图像为ic，进行颜色校正迁移应用的新图像记为ia，该新图像颜色校正后的图像为iac。
[0068]
实施本发明所述步骤s1时，读取原图io及该图像颜色校正后的图像ic，分析并提取所采用的颜色校正模型及其参数，本发明附图2给出了具体过程流程。在步骤s102、s103、以及s104中，通过筛选io和ic中的一定数量的像素，应用最小二乘法，估算出三组颜色校正矩阵，得到原图的预测输出图像iop，经过计算分析判断从io至ic所采用的颜色校正模型是线性的；进而由s105，计算得到颜色校正矩阵c。该过程中得到的相关参数见表1所示。
[0069]
表1：实施例1中相关参数
[0070][0071]
实施本发明所述步骤s2时，得到颜色校正变换参数，保存至颜色校正后的图像中。此时校正类型值为crtype＝0，需要保存的是crtype、颜色校正矩阵c。这些参数保存至原图颜色校正后的图像ic中，作为注释域中的内容，文件格式为jpg。jpg图像文件中注释域中的内容按字段排列，依次保存有crtype、c的值。
[0072]
实施本发明所述步骤s3时，读取嵌入了颜色校正模型及参数的图像ic中的注释域，解析得到颜色校正变换参数。首先解析得到第一个字段的值为0，即crtype＝0，据此可判断模型为线性模型，后续解析得到的第二个字段即为c的值。
[0073]
实施本发明所述步骤s4时，是将所得的颜色校正参数c，迁移应用到新图像ia上进行颜色校正。所得的图像即如图3中所示的iac，其中的每个像素的颜色值是直接经过变换得到(r、g、b为ia的像素颜色值，r、g、b为iac的像素颜色值)。
[0074]
本实施例是本发明所提供的方法在图像白平衡处理上的应用。图3中图像ic是对io进行了白平衡处理后的效果，通过本发明提供的方法，只通过ic、io进行计算分析即提取出了白平衡处理的参数c；将c迁移应用至新图ia上，即是用c对ia进行图像白平衡，得到了图像iac。从图3中ia及iac可以看出，颜色校正迁移应用后图像效果明显改善，与从io至ic的图像白平衡后的效果基本一致，表明本方法对此类相似场景图像的处理较为有效。
[0075]
实施例2
[0076]
图4是本发明中用于实施例2示例的样图，列出了采用本发明提供的方法后的各图像的效果。如图4所示，原图为io，原图颜色校正后得到的图像为ic，进行颜色校正迁移应用的新图像记为ia，该新图像颜色校正后的图像为iac。
[0077]
实施本发明所述步骤s1时，读取图像io及图像ic，按本发明附图2的过程流程分析并提取所采用的颜色校正模型及参数。在步骤s102、s103、以及s104中，经过计算分析，判断从io至ic所采用的颜色校正模型是非线性的；进而由s106、s107以及s108计算得到颜色校正变换函数的系数矩阵mft。该过程中得到的相关参数见表2所示。
[0078]
表2：实施例2中相关参数
[0079]
[0080][0081]
表2中列出了步骤2运行时三次筛选得到的像素个数n分别为1179、1170、1178，占整个图像像素个数的百分比均不超过1％，说明只需少量像素即可进行颜色校正模型分析。
表中给出了颜色校正矩阵平均值据此可以得到预测输出图像iop，由此可以得到图像iop与ic的差，进而根据s104所述方法计算得到均方根误差(rmse)，即判定因子η；由于设置阈值ε为5，且η＝28.700>ε，故选定颜色校正模型为非线性；表2中列出了非线性颜色校正变换函数的系数矩阵m
ft
。作为比较，表2中也列出了若选定模型为线性得到的颜色校正矩阵c。
[0082]
为验证本实施例中选定色彩校正模型为非线性形式是有效的，利用c和m
ft
对原图io分别进行线性颜色校正和非线性颜色校正，所得的图像分别记为ic_l、ic_nl。ic_l即利用步骤2所得的预测输出图像iop。本发明附图5中，给出了图像ic_l和ic_nl的效果。以ic为参考图像，分别逐像素计算图像ic_l与ic对应颜色分量之间的差，分别记为参考图像，分别逐像素计算图像ic_l与ic对应颜色分量之间的差，分别记为计算ic_nl与ic对应颜色分量之间的差，分别记为计算ic_nl与ic对应颜色分量之间的差，分别记为两幅图像i1与i2(均有m行、n列像素)的差采用如下定义：
[0083][0084]
其中d
ij
＝{δr
ij
,δg
ij
,δb
ij
}，i＝1,2,
…
,m,j＝1,2,
…
,n；δr
ij
、δg
ij
、δb
ij
分别为图像i1与i2中第i行、第j列对应位置处像素的红、绿、蓝颜色分量的差值。附图5中绘出了像素颜色分量差的直方图分布，其中横轴表示颜色分量差数值，纵轴表示像素个数。可以看出，对于r、g、b分量，分别比更为集中在0附近，说明图像ic_nl与ic较为接近。进一步，以ic各颜色分量为参考，计算ic_nl、ic_l各颜色分量的均方根误差rmse(见附图5中的图例说明)，也可知ic_nl与ic较为接近。这更进一步表明了此实施例中应用非线性颜色校正模型比线性模型准确。
[0085]
此实施例在进行本发明所述步骤s2时，得到颜色校正变换函数的系数矩阵，保存至颜色校正后的图像中。此时校正类型值为crtype＝1，需要保存的是crtype、m
ft
。这些参数保存至原图颜色校正后的图像ic中，作为注释域中的内容，文件格式为jpg格式。该jpg图像文件注释域中的内容按字段顺序依次为crtype、m
ft
的值。
[0086]
此实施例在进行本发明所述步骤s3时，读取嵌入了颜色校正模型及参数的图像ic中的注释域内容，解析得到颜色校正变换参数。解析得第一个字段的值为1，即crtype＝1，据此可判断模型为非线性模型，后续解析的第二个字段的值即为m
ft
。
[0087]
此实施例在实施本发明所述步骤s4时，是将所得的颜色校正变换函数的系数矩阵m
ft
，迁移应用至新图像ia上进行颜色校正，所得的图像即图4中所示的iac。迁移应用即是对图像ia进行相应的数学变换：其中i
a_r
是对ia按步骤s107所述方法进行像素重新排列之后的矩阵；将i
ac_r
按步骤s107所述方法像素重排之后即得到变换后的图像iac。
[0088]
本实施例是本发明所提供方法针对低照度、有复杂色偏图像的应用。图4中ic是对io进行了增强和色偏校正后的效果，通过本发明提供的方法，只通过图像ic、io进行计算分析即提取出了颜色校正参数m
ft
；将m
ft
迁移应用至新图ia上，即是用m
ft
对ia进行了低照度增强和色偏校正处理，得到了图像iac。从图4中可以看出，从ia至iac，与从io至ic的颜色校正的效果基本一致。这表明本实施例中非线性颜色校正是有效的，本方法对此类相似场景图
像的处理也是有效的。
[0089]
本发明说明书附图1中，步骤s1至步骤s2主要用于获取颜色校正模型及参数，为本发明所述方法的第一阶段工作；而步骤s3至步骤s4，是应用步骤s1和s2所得的模型及参数至新图像上进行颜色校正，为本方法的第二阶段工作。在第一阶段将颜色校正模型及参数嵌入颜色校正的图像文件中后，该文件就可用于第二阶段使用，第二阶段无需第一阶段中用来提取模型的原图；第二阶段的工作即是从颜色校正后的图像文件提取嵌入的模型及参数，迁移应用至新图像上，同时新图像颜色校正后，也可嵌入校正模型及参数；后续如需再对其他图像采用相同的颜色校正，也只需使用嵌入了该颜色校正的模型及参数的任一图像文件即可。
[0090]
本发明涉及的颜色校正是指对整个图像进行的、全局的颜色变换操作，比如白平衡、图像色温调节等，不包括对图像局部采用不同的调节方式进行颜色编辑等情况。颜色校正模型是线性或非线性，指的是该对图像的像素颜色分量值校正计算采用的数学变换是线性变换或非线性变换。本发明中对于非线性变换，优选地使用多项式核函数，能实现较精确的颜色校正效果。
[0091]
本发明中涉及的计算不复杂，只需原图和颜色校正后的图像即可得到颜色校正模型结构类型及参数，方法简单、有效；并且能将颜色校正模型及参数保存在图像中，快速迁移应用至新的图像、尤其是是相似场景的图像，通过编写程序能快速实现。该方法能应用至多幅同类图像的白平衡、色温调节、低照度增强、图像风格化处理等情形，能快速、高效实现多幅相似场景图像的颜色校正，保证颜色校正效果的一致性。
[0092]
应当指出，对于本技术领域的一般技术人员来说，在不脱离本发明的原理的前提下，还可做出若干改进，这些改进也应视为本发明的保护范围。本实施例中未明确说明的各组成部分均可用现有技术加以实现。