像素值校正方法以及像素值校正装置与流程

本申请内容涉及图像处理技术，尤指一种利用滤波器电路来进行像素值校正的方法及装置。

背景技术：

藉由彩色滤光片，图像传感器可获取不同的色彩信息。举例来说，采用拜尔彩色滤光片数组(bayercolorfilterarray)的互补式金属氧化物半导体图像传感器(complementarymetal-oxide-semiconductorimagesensor，cmosimagesensor)可具有红色、绿色及蓝色通道，其中各像素可提供红色(r)、绿色(g)与蓝色(b)通道的其中之一的色彩信息。藉由图像内插(interpolation)/去马赛克处理(demosaicing)，可根据各通道的色彩信息重建出全彩图像。

然而，像素串扰(pixelcrosstalk)会严重影响图像内插/去马赛克处理的结果。以拜尔彩色滤光片数组为例，绿色滤光片的个数是红色滤光片和蓝色滤光片的两倍，其中左右均为红色像素(对应红色滤光片来设置；可称作r像素)的绿色像素(对应绿色滤光片来设置；可称作gr像素)所受到的像素串扰，不同于左右均为蓝色像素(对应蓝色滤光片来设置；可称作b像素)的绿色像素(对应绿色滤光片来设置；可称作gb像素)所受到的像素串扰。如此一来，两个绿色像素会提供不同干扰程度的色彩信息，产生gb-gr不平衡(gb-grimbalance)的现象，进而降低成像质量。

因此，需要一种图像处理方案，来解决gb-gr不平衡的问题。

技术实现要素：

本申请的实施例提供一种利用滤波器电路来进行像素值校正的方法及装置。

本申请的某些实施例包含一种像素值校正方法。该像素值校正方法包含以下步骤：取得多个像素所产生的一输入图像数据，该输入图像数据包含该多个像素的一第一部分所输出的一第一色彩平面的一第一组像素值，以及该多个像素的一第二部分所输出的一第二色彩平面的一第二组像素值；决定一估测图像数据的多组滤波响应值与多组目标值之间的一差值函数，其中该估测图像数据包含在该第一色彩平面与在该第二色彩平面之中该多个像素分别对应的多个第一估测像素值与多个第二估测像素值；该多组滤波响应值是利用多组特征滤波系数对该多个第一估测像素值与该多个第二估测像素值进行滤波而产生；该多个像素的该第二部分中各像素在该第一色彩平面之中的预估像素值作为该多组目标值的一第一组目标值；藉由求取使该差值函数具有最小值时该估测图像数据的解，来决定至少一组校正滤波系数；以及使一滤波器电路采用该至少一组校正滤波系数，对该输入图像数据进行滤波，以校正该第一组像素值。

本申请的某些实施例包含一种像素值校正装置。该像素值校正装置包含一计算模块以及一滤波器电路。该计算模块用以：取得多个像素所产生的一输入图像数据，该输入图像数据包含该多个像素的一第一部分所输出的一第一色彩平面的一第一组像素值，以及该多个像素的一第二部分所输出的一第二色彩平面的一第二组像素值；决定一估测图像数据的多组滤波响应值与多组目标值之间的一差值函数，其中该估测图像数据包含在该第一色彩平面与在该第二色彩平面之中该多个像素分别对应的多个第一估测像素值与多个第二估测像素值；该多组滤波响应值是利用多组特征滤波系数对该多个第一估测像素值与该多个第二估测像素值进行滤波而产生；该多个像素的该第二部分中各像素在该第一色彩平面之中的预估像素值作为该多组目标值的一第一组目标值；以及藉由求取使该差值函数具有最小值时该估测图像数据的解，来决定至少一组校正滤波系数。该滤波器电路耦接于该计算模块，用以采用该至少一组校正滤波系数对该输入图像数据进行滤波，以校正该第一组像素值。

附图说明

结合附随图式来阅读下文的实施方式，可清楚地理解本申请的多种方案。应注意到，根据本领域的标准惯例，图式中的各种特征并不一定是按比例进行绘制的。事实上，为了能够清楚地描述，可任意放大或缩小某些特征的尺寸。

图1是本申请的像素值校正装置的一实施例的功能方框示意图。

图2是图1所示的输入图像数据的一实施例的示意图。

图3是用来对图2所示的多个估测像素值进行滤波的多组特征滤波系数的一实施例的示意图。

图4是图3所示的多组特征滤波系数的实施例的示意图。

图5是根据图3所示的各组滤波响应值与相对应的一组目标值所决定的差值函数的一实施例的示意图。

图6是根据图5所示的滤波矩阵与目标向量来重建图2所示的多个色彩平面的一实施例的示意图。

图7是本申请的像素值校正方法的一实施例的流程图。

具体实施方式

以下申请内容提供了多种实施方式或例示，其能用以实现本申请内容的不同特征。下文所述的组件与配置的具体例子用以简化本申请内容。当可想见，这些叙述仅为例示，其本意并非用于限制本申请内容。举例来说，若将一组件描述为与另一组件「连接(connectedto)」或「耦接(coupledto)」，则两者可直接连接或耦接，或两者之间可能出现其他中间(intervening)组件。此外，本申请内容可能会在多个实施例中重复使用组件符号和/或标号。此种重复使用乃是基于简洁与清楚的目的，其本身不代表所讨论的不同实施例和/或组态之间的关系。再者，当可理解，本申请的实施例提供了许多可应用的概念，其可广泛地实施于各种特定场合。以下所讨论的实施例仅供说明的目的，并非用来限制本申请的范围。

藉由适当/优化的滤波器设计方式，本申请所提供的像素值校正方案可在保留不同色彩平面(colorplane)(诸如gb平面和gr平面)各自的纹理特征的情形下，根据实时图像数据来重建色彩平面，估测不同色彩平面之间的像素值落差/像素值修正量，并据以进行像素值校正。进一步的说明如下。

图1示出了本申请的像素值校正装置的一实施例的功能方框示意图。像素值校正装置100可实施为(但不限于)成像系统、显示系统或图像处理系统之中的电路芯片。在此实施例中，像素值校正装置100可藉由对多个像素(图1未示出)所产生的一输入图像数据im进行滤波处理，以校正输入图像数据im所包含的像素值。

像素值校正装置100可包含(但不限于)一计算模块110以及一滤波器电路120。计算模块110用以取得输入图像数据im，并可根据输入图像数据im决定多组目标值{t}的至少一部分。此外，计算模块110可决定一估测图像数据em的多组滤波响应值{r}与多组目标值{t}之间的一差值函数f({r}，{t})。藉由求取差值函数f({r}，{t})满足一预定条件时估测图像数据em的解，计算模块110可决定出至少一组校正滤波系数{c}。举例来说，计算模块110可藉由求取使差值函数f({r}，{t})具有最小值时估测图像数据em的解，来决定至少一组校正滤波系数{c}。

滤波器电路120耦接于计算模块110，用以根据至少一组校正滤波系数{c}对输入图像数据im进行滤波，以校正输入图像数据im之中的至少一部分的像素值。举例来说，在处理gr-gb不平衡的应用中，滤波器电路120可根据至少一组校正滤波系数{c}来重建gr平面与gb平面的至少其一，以及根据gr平面与gb平面之间的像素值差来校正输入图像数据im之中gr像素与gb像素的至少其一所输出的像素值。

图2示出了图1所示的输入图像数据im的一实施例的示意图。在此实施例中，输入图像数据im包含多个像素p0～p24所输出的多个像素值，其中多个像素p0～p24可对应于拜尔彩色滤光片数组的设计来设置，而排列成5列与5行的像素数组。多个像素p1、p3、p11、p13、p21与p23(可称作r像素)用以提供红色通道的色彩信息，并分别输出一色彩平面(即r平面)的多个像素值r1、r3、r11、r13、r21与r23。多个像素p5、p7、p9、p15、p17与p19(可称作b像素)用以提供蓝色通道的色彩信息，并分别输出一色彩平面(即b平面)的多个像素值b5、b7、b9、b15、b17与b19。

此外，多个像素p0、p2、p4、p6、p8、p10、p12、p14、p16、p18、p20、p22与p24用以提供绿色通道的色彩信息，其中与r像素位于同一列的多个像素p0、p2、p4、p10、p12、p14、p20、p22与p24(即gr像素)分别输出一色彩平面(即gr平面)的多个像素值gr0、gr2、gr4、gr10、gr12、gr14、gr20、gr22与gr24，与b像素位于同一列的多个像素p6、p8、p16与p18(即gb像素)分别输出一色彩平面(即gb平面)的多个像素值gb6、gb8、gb16与gb18。

为便于理解本申请的内容，以下基于重建gr平面与gb平面以校正gr像素与gb像素所输出的像素值的实施例，来说明本申请所提供的像素值校正方案。然而，本申请并不以此为限。举例来说，将本申请所提供的像素值校正方案应用于重建至少一色彩平面以估测不同色彩平面之间的像素值差(或像素值修正量)，进而校正像素值的实施方式，亦遵循本申请的精神而落入本申请的范畴。

请一并参阅图1与图2。在取得输入图像数据im之后，计算模块110可根据输入图像数据im来决定多组目标值{t}，其中多组目标值{t}可指示出重建后的色彩平面(gr平面或gb平面)被期待具有的图像特性。举例来说，若希望重建后的gr平面可具有细致的纹理特征，多组目标值{t}可包含gb像素在gr平面之中的预估像素值。因此，在重建后的gr平面之中，可预期相邻的像素行(或像素列)相对应的像素值能够表现出像素行(或像素列)之间的亮暗变化。

此外，计算模块110可利用多组特征滤波系数对估测图像数据em进行滤波以产生多组滤波响应值{r}，进而决定多组滤波响应值{r}与多组目标值{t}之间的差值函数f({r}，{t})。

在此实施例中，估测图像数据em可包含在一色彩平面g0’与一色彩平面g1’之中多个像素p0～p24分别对应的多个估测像素值g0’(0)～g0’(24)与多个估测像素值g1’(0)～g1’(24)。色彩平面g0’与色彩平面g1’的其中之一可以是gr平面，色彩平面g0’与色彩平面g1’的其中之另一可以与gb平面。举例来说，在多个像素p0～p24中的一感兴趣像素是gr像素的情形下，色彩平面g0’是gr平面，色彩平面g1’则是gb平面，其中该感兴趣像素于色彩平面g0’与色彩平面g1’中各自的像素值，可用来估测色彩平面g0’与色彩平面g1’之间的像素值误差。又例如，在该感兴趣像素是gb像素的情形下，色彩平面g0’是gb平面，色彩平面g1’则是gr平面。在此实施例中，该感兴趣像素可以是(但不限于)多个像素p0～p24的中心像素，因此色彩平面g0’与色彩平面g1’分别是gr平面与gb平面。

该多组特征滤波系数可根据重建后的色彩平面被期待具有的图像特性来设计，使多组滤波响应值{r}可接近(或大致等于)多组目标值{t}。请连同图2参阅图3。图3是用来对图2所示的多个估测像素值g0’(0)～g0’(24)与g1’(0)～g1’(24)进行滤波的多组特征滤波系数的一实施例的示意图。在此实施例中，为使重建后的gr平面与gb平面的图像特性包含(但不限于)图像平滑性、结构相似性、数据吻合性与纹理细致性，多组目标值{t}可包含指示出图像平滑性的多组目标值tsmooth，g0与tsmooth，g1、指示出结构相似性的一组目标值tstruct、指示出数据吻合性的多组目标值tsubraw，g0与tsubraw，g1，以及指示出纹理细致性的一组目标值tapprox。此外，可采用多组特征滤波系数msmooth、mstruct、msubraw，g0、msubraw，g1与mapprox来对多个估测像素值g0’(0)～g0’(24)与g1’(0)～g1’(24)进行滤波，以产生多组滤波响应值rsmooth，g0、rsmooth，g1、rstruct、rsubraw，g0、rsubraw，g1与rapprox，其可作为图1所示的多组滤波响应值{r}的一实施例。各组滤波响应值及其相对应的一组目标值的某些实施方式说明如下。值得注意的是，由于图像滤波操作可藉由利用滤波系数(卷积核)对像素值进行卷积运算的方式来实施，为方便说明，图3所示的实施例是以矩阵乘法来表示卷积运算，其中多个估测像素值g0’(0)～g0’(24)可向量化为25×1的行向量，以及多个估测像素值g1’(0)～g1’(24)可向量化为25×1的行向量。

图像平滑性是指自然图像通常不具有极高频的特征，而具有信号连续的相对平滑特性。因此，可预期重建后的gr平面与gb平面不具有极高频的特征。举例来说，可根据输入图像数据im在色彩平面g0’中的高频成分来决定该组目标值tsmooth，g0。该组特征滤波系数msmooth可用来对色彩平面g0’中的多个估测像素值g0’(0)～g0’(24)进行高通滤波，使该组滤波响应值rsmooth，g0可反映出估测图像数据em在色彩平面g0’中的高频成分。也就是说，该组特征滤波系数msmooth可由高通滤波系数数组来实施，诸如25×25的滤波系数矩阵。在估测图像数据em在色彩平面g0’不具有(或几乎不具有)高频成分的情形下，该组目标值tsmooth，g0可等于或近似于零，以及该组滤波响应值rsmooth，g0可被预期为等于或近似于零。

相似地，可根据输入图像数据im在色彩平面g1’中的高频成分来决定该组目标值tsmooth，g1。该组特征滤波系数msmooth可用来对色彩平面g1’中的多个估测像素值g1’(0)～g1’(24)进行高通滤波，使该组滤波响应值rsmooth，g1可反映出估测图像数据em在色彩平面g1’中的高频成分。在估测图像数据em在色彩平面g1’不具有(或几乎不具有)高频成分的情形下，该组目标值tsmooth，g1可等于或近似于零，以及该组滤波响应值rsmooth，g1可被预期为等于或近似于零。

值得注意的是，虽然以上是以同一组特征滤波系数msmooth来对色彩平面g0’之多个估测像素值g0’(0)～g0’(24)与色彩平面g1’之多个估测像素值g1’(0)～g1’(24)进行滤波，然而，采用不同组特征滤波系数来进行滤波也是可行的。

结构相似性是指重建后的不同色彩平面可具有相似的结构。因此，虽然重建后的gr平面与gb平面两者之间可能存在某个程度的像素值差，但是均可表现出多个像素p0～p24相应的g通道纹理特征，故可预期各像素在重建后的gr平面与gb平面之中各自的预估像素值的结构特征之间的差距很小。举例来说，可根据多个像素p0～p24中各像素在色彩平面g0’与色彩平面g1’之间像素值的差变化来决定该组目标值tstruct。该组特征滤波系数mstruct可用来对各像素在色彩平面g0’与色彩平面g1’中各自的估测像素值之间的像素值差进行高通滤波，使该组滤波响应值rstruct可反映出估测图像数据em在色彩平面g0’与色彩平面g1’之间高频结构的差变化。也就是说，该组特征滤波系数mstruct可由高通滤波系数数组来实施，诸如25×25的滤波系数矩阵。在色彩平面g0’与色彩平面g1’具有相同/相似纹理结构的情形下，该组目标值tstruct可等于或近似于零，以及该组滤波响应值rstruct可被预期为等于或近似于零。

数据吻合性是指多个像素p0、p2、p4、p10、p12、p14、p20、p22与p24(gr像素)在重建后的gr平面中相对应的像素值，可分别与输入图像数据im中多个像素值gr0、gr2、gr4、gr10、gr12、gr14、gr20、gr22与gr24相等或相近，以及多个像素p6、p8、p16与p18(gb像素)在重建后的gb平面中相对应的像素值，可分别与输入图像数据im中多个像素值gb6、gb8、gb16与gb18相等或相近。

举例来说，在色彩平面g0’与色彩平面g1’分别是gr平面与gb平面的实施例中，可根据多个像素值gr0、gr2、gr4、gr10、gr12、gr14、gr20、gr22与gr24来决定该组目标值tsubraw，g0，以及根据多个像素值gb6、gb8、gb16与gb18来决定该组目标值tsubraw，g1。该组特征滤波系数msubraw，g0可用来对多个像素p0、p2、p4、p10、p12、p14、p20、p22与p24于色彩平面g0’中相对应的估测像素值进行取样，使该组滤波响应值rsubraw，g0可反映出各gr像素在色彩平面g0’中相对应的像素值。此外，该组特征滤波系数msubraw，g1可用来对多个像素p6、p8、p16与p18于色彩平面g1’中相对应的估测像素值进行取样，使该组滤波响应值rsubraw，g1可反映出各gb像素在色彩平面g1’中相对应的像素值。

在某些实施例中，可直接将输入图像数据im中各gr像素的像素值作为该组目标值tsubraw，g0，以及直接将输入图像数据im中各gb像素的像素值作为该组目标值tsubraw，g1：

以及

纹理细致性可反映出像素行与像素行之间的信号变化信息，和/或像素列与像素列之间的信号变化信息。例如，在图像处理的内插操作中，可将gr平面与gb平面的像素值视为同一色彩通道的像素信息，使相邻的像素行(或像素列)在重建后的gr平面/gb平面中的像素值，可以表现出像素行之间(或像素列之间)的亮暗变化/图像纹理。举例来说，在色彩平面g0’与色彩平面g1’分别是gr平面与gb平面的实施例中，可将gb像素在gr平面之中的一组预估像素值g0，sub”(多个像素值gb6、gb8、gb16与gb18相对应的多个预估像素值g0”(6)、g0”(8)、g0”(16)、g0”(18))作为该组目标值tapprox，使重建后的gr平面可被预期表现出像素行之间(或像素列之间)的亮暗变化。此外，该组特征滤波系数mapprox可用来对色彩平面g0’法人多个估测像素值g0’(6)、g0’(8)、g0’(16)与g0’(18)进行取样，使该组滤波响应值rapprox可反映出在色彩平面g0’中各gr像素相对应的估测像素值。

值得注意的是，多个预估像素值g0”(6)、g0”(8)、g0”(16)与g0”(18)可由多种预估方式来取得。以预估像素值g0”(6)为例，在某些实施例中，图1所示的计算模块110可根据像素p6于gb平面的像素值gb6以及像素p6周围的四个像素p0、p2、p10与p12于gr平面的多个像素值gr0、gr2、gr10与gr12来决定。举例来说(但本申请不限于此)，图1所示的计算模块110可将(gr0+gr2)/2、(gr10+gr12)/2、(gr0+gr10)/2与(gr2+gr12)/2之中与gb6最接近的一个值，作为预估像素值g0”(6)。

图4是图3所示的多组特征滤波系数msubraw，g0、msubraw，g1与mapprox的实施例的示意图。在此实施例中，多组特征滤波系数msubraw，g0、msubraw，g1与mapprox可用来图2所示的估测图像数据em进行跳点取样。例如，在图2所示的色彩平面g0’与色彩平面g1’分别是gr平面与gb平面的实施例中，该组特征滤波系数msubraw，g0可由9×25的取样矩阵来实施，以取样出多个估测像素值g0’(0)、g0’(2)、g0’(4)、g0’(10)、g0’(12)、g0’(14)、g0’(20)、g0’(22)与g0’(24)，以及该组特征滤波系数msubraw，g1可由4×25的取样矩阵来实施，以取样出多个估测像素值g1’(6)、g1’(8)、g1’(16)与g1’(18)。此外，该组特征滤波系数mapprox可由4×25的取样矩阵来实施，以取样出多个预估像素值g0′”(6)、g0”(8)、g0”(16)与g0”(18)。

图5是根据图3所示的各组滤波响应值与相对应的一组目标值所决定的差值函数的一实施例的示意图。图1所示的差值函数f({r}，{t})可由图5所示的差值函数fd来实施。于此实施例中，差值函数fd可由多组滤波响应值rsmooth，g0、rsmooth，g1、rstruct、rsubraw，g0、rsubraw，g1和rapprox与多组目标值tsmooth，g0与tsmooth，g1、tstruct、tsubraw，g0、tsubraw，g1与tapprox之间的一加权平方误差来实施，其中与分别是图像平滑性、结构相似性、数据吻合性与纹理细致性相对应的权重。举例来说，在对低光源下所获取的输入图像数据进行滤波处理时，可提高图像平滑性的权重(即以减少输出图像数据受到噪声成分的影响。

于此实施例中，可利用最小平方法来求取使差值函数fd具有最小值时(以min(fd)表示)多个估测像素值g0'(0)～g0’(24)与g1’(0)～g1’(24)(即图2所示的估测图像数据em)的解，来决定图1所示的滤波器电路120采用的至少一组校正滤波系数。例如，多组滤波响应值rsmooth，g0、rsmooth，g1、rstruct、rsubraw，g0、rsubraw，g1与rapprox可表示为多组特征滤波系数msmooth、mstruct、msubraw，g0、msubraw，g1与mapprox相关的一数据矩阵u(诸如92×50的矩阵)乘以多个估测像素值g0’(0)～g0'(24)与g1’(0)～g1’(24)相关的一估测向量g(诸如50×1的行矩阵)，多组目标值tsmooth，g0与tsmooth，g1、tstruct、tsubraw，g0、tsubraw，g1与tapprox可表示一目标向量v(诸如92×1的行矩阵)。因此，使差值函数fd具有最小值时多个估测像素值g0'(0)～g0'(24)与g1’(0)～g1’(24)的解，可表示为矩阵(u^tu)^-1、矩阵u^t与目标向量v的乘积，其中矩阵u^t是数据矩阵u的转置矩阵，而矩阵(u^tu)^-1是矩阵u^t与数据矩阵u的乘积的反矩阵。至少一组校正滤波系数便可根据矩阵(u^tu)^-1与矩阵u^t的乘积来决定。例如，矩阵(u^tu)^-1与矩阵u^t的乘积可作为滤波矩阵f，其中f0，g0～f24，g0表示滤波矩阵f的第0列～第25列的列向量，f0，g1～f24，g1表示滤波矩阵f的第26列～第50列的列向量。由于滤波矩阵f与目标向量v均为已知，可根据滤波矩阵f与目标向量v来重建色彩平面g0’与色彩平面g1’，以校正图2所示的多个像素p0～p24中感兴趣像素(pixelofinterest)的像素值。

图6是根据图5所示的滤波矩阵f与目标向量v来重建图2所示的色彩平面g0’与色彩平面g1’的一实施例的示意图。请连同图1及图5来参阅图6。于此实施例中，色彩平面g0’与色彩平面g1’可分别对应于(但不限于)gr平面与gb平面。各gr像素与各gb像素的像素值可被校正到的数据平面dp。以感兴趣像素是多个像素p0～p24的像素p12(中心像素)为例，像素p12于色彩平面g0’的估测像素值g0’(12)可表示为f12，g0v，中心像素p12于色彩平面g1’的估测像素值g1’(12)可表示为f12，g1v。像素p12于gr平面与gb平面之间的像素值差可表示为(f12，g0-f12，g1)v。在像素p12的像素值gr12的像素值修正量等于上述像素值差的一半的情形下，计算模块110可决定一组校正滤波系数滤波器电路120可采用该组校正滤波系数对输入图像数据im进行滤波，以决定像素p12的像素值gr12的像素值修正量接下来，滤波器电路120可根据像素值修正量将像素值gr12校正为

值得注意的是，上述根据至少一组校正滤波系数进行像素值校正的方式仅供说明的目的，并非用来限制本申请的内容。在某些实施例中，像素值修正量不限于同一像素的像素值在色彩平面g0’与色彩平面g1’之间的像素差值的一半。在某些实施例中，滤波器电路120可采用两组校正滤波系数f12，g0与f12，g0分别对输入图像数据im进行滤波，得到估测像素值g0’(12)与估测像素值g1’(12)。接下来，滤波器电路120可根据估测像素值g0’(12)与估测像素值g1’(12)之间的差决定像素值修正量(诸如并据以校正像素值gr12。

在某些实施例中，计算模块110可决定一组校正滤波系数滤波器电路120可采用该组校正滤波系数对输入图像数据im进行滤波，以将像素值gr12校正为在色彩平面g0’与在色彩平面g1’之中像素p12分别对应的估测像素值g0’(12)与估测像素值g1’(12)的平均值在某些实施例中，滤波器电路120可采用两组校正滤波系数f12，g0与f12，g0分别对输入图像数据im进行滤波，得到估测像素值g0’(12)与估测像素值g1’(12)。接下来，滤波器电路120可将像素值gr12校正为估测像素值g0’(12)与估测像素值g1’(12)的平均值

虽然以上是基于多个像素p0～p24的中心像素来说明像素值校正的实施方式，然而，本申请所提供的像素值校正方案可应用于其他感兴趣像素，诸如其他gr像素或gb像素，而不会悖离本申请的精神。

以上所述仅供说明的目的，并非用来限制本申请的内容。在某些实施例中，图1所示的差值函数f({r}，{t})并不限于加权平方误差的实施方式。举例来说，图5所示的图像平滑性、结构相似性、数据吻合性与纹理细致性相对应的权重可彼此相等。也就是说，图1所示的差值函数f({r}，{t})可由图3所示的多组滤波响应值rsmooth，g0、rsmooth，g1、rstruct、rsubraw，g0、rsubraw，g1和rapprox与多组目标值tsmooth，g0与tsmooth，g1、tstruct、tsubraw，g0、tsubraw，g1与tapprox之间的误差平方和来实施。又例如，图1所示的差值函数f({r}，{t})可由各组滤波响应值与相对应的一组目标值之间的误差绝对值的总和来实施。

在某些实施例中，滤波器电路的设计不一定要同时考虑图像平滑性、结构相似性、数据吻合性与纹理细致性。举例来说，省略图像平滑性、结构相似性、数据吻合性与纹理细致性其中的一个或多个图像特性来设计滤波器电路也是可行的。

在某些实施例中，本申请所提供的像素值校正方案也可应用于ryyb彩色滤光片数组(采用一个红色滤光片、一个蓝色滤光片搭配两个黄色滤光片的滤光片设计)、cyym彩色滤光片数组(采用一个青色滤光片、一个洋红色滤光片搭配两个黄色滤光片的滤光片设计)或其他类型的彩色滤光片数组。举例来说，于ryyb彩色滤光片数组的应用中，本申请所提供的像素值校正方案可用于校正两个黄色像素(分别与红色像素与蓝色像素位于同一像素列)因为像素串扰所引起的误差。又例如，于cyym彩色滤光片数组的应用中，本申请所提供的像素值校正方案可用于校正两个黄色像素(分别与青色像素与洋红色像素位于同一像素列)因为像素串扰所引起的误差。

只要是可决定包含不同色彩平面的一估测图像数据的多组滤波响应值与多组目标值之间的一差值函数，并藉由求取使该差值函数具有最小值时该估测图像数据的解以决定至少一组校正滤波系数，使滤波器电路可实时估测不同色彩平面的像素值落差(或像素值修正量)以进行像素值校正的方案，设计上相关的变化均遵循本申请的精神而落入本申请的范畴。

图7是本申请的像素值校正方法的一实施例的流程图。为了方便说明，以下搭配图1所示的像素值校正装置100、图2所示的输入图像数据im以及图5所示的差值函数fd来说明像素值校正方法700。然而，这并非用来限制本申请的内容。此外，在某些实施例中，可安插某些步骤于像素值校正方法700之中。像素值校正方法700可简单归纳如下。

于步骤702中，取得多个像素所产生的一输入图像数据，该输入图像数据包含该多个像素的一第一部分所输出的一第一色彩平面的一第一组像素值，以及该多个像素的一第二部分所输出的一第二色彩平面的一第二组像素值。举例来说，计算模块110可取得多个像素p0～p24所产生的输入图像数据im，其包含多个像素p0、p2、p4、p6、p8、p10、p12、p14、p16、p18、p20、p22与p24所输出的gr平面的一第一组像素值(即多个像素值gr0、gr2、gr4、gr10、gr12、gr14、gr20、gr22与gr24)，以及多个像素p6、p8、p16与p18所输出的gb平面的一第二组像素值(即多个像素值gb6、gb8、gb16与gb18)。

于步骤704中，决定一估测图像数据的多组滤波响应值与多组目标值之间的一差值函数，其中该估测图像数据包含在该第一色彩平面与在该第二色彩平面之中该多个像素分别对应的多个第一估测像素值与多个第二估测像素值。该多组滤波响应值是利用多组特征滤波系数对该多个第一估测像素值与该多个第二估测像素值进行滤波而产生。该多个像素的该第二部分中各像素在该第一色彩平面之中的预估像素值作为该多组目标值之一第一组目标值。举例来说，计算模块110可决定估测图像数据em的多组滤波响应值{r}与多组目标值{t}之间的一差值函数，诸如差值函数fd。在某些实施例中，多组滤波响应值{r}可利用多组特征滤波系数msmooth、mstruct、msubraw，g0、msubraw，g1与mapprox对估测图像数据em在色彩平面g0’之中的多个估测像素值g0’(0)～g0’(24)以及在色彩平面g1’之中的多个估测像素值g1’(0)～g1’(24)进行滤波而产生。在色彩平面g0’与色彩平面g1’分别是gr平面与gb平面的某些实施例中，为使重建后的gr平面之中相邻的像素行(或像素列)相对应的像素值能够表现出像素行(或像素列)之间的亮暗变化，各gb像素在gr平面之中的预估像素值可作为多组目标值{t}之中的一组目标值。

于步骤706中，藉由求取使该差值函数具有最小值时该估测图像数据的解，来决定至少一组校正滤波系数。举例来说，计算模块110可藉由求取使差值函数fd具有最小值时估测图像数据em的解，来决定至少一组校正滤波系数{c}。在某些实施例中，计算模块110可利用最小平方法来求取使差值函数fd具有最小值时估测图像数据em的最佳解，来决定至少一组校正滤波系数{c}。

于步骤708中，使一滤波器电路采用该至少一组校正滤波系数，对该输入图像数据进行滤波，以校正该第一组像素值。举例来说，滤波器电路120可采用至少一组校正滤波系数{c}对输入图像数据im进行滤波，以校正多个像素值gr0、gr2、gr4、gr10、gr12、gr14、gr20、gr22与gr24。在某些实施例中，滤波器电路120可采用该组校正滤波系值对输入图像数据im进行滤波，以决定像素值gr12的像素值修正量并据以修正像素值gr12。

在某些实施例中，于步骤702中，该第一组像素值可以是gb像素所输出的像素值(诸如多个像素值gb6、gb8、gb16与gb18)，而该第二组像素值可以是gr像素所输出的像素值(诸如多个像素值gr0、gr2、gr4、gr10、gr12、gr14、gr20、gr22与gr24)。也就是说，待校正的像素值可以是输入图像数据im中gb像素的像素值。

在某些实施例中，于步骤702中，该多个像素的该第一部分中的每一像素是与一第一颜色的像素位于同一列的具有一第二颜色的像素，该多个像素的该第二部分中的每一像素是与一第三颜色的像素位于同一列的具有该第二颜色的像素。举例来说，在多个像素p0～p24是对应rggb彩色滤光片数组来设置情形下，该第一颜色、该第二颜色及该第三颜色可分别由红色、绿色及蓝色来实施，或可分别由蓝色、绿色及红色，以校正两个绿色像素(即gr像素和gb像素)因为像素串扰所引起的误差。也就是说，待校正的该第一组像素值可以是输入图像数据im中gr像素的像素值或gb像素的像素值。又例如，在多个像素p0～p24可对应ryyb彩色滤光片数组来设置，其中该第一颜色、该第二颜色及该第三颜色可分别由红色、黄色及蓝色来实施，或可分别由蓝色、黄色及红色，以校正两个黄色像素(分别与红色像素与蓝色像素位于同一像素列)因为像素串扰所引起的误差。

由于所属领域中的通常知识者在阅读图1～图6相关的段落说明之后，应可了解像素值校正方法700中的每一步骤的细节，因此进一步的说明在此便不再赘述。

藉由适当/优化的滤波器设计方式，本申请所提供的像素值校正方案可根据实时图像数据重构出不同的色彩平面(诸如完整的gb平面和gr平面)，估测并修正不同色彩平面之间的像素值误差(或同一像素在不同色彩平面中相对应的像素值之间的误差)。

上文的叙述简要地提出了本申请某些实施例的特征，而使得本申请所属技术领域具有通常知识者可更全面地理解本申请的多种方案。本申请所属技术领域具有通常知识者当可明了，其可轻易地利用本申请作为基础，来设计或更动其他工艺与结构，以实现与此处所述的实施方式相同的目的和/或达到相同的优点。本申请所属技术领域具有通常知识者应当明白，这些均等的实施方式仍属于本申请的精神与范围，且其可进行各种变更、替代与更动，而不会悖离本申请的精神与范围。

【符号说明】

100：像素值校正装置

110：计算模块

120：滤波器电路

700：像素值校正方法

702，704，706，708：步骤

im：输入图像数据

em：估测图像数据

{r}：多组滤波响应值

rsmooth，g0，rsmooth，g1，rstruct，rsubraw，g0，rsubraw，g1，rapprox：一组滤波响应值

msmooth，mstruct，msubraw，g0，msubraw，g1，mapprox：一组特征滤波系数

{t}：多组目标值

tsmooth，g0，tsmooth，g1，tstruct，tsubraw，g0，tsubraw，g1，tapprox，[g0，subraw]，[g1，subraw]：一组目标值

f({r}，{t})：差值函数

{c}：至少一组校正滤波系数

p0～p24：像素

r1，r3，r11，r13，r21，r23，gr0，gr2，gr4，gr10，gr12，gr14，gr20，gr22、，gr24，gb6，gb8，gb16，gb18，b5，b7，b9，b15，b17，b19：像素值

g0’，g1’：色彩平面

g0’(0)～g0’(24)，g1’(0)～g1’(24)：估测像素值

g0”(2)，g0”(6)，g0”(8)，g0”(16)：预估像素值

g0，sub”：一组预估像素值

权重

u：数据矩阵

u^t：矩阵

f：滤波矩阵

v：目标向量

g：估测向量

f0，g0～f24，g0，f0，g1～f24，g1：列向量

dp：数据平面。