专利名称：用于处理滤色器阵列的图像数据的方法和设备的制作方法
技术领域：
本发明总的涉及图像处理，尤其涉及用于内插对应于诸如拜耳滤色器阵列(Bayer CFA)之类的CFA的图像数据的方法和装置。
背景技术：
诸如数据照相机、移动电话摄像头之类的图像传感系统包括以有效像素传感器阵列形式存在的图像传感装置。这样的图像传感装置以图1所示的拜耳色彩模式产生具有三色(即，绿(G)、蓝(B)和红(R))的数字图像数据。在其中图像传感装置采用拜耳滤色器阵列(CFA)的情况下，互补金属氧化物半导体(CMOS)图像传感器(CIS)为每个像素产生对应于R、G、B色之一的图像数据。
如果仅使用由图像传感装置产生的每个像素数据显示图像，则所显示的图像会严重失真并具有很差的视觉质量。因此，后续内插器使用相邻像素数据为每个像素数据确定两个丢失的色彩分量。使用关于每个像素产生的三色数据显示的图像具有改善的视觉质量。
公知的内插方法包括线性内插方法、平滑色调过渡方法、PEI方法、方向性内插(directional interpolation)法、Adams方法、Adams-PEI方法、Kimmel方法等等。美国专利号550619和韩国专利申请号2001-56442公开了用于使用相邻像素数据来为每个像素获得两种丢失色彩的像素数据的常规内插方法。
然而，在上述常规内插方法中，没有完全校正所显示的图像的失真。图像的失真包括拉链式(zipper)现象，即混叠失真、色彩波纹、细节模糊损失、假/伪色彩现象等。
发明内容
因此，本发明致力于最小化当内插对应于滤色器阵列的图像数据的丢失色彩分量时的图像失真。
在用于处理根据滤色器阵列产生的图像数据本发明的一个方面的方法和设备中，从图像数据中产生分类符(classifier)。此外，通过根据分类符方向性内插图像数据来确定预定色彩分量。此外，线性内插图像数据来产生除预定色彩分量之外的至少一种其它色彩。还从线性内插的图像数据和经方向性内插的预定色彩分量中产生色度分量。
在本发明的一个实施例中，滤色器阵列具有拜耳色彩模式。在这种情况下，预定色彩分量是绿色，并且所述至少一种其它色彩分量包括红和蓝色。
在本发明的另一实施例中，产生分类符的步骤包括产生水平和垂直分类符。在那种情况下，产生分类符的步骤包括使用当前像素和当前像素左侧和右侧的额外像素的图像数据为当前像素计算水平分类符，并且使用当前像素和当前像素上侧和下侧的额外像素的图像数据为当前像素计算垂直分类符。
在本发明的进一步的实施例中，当用于当前像素的水平和垂直分类符之间的差异小于阈值时，通过平均当前像素和相邻像素的水平分类符来调节水平分类符，并且平均当前像素和相邻像素的垂直分类符来调节垂直分类符。
在本发明的另一实施例，如果垂直分类符大于水平分类符，则计算关于经方向性内插的预定色彩分量的水平卷积值。另一方面，如果垂直分类符小于水平分类符，则计算关于经方向性内插的预定色彩分量的垂直卷积值。另外，如果垂直分类符等于水平分类符，则平均关于经方向性内插的预定色彩分量的水平和垂直卷积值。
在本发明的进一步的实施例中，使用经方向性内插的预定色彩分量重新计算分类符。此外，根据分类符方向性内插色度分量，并且使用方向性内插的色度分量提取像素的至少一种色彩分量。
以这种方式，为对应于滤色器阵列的图像数据和色度分量执行线性和方向性内插。这样的多种内插改善了图像形成系统中的视觉质量。
通过结合附图对本发明的优选实施例进行详细描述，本发明的上述目的和优点将会变得更加清楚，其中
图1显示用于常规拜耳滤色器阵列的色彩模式；图2显示根据本发明实施例的色彩信号内插装置的方框图；图3是在根据本发明实施例的、图2的色彩信号内插装置的操作期间的步骤的流程图；图4A和4B图解根据本发明实施例的要从内插中确定的色彩分量；图5A图解根据本发明实施例的用于计算水平和垂直分类符的像素数据；图5B和5C图解根据本发明实施例的用于平均水平和垂直分类符的像素数据；图6图解根据本发明实施例的用于重新计算水平和垂直分类符的像素数据；和图7A和7B图解根据本发明实施例的色度分量计算。
这里参照的附图是为了清除说明而做出的，而不是必须按比例画出的。在图1、2、3、4A、4B、5A、5B、5C、6、7A和7B中具有相同附图标记的元件表示具有相同结构和/或功能的元件。
具体实施例方式
图2显示根据本发明实施例的色彩信号内插装置200的方框图。参照图2，色彩信号内插装置200包括线性内插器210、分类符计算器220、第一方向性内插器230、色差计算器240、第二方向性内插器250和RGB生成器260。
线性内插器210接收R、G和B像素图像数据，并使用相邻像素图像数据线性内插R、G和B像素图像数据来产生每个像素经线性内插的R、G和B数据。根据本发明示例性实施例，R、G和B像素图像数据来自具有拜耳模式CFA(滤色器阵列)的图像传感器。然而，本发明可以应用到其它类型的滤色器阵列。
分类符计算器220从线性内插器210输出的、经线性内插的R、G和B像素图像数据产生方向分类符，即水平和垂直分类符H和V。水平分类符H指示与当前像素相邻的数据的水平梯度，而垂直分类符V指示与当前像素相邻的数据的垂直梯度。
由于R和B色分量的混叠可能在内插的图像中出现波纹现象。R和B色分量的采样频率可能不足以补偿高空间频率，并因此可能引起混叠。
根据本发明实施例，关于诸如绿(G)色之类的预定色彩分量执行方向性内插来内插色度分量。为此，第一方向性内插器230根据水平和垂直分类符H和V使用从线性内插器210输出的、经线性内插的R、G、B像素图像数据来执行方向性内插。结果，第一方向性内插器230产生经方向性内插的G数据。
此外，分类符计算器220可以仅使用来自第一方向性内插器230的、经方向性内插的G数据来重新计算水平和垂直分类符H和V，以输出重新计算的水平和垂直分类符作为水平和垂直分类符H和V。替换地，分类符计算器220可以使用来自线性内插器210的、经线性内插的R和B数据和来自第一方向性内插器230的、经方向性内插的G数据来重新计算水平和垂直分类符H和V，以输出重新计算的水平和垂直分类符作为水平和垂直分类符H和V。由分类符计算器220重新计算水平和垂直分类符H和V是可选的。重新计算水平和垂直分类符H和V可以进一步改善视觉质量。
色差计算器240从来自线性内插器210的、经线性内插的R和B数据和来自第一方向性内插器230的、经方向性内插的G数据中产生与当前像素相邻的第一色度分量Kr[*](/Kb[*])和第二色度分量Kb[*](/Kr[*])。第二方向性内插器250根据从分类符计算器220输出的水平和垂直分类符H和V方向性内插第一和第二色度分量Kr[*](/Kb[*])和Kb[*](/Kr[*])，以产生当前像素的第一和第二色度数据Kr[current](/Kb[current])和Kb[current](/Kr[current])。
RGB生成器260从来自线性内插器210的经线性内插的R和B数据、来自第一方向性内插器230的经方向性内插的G数据、和来自第二方向性内插器250的第一和第二色度数据Kr[current](/Kb[current])和Kb[current](/Kr[current])中，为每个像素取出两种丢失的色彩分量，以输出重组的R、G和B数据。例如，为R像素提取G和B数据，为G像素提取R和B数据，而为B像素提取R和G数据。结果，为每个像素从RGB生成器260输出R、G和B数据。
参照流程图3更加详细地描述色彩信号内插设备200的操作。参照图2和3，例如，线性内插器210从图像传感器接收根据拜耳滤色器阵列产生的像素图像数据(输入R、G和B数据)(图3中的步骤S310)。
线性内插器210使用相邻像素数据线性内插R、G和B像素图像数据(图3中的步骤S320)。例如，在图4A中，G2、G4、G6和G8像素图像数据与具有要为中央R或B像素确定的G5数据的像素相邻。线性内插的G5数据可以确定为G5＝(G2+G8)/2，或G5＝(G4+G6)/2。
在图4B中，R1、R3、R7和R9像素图像数据与具有要为对应的G像素和B像素确定的R2、R4、R5、R6和R8数据的像素相邻。用于G像素的线性内插的R2、R4、R6和R8可以确定为R2＝(R1+R3)/2、R4＝(R1+R7)/2、R6＝(R3+R8)/2、R8＝(R7+R9)/2，而不计算中央B像素的R5。此外，在步骤S320中，类似地计算G像素的经线性内插的B数据。此外，来自图像传感器的像素图像数据可以像来自线性内插器210那样作为线性内插的图像数据输出。
此外，分类符计算器220使用从线性内插器210输出的、经线性内插的R、G和B像素图像数据来产生水平和垂直分类符H和V(图3中的步骤S340)。如图5A所示，水平分类符H使用当前像素的左侧的两个水平图像数据和当前像素的右侧的两个水平图像数据来指示当前像素的水平梯度。例如，如果包括当前像素R3的5个水平像素图像数据是R1、G2、R3、G4和R5，则水平分类符可以计算为H＝w1*ABS(G2-G4)+w2*ABS(R1-2R3+R5)。这里，ABS()表示绝对值，并且w1和w2表示加权系数。类似地，从包括当前像素的5个垂直像素数据(包括当前像素上方两个垂直图像数据和下方两个垂直图像数据)计算垂直分类符V。
如果水平和垂直分类符H和V之间的差小于第一阈值(图3的步骤S330)，则分类符计算器220平均水平和垂直分类符H和V(图3的步骤S350)。例如，在那种情况下，分类符计算器220使用相应的加权系数将当前像素左侧和右侧的水平分类符H[left]和H[right]与当前像素的水平分类符H[current]相加，以产生加法结果作为水平分类符H。
类似地，如下面的方程1所示，分类符计算器220使用相应的加权系数将当前像素上方和下方的垂直分类符V[top]和V[bottom]与当前像素的垂直分类符V[current]相加，以产生加法结果作为垂直分类符V。因此，如图5B所示的7×7像素图像数据窗口用于平均水平和垂直分类符H和V。在下面的方程1中，w1和w2表示加权系数。
V＝w1*V[current]+w2(V[top]+V[bottom])H＝w1*H[current]+w2(H[left]+H[right])此外，如果这样平均的分类符H和V之间的差大于第一阈值但是小于第二阈值，则分类符计算器220还可以重新平均分类符H和V。例如在那种情况下，分类符计算器220使用相应加权系数将当前像素的左侧和右侧的垂直分类符V[left]和V[right]和当前像素的垂直分类符V[current]来产生加法结果作为垂直分类符V。
类似地，如方程2所示，分类符计算器220使用相应加权系数将当前像素的上方和下方的水平分类符H[top]和H[bottom]和当前像素的水平分类符H[current]来产生加法结果作为水平分类符H。
V＝w1*V[current]+w2(V[left]+V[right])H＝w1*H[current]+w2(H[top]+H[bottom])进一步参照图2和3，第一方向性内插器230根据水平和垂直分类符H和V，从线性内插器210输出的线性内插的R、B和G像素图像数据中执行方向性内插，以产生经方向性内插的G数据(图3的步骤S360)。这里，产生R和B像素的经方向性内插的G数据。
例如，如方程3所示，如果垂直分类符V大于水平分类符H，则计算水平卷积值HC(current)作为经方向性内插的G数据G[current]。由当前像素、当前像素左侧的两个像素和当前像素右侧的两个像素的图像数据计算HC(current)。例如，如果包括当前像素R3的5个水平像素图像数据是R1、G2、R3、G4和R5，则HC(current)＝w*(G2+G4)+(a*R1+b*R3+a*R5)。这里，w、a和b表示加权系数。
G[current]＝HC(current)另一方面，如下面的方程4所示，如果垂直分类符V小于水平分类符H，则计算垂直卷积值VC(current)作为经方向性内插的G数据G[current]。与上述计算HC(current)相似，由包括当前像素的5个垂直数据计算VC(current)。
G[current]＝VC(current)如下面的方程5所示，如果垂直分类符V等于或与水平分类符H的值相近，则产生HC(current)和VC(current)的平均值作为经方向性内插的G数据G(current)。
方程5
G[current]＝{HC(current)+VC(current)}/2在步骤S370中，分类符计算器220可以使用经方向性内插的G数据重新计算并重新平均水平和垂直分类符H和V。然而，步骤S370是可选的(在图3中由虚线显示)。例如，仅使用从第一方向性内插器230输出的经方向性内插的G数据执行水平和垂直分类符H和V的重新计算和重新平均。例如，通过经方向性内插的G数据的加权和可以产生水平和垂直分类符H和V。在那种情况下，由于在7×7窗口周围的四个额外像素的图像数据用于确定要被平均的多个分类符，使用如图6所示的11×11窗口中的像素图像数据来重新计算并重新平均水平和垂直分类符H和V。
替换地，为了仅使用经方向性内插的G数据，来自线性内插器210的经线性内插的R和B数据和来自第一方向性内插器230的经方向性内插的G数据可以用于重新计算水平和垂直分类符H和V。例如，可以由经线性内插的R和B数据和经方向性内插的G数据的加权和产生分类符H和V。
进一步参照图2和3，色差计算器240从来自线性内插器210的、经线性内插的R和B数据和来自第一方向性内插器230的、经方向性内插的G数据中产生与当前像素相邻的第一色度分量Kr[*](/Kb[*])和第二色度分量Kb[*](/Kr[*])(图3的步骤S380)。例如，如图7A所示，色差计算器240产生当前R像素R[current]的上、下、左和右的G像素的第一色度分量Kr[top]、kr[bottom]、kr[left]和kr[right]和当前R像素R[current]的上、下、左和右的B像素的第二色度分量kb[lt]、kb[rt]、kb[lb]和kb[rb]。
因此，如下面的方程6所示，可以从G像素的经方向性内插的G数据和线性内插的R数据中计算第一色度分量Kr[*]，并且如下面的方程7所示，可以从B像素的经方向性内插的G数据和经线性内插的B数据中计算第二色度分量Kb[*]。应当注意的是，B像素的这种经线性内插的B数据是来自图像传感器的原始像素图像B数据。
Kr[top]＝G[top]-R[top]Kr[bottom]＝G[bottom]-R[bottom]Kr[left]＝G[left]-R[left]Kr[right]＝G[right]-R[right][方程7]
Kb[lt]＝G[lt]-R[lt]Kb[rt]＝G[rt]-R[rt]Kb[lb]＝G[lb]-B[lb]Kb[rb]＝G[rb]-B[rb]与图7B所示的相似，色差计算器240还产生当前B像素B[current]的上、下、左和右的G像素的第一色度分量Kb[top]、Kb[bottom]、Kb[left]和Kb[right]。色差计算器240类似地产生当前B像素B[current]的左上、右上、左下和右下的R像素的第二色度分量Kr[lt]、Kr[rt]、Kr[lb]和Kr[rb]。类似地，对于当前G像素，Kb[*]作为第一色度分量产生，而Kr[*]作为第二色度分量产生。
在步骤S390，第二方向性内插器250根据水平和垂直分类符H和V方向性内插第一和第二色度Kr[*](/Kb[*])和Kb[*](/Kr[*])，来产生当前像素的第一和第二色度数据Kr[current](/Kb[current])和Kb[current](/Kr[current])。通过方向性内插第一色度分量Kr[*](/Kb[*])获得第一色度数据Kr[current](/Kb[current])。通过方向性内插第二色度分量Kb[*](/Kr[*])获得第二色度数据Kb[current](/Kr[current])。
例如，如方程8所示，如果对于当前R像素垂直分类符V大于水平分类符H，则产生当前R像素的左侧和右侧的色度分量的平均值作为经方向性内插的第一色度数据Kr[current]。
Kr[current]＝(Kr[left]+Kr[right])/2另一方面，如方程9所示，如果对于当前R像素垂直分类符V小于水平分类符H，则产生当前R像素的上方和下方的色度分量Kr[top]和Kr[bottom]的平均值作为方向性内插的第一色度数据Kr[current]。
Kr[current]＝(Kr[top]+Kr[bottom])/2如方程10所示，如果对于当前R像素垂直分类符V的值等于或接近水平分类符H的值，则产生平均值的进一步的平均值作为方向性内插的第一色度数据Kr[current]。
方程10Kr[current]＝(Kr[left]+Kr[right]+Kr[top]+Kr[bottom)/4获得用于当前R像素的第一色度数据Kr[current]的方法还用于当前B和G像素来类似地产生用于当前B和G像素的第一色度数据Kr[current](/Kb[current])。
执行中值过滤来从与当前像素成对角的第二色度分量Kb[*](/Kr[*])获得第二色度数据Kb[current](/Kr[current])。例如，从用于当前R像素的第二色度分量Kb[lt]、Kb[rt]、Kb[lb]和Kb[lb]的中值过滤产生第二色度数据Kb[current]。如果第二色度分量Kb[lt]、Kb[rt]、Kb[lb]和Kb[rb]分别是8、3、10和2，则中值过滤值被计算为(3+8)/2。
众所周知，“中值过滤”指的是集合中除了集合中的最大值和最小值之外的值的平均值。相同地，通过中值过滤与当前B和G像素成对角的第二色度分量Kb[*](/Kr[*])来确定用于当前B和G像素的第二色度数据。
在步骤S400，RGB生成器使用第一色度数据Kr[current](/Kb[current])和来自第二方向性内插器250的第二色度数据Kb[current](/Kr[current])来提取每个像素的丢失的两个分量。来自线性内插器210的、经线性内插的R和B数据和来自第一方向性内插器230的、方向性内插的数据也用于提取两个丢失分量。例如，如下面方程11所示，可以获得当前R像素的G和B数据G[current]和B[current]。
G[current]＝R[current]+Kr[current]B[current]＝G[current]+Kb[current]以这种方式，提取的G[current]和B[current]和当前R像素R[current]形成重组的、要在后面处理来作为屏幕上图像来显示的R、G和B数据。
以这种方式，执行拜耳滤色器阵列的图像数据和色度分量的线性和方向性内插。这样的多种类型内插改善视觉质量。因此，由于混叠失真、色彩波纹、模糊、假和/伪色彩效果之类所产生的图像失真被最小化，从而改善视觉质量。
尽管已参照本发明的确定优选实例表示和描述了本发明，但本领域内的普通技术人员将理解的是，可在不背离由所附权利要求书限定的本发明宗旨和范围的前提下对本发明进行各种形式和细节上的修改。
权利要求
1.一种用于处理根据滤色器阵列产生的图像数据的方法，包括从图像数据中产生分类符；根据分类符从图像数据方向性内插预定色彩分量；和从经方向性内插的预定色彩分量和用于除预定色彩分量之外的至少一种其它色彩分量的图像数据产生色度分量。
2.如权利要求1所述的方法，其中滤色器阵列具有拜耳色彩模式。
3.如权利要求2所述的方法，其中预定色彩分量是绿色。
4.如权利要求3所述的方法，其中图像数据是从滤色器阵列产生的数据的经线性内插的数据，并且所述至少一种其它色彩分量包括红和蓝色的经线性内插的数据。
5.如权利要求1所述的方法，其中产生分类符的步骤包括产生水平和垂直分类符。
6.如权利要求5所述的方法，其中产生分类符的步骤包括使用当前像素和当前像素左侧和右侧的额外像素的图像数据来计算当前像素的水平分类符；和使用当前像素和当前像素上方和下方的额外像素的图像数据来计算当前像素的垂直分类符。
7.如权利要求6所述的方法，还包括当当前像素的水平和垂直分类符之间的差小于一阈值时，通过平均当前像素和相邻像素的水平分类符来调节水平分类符，并且平均当前像素和相邻像素的垂直分类符来调节垂直分类符。
8.如权利要求5所述的方法，还包括如果垂直分类符大于水平分类符，则计算关于经方向性内插的预定色彩分量的水平卷积值；如果垂直分类符小于水平分类符，则计算关于经方向性内插的预定色彩分量的垂直卷积值；和如果垂直分类符实际上等于水平分类符，则平均关于经方向性内插的预定色彩分量的水平和垂直卷积值。
9.如权利要求1所述的方法，还包括使用经方向性内插的预定色彩分量重新计算分类符。
10.如权利要求1所述的方法，还包括根据分类符方向性内插色度分量；和使用像素的方向性内插的色度分量提取像素的至少一种色彩分量。
11.一种用于处理根据滤色器阵列产生的图像数据的装置，包括分类符计算器，用于从图像数据中产生分类符；第一方向性内插器，用于根据分类符从图像数据方向性内插预定色彩分量；色差计算器，用于从经方向性内插的预定色彩分量和用于除预定色彩分量之外的至少一种其它色彩分量的图像数据产生色度分量。
12.如权利要求11所述的装置，其中滤色器阵列具有拜耳色彩模式。
13.如权利要求12所述的装置，其中预定色彩分量是绿色。
14.如权利要求13所述的装置，其中图像数据是从滤色器阵列产生的数据的经线性内插的数据，并且所述至少一种其它色彩分量包括红和蓝色的经线性内插的数据。
15.如权利要求11所述的装置，其中产生分类符的步骤包括产生水平和垂直分类符。
16.如权利要求15所述的装置，其中分类符计算器使用当前像素和当前像素左侧和右侧的额外像素的图像数据来计算当前像素的水平分类符，并且使用当前像素和当前像素上方和下方的额外像素的图像数据来计算当前像素的垂直分类符。
17.如权利要求16所述的装置，其中当用于当前像素的水平和垂直分类符之间的差异小于阈值时，分类符计算器通过平均当前像素和相邻像素的水平分类符来调节水平分类符，并且平均当前像素和相邻像素的垂直分类符来调节垂直分类符。
18.如权利要求15所述的装置，其中如果垂直分类符大于水平分类符，则第一方向性内插器计算关于经方向性内插的预定色彩分量的水平卷积值；如果垂直分类符小于水平分类符，则第一方向性内插器计算关于经方向性内插的预定色彩分量的垂直卷积值；和如果垂直分类符实际上等于水平分类符，则第一方向性内插器平均关于经方向性内插的预定色彩分量的水平和垂直卷积值。
19.如权利要求11所述的装置，其中分类符计算器使用经方向性内插的预定色彩分量重新计算分类符。
20.如权利要求11所述的装置，还包括第二方向性内插器，用于根据分类符方向性内插色度分量；和色彩分量生成器，用于使用像素的方向性内插的色度分量提取像素的至少一种色彩分量。
全文摘要
为了处理根据滤色器阵列产生的图像数据，从图像数据中产生分类符。根据分类符从图像数据方向性内插预定色彩分量。从线性内插的图像数据和经方向性内插的预定色彩分量产生色度分量。方向性内插色度分量，并且从方向性内插的色度分量中提取色彩分量。
文档编号H04N9/64GK1812592SQ20051013173
公开日2006年8月2日 申请日期2005年12月16日 优先权日2004年12月16日
发明者蒂莫菲·尤瓦罗夫, 李亨根 申请人:三星电子株式会社