专利名称：用于图象传感器输出信号的轮廓滤波器的制作方法
技术领域：
本发明涉及数字图象传感器并且更具体地涉及一种用于RGBBayer传感器输出信号的轮廓滤波器。
背景技术：
在数字相机中透镜被用来从景物获取光信息。这些可见光子被由众多光敏元件组成的图象传感器转换成电子。当使用数字RGB(三原色)静物相机时，三个图象传感器被用来获取对每个色彩红色、绿色和蓝色的色彩检测。为了降低相机的成本、重量以及尺寸，有可能使用一个具有RGB Bayer滤波器阵列的图象传感器，其中在所述传感器阵列中的每个象素检测出在预先限定图案中的红色、绿色和蓝色。这个图案由交替的绿色、红色列及绿色、蓝色列构建成。
在
图1中RGB Bayer图象传感器的滤色器阵列被示出。假设传感器具有方形且相连的象素，这意味着分辨率已经变得独立于传感器的纵横比且在水平与垂直方向上相等。RGB象素的抽样结构被示于图2。间距p是两个近邻象素之间的距离。它的倒数表示在传感器单RGB输出情况下象素或系统的时钟频率‘fs’，因此fs＝1/p。每个RGB色的抽样频率与每个RGB色的象素之间的最短距离成反比。这导致对于在水平和垂直抽样中的红色和蓝色，被称为fsR和fsB的频率等于1/2p＝fs/2，以及对于对角线抽样中的绿色，频率fsG等于1/p√2＝fs/√2。因为fsR和fsB相等，所以这个频率被称为fsRB。
对于所抽样的图象它保持着每个色彩的频谱在每个色彩的多个抽样频率处被重复。所述多个抽样频率在一个两维阵列中以相等的距离被放置。借助于图3中的黑点，即图3中示出红色和蓝色频率阵列的左手部分以及图3中示出绿色色抽样频率阵列的右手部分，极有限数量的多个抽样频率点被示出。灰度区域N是Nyquist(奈奎斯特)区域。理论上那个数量是无限的。如果频谱重叠，则引入图形失真。如果抽样频率点周围的每个频谱不重叠，则满足所谓的Nyquist定理即经由光学系统以及与传感器象素的结合光敏部分，景物的输入频率应该低于每个色彩抽样频率的一半。这意味着每个色彩可以提供的最大分辨率由每个色彩抽样频率的一半决定。因此对于着有红色和蓝色的象素在水平和垂直方向上的最大分辨率为fsRB/2＝fs/4，以及在对角线方向上为√2*fs/4。对于绿色象素对角线分辨率具有fsG/2＝fs/2√2的最大值，并且这是由于在fs/2的水平和垂直方向上的五点形结构。
为了获取一个通过增强图象轮廓可以用来获得更清晰图象的轮廓信号，轮廓滤波被执行。重要的是轮廓滤波器并不将不同的RGB振幅解释为轮廓。这意味着当对具有不同RGB振幅的着色景物部分进行滤波时，输出应该为零。
当在数字静物相机(digital still camera)中应用轮廓滤波器时，缺点是上述的后折图形失真假象将会增强，使那些假象甚至更为明显。
发明概述本发明的一个目的是通过提供改善的轮廓滤波来解决上述问题，在所述的轮廓滤波中获得一个更清晰的图片而并不放大图形失真假象。
使用Bayer传感器的另一问题是所谓的绿色-绿色差异。绿色象素的所述不同着色的近邻引起在RGB Bayer传感器的垂直方向上的绿色-绿色差异或绿色非均匀性。在“红色”列的垂直方向上绿色象素仅具有红色近邻，而在“蓝色”列中绿色象素仅具有蓝色近邻象素。取决于传感器的垂直色彩分离的质量，由于在硅层中的电子电荷或在滤色器层中的光串扰，绿色象素可由红色和蓝色象素来调制。如果是这样，则对于某些着色的景物，这将导致列方面的绿色非均匀性。
因此这个发明的另一目的是提供一种如上所述的轮廓滤波器，这种滤波器还消除在RGB Bayer图象传感器的绿色中所引起的绿色-绿色差异。
本发明提供一种如独立权利要求中所限定的轮廓滤波器。有利的实施例在独立的权利要求中被加以限定。
在本上下文中，象素值自然地可以以任何形式或次序被提供。重要的因素是它们 可以以这样的方式排序或表示，以便于提供出一个表示出图象的阵列。
同样，应该注意到零转换不必用正好为零的值来替代。基本上小于保持非零滤波器系数的绝对值的一个值通常便足以。然而，零值通常是所要求的，同样这是由于小于10的自然数通常被用作滤波器系数这样的一个事实。
本发明还包括一个计算机程序，这个计算机程序包括当所述程序在计算机上运行时适合于执行上述方法全部步骤的计算机程序代码装置以及一个包括计算机程序的计算机可读介质。
参考随后所说明的实施例，本发明的这些以及其它方面将是显而易见的。
附图详细说明现在参考附图将对本发明做更详细的说明，其中图1示出RGB Bayer亮度象素；图2示出RGB色彩的间距；图3示出RGB Bayer抽样频率阵列；图4示出5×5无图形失真轮廓滤波器的传递特性；图5示出轮廓滤波器B的传递特性；图6示出一个线性的色彩栅景物；图7左侧示出无图形失真轮廓信号及右侧示出轮廓滤波器B的信号；图8示出5×5阵列的扩展规则2的实现；图9示出RGB Bayer彩色相机的RGB和轮廓重建、矩阵及白色平衡；以及图10示出RGB重建及无图形失真并行轮廓的方框图。
优选实施例的说明本发明涉及一种用于从RGB Bayer传感器对图象信号进行滤波而并不放大图象中图形失真假象的轮廓滤波器，这意味着它不允许在红色/蓝色和绿色图形失真域中的任何轮廓。
所述滤波器为5×5且在所优选的一个实施例中5×5无图形失真轮廓滤波器的系数是
-0 -1 -2 -1 -0-1 -0 +2 -0 -1-2 +2 +8 +2 -2-1 -0 +2 -0 -1-0 -1 -2 -1 -0sigmawCR＝8sigmawCR是这个轮廓滤波器的信号输出必须要除以的因子，以为了取得一个几乎统一的信号振幅。
应该注意到并不是滤波器的系数重要，而是系数之间的比值重要。可以使用其中所述系数具有与上述相对应的共有比值的任何5×5轮廓滤波器。因此任何满足下述标准的滤波器均处于本发明之内-0 -1x -2x -1x -0-1x -0 +2x -0 -1x-2x +2x +8x +2x -2x-1x -0 +2x -0 -1x-0 -1x -2x -1x -0还应该注意到系数比值的轻微偏差(例如25％，但优选为更低如10％或者5％或更低)可以被使用，虽然它将影响滤波器有关图形失真放大方面的性能。
最后，当改变系数时，sigmawCR值也必须相应改变以便于维持几乎统一的信号振幅。
根据本发明的滤波器的传递特性被示于图4。在RGB抽样频率上及之间的零传递是为什么这个滤波器趋向于具有最小的畸变的无图形失真轮廓的原因。这个效应通过发现波带片轮廓而被证实，所述波带片也示出在红色/蓝色和绿色图形失真域中没有轮廓。
如下所示，在仅对一些系统做微小改变的情况下，所带来的轮廓将完全不同且要求将不再得到满足。轮廓滤波器B的系数已经以这样的方式被选择，以便于其系数之间的比值不同于根据本发明的滤波器。轮廓滤波器B的系数是
-0 -1 -1 -1 -0-1 -1 +2 -1 -1-1 +2 +8 +2 -1-1 -1 +2 -1 -1-0 -1 -1 -1 -0sigmawCR＝8在图5中轮廓滤波器B的传递特性被示出，并且可以看到将无法把图形失真从轮廓信号中除去，因为RGB抽样频率之间的传递不是零。利用波带片证实了这点，所述波带片也示出在红色/蓝色和绿色图形失真域中有轮廓。
现在已经示出根据本发明的滤波器解决了所述的图形失真问题。然而，为了正确地发挥作用，在相同着色的景物部分中应该没有轮廓(调制)出现，虽然在那RGB振幅将在很大程度上不同。
对此进行测试的合适图形是图6中的色栅景物，所述景物使用最大可用的色空间且由此提供了RGB振幅的最大差异。从顶部到中间RGB振幅从0-100％增加。刚刚超出中间振幅便降到90％，随后RGB信号的亮度从0-90％增加，从而导致在底线上的白色。
在图7的左侧示出无图形失真轮廓的结果，在着色区域没有任何可见的‘调制’。在右侧示出轮廓滤波器B的轮廓，其具有清楚可见的所不希望的‘调制’量。
此外，测试已经表示出轮廓滤波器不具有绿色-绿色差异。这可以通过根据规则检查滤波器而被示出，所述规则是当设计没有绿色-绿色差异的轮廓滤波器时所必须要满足的。
所述规则是1.在滤波器系数的第一阵列以及在滤波器系数的第二阵列中的中心系数为零，以及随后利用重建路径的绿色信号将中心绿色数据添加到滤波器。这个中心绿色已经是一个如前所说明的已恢复的绿色均匀性。
2.在滤波器系数的每个第一阵列和第二阵列中的相邻对角线滤波器系数相减导致一个零贡献，这将被平均化且结果是消除了具有垂直红色和蓝色近邻的绿色象素的绿色-绿色差异。
最终，两个滤波器的组合应该被检查以为了获取最小的畸变。首先，应该检查它们的振幅传递并且有必要的话应该使其适合于在总轮廓信号中的最小畸变。然后，通过调节每个滤波器挖芯水平，其借助挖芯方式的噪声降低量应该有可能被匹配。
为了检查这些用于无图形失真轮廓滤波器的规则，它的系数被分裂成用于‘中心绿色不存在’和用于‘中心绿色存在’这样的加权因子。当绿色不存在时适用于下述系数-0 -1 -0 -1 -0-1 -0 +2 -0 -1-0 +2 -0 +2 -0-1 -0 +2 -0 -1-0 -1 -0 -1 -0sigmawCR＝8当绿色存在时适用这些系数-0 -0 -2 -0 -0-0 -0 -0 -0 -0-2 -0 +8 -0 -2-0 -0 -0 -0 -0-0 -0 -2 -0 -0sigmawCR＝8系数和的绝对值sigmawCR已经得到适用。
然而，仅对存在绿色的滤波器进行模拟使得它的确消除了绿-绿差异变成很清楚。对此的解释是仅有非零系数存在于具有同样着色(红色或蓝色)垂直近邻的绿色位置上。在图8中非零系数仅存在于具有红色垂直近邻的绿色位置上。结果是，(在低频率景物部分)所涉及的绿色象素将具有同样的误差。+8系数和四个-2系数将一起将这个误差消除成在输出信号中的零绿-绿差异。
这同样意味着规则1和规则2可以由一个可供选择的用于中心绿色滤波器配置的规则来代替，所述的可供选择的规则可以被说明如下-具有相同第一垂直近邻色彩的系数和为零，并且具有与所述第一色彩不同的第二垂直近邻色彩的每个滤波器系数为零。
概括地说，这可以被表达成-在包括每第二排所述滤波器系数阵列的子组中的系数和为零，并且不是所述子组一部分的每个滤波器系数为0。
在图8中可以看出根据本发明的轮廓滤波器满足上述的可供选择规则。
对于在重建方框中源自图象传感器的RGB象素的一个接近白色亮度的信号，矩阵和白色平衡参数必须被加以考虑。因为在重建后矩阵和白色平衡被定位，所以输入的红色和蓝色有必要加以一些适配。为此目的，参数SmartGcntrlR和SmartGcntrlB被用于控制红色和蓝色振幅，以便于它们与绿色相匹配且导致一个接近白色亮度的信号Yn。参考图1，在红色和蓝色象素情况下，下述适用于这个Yn信号Yn[i，j]＝SmartGcntrlR*红色Yn[i+1，j+1]＝SmartGcntrlR*蓝色在绿色象素情况下，Yn等于绿色。
Yn[i+1，j]＝绿色Yn[i，j+1]＝绿色在图9中一个简化的方框图示出有RGB和无图形失真轮廓重建，其后紧接着是矩阵和白色平衡。这个方框图被用来限定在下一个用于SmartGcntrlr/B计算公式中的参数。来自景物的光LS通过透镜L被传递到RGB Bayer传感器S上。来自传感器S的输出信号被施加到CDS(关连的双取样，agc(自动增益控制)和ADC(模拟到数字转换)处理块1上。处理块1的输出被施加到RGB重建和并行轮廓处理块3上。处理块3输出所重建的RGB信号Ri、Gi和Bi以及无图形失真轮廓信号AFC。所述重建RGB信号Ri、Gi和Bi被施加到产生信号Ro、Go和Bo的矩阵电路MX上，所述信号Ro、Go和Bo被施加到白色平衡电路WB上以提供输出信号Ro′、Go′和Bo′。
将每个RGB Bayer色传感器的原色校正成EBU原色是有必要的，所述EBU原色被适用于全球的电视机和PC监视器。所述校正利用一个要求九个乘法器的矩阵来实现。RoGoBo=a11a12a13a21a22a23a31a32a33×RiGiBi]]>Ro、Go、Bo是矩阵的输出RGB信号，且Ri、Gi、Bi是输入信号。
利用矩阵后面的白色平衡，RGB信号变成Ro′＝awbR·RoGo′＝GoBo′＝awbB·Bo其中awbR和awbB是白色平衡参数。(根据世界灰度假定方法(WGA)，awbR＝总绿色/总红色且awbB＝总绿色/总蓝色，其中总红色、总绿色和总蓝色代表在整个景物上所测量出的全部RGB色振幅。)两个作用，即矩阵与白色平衡，提供所要求的白色再现。所述Ro′、Go′和Bo′信号现在保证EBU色的再现。
对于适当的接近白色亮度信号Yn，必须进行相反的操作。因此，设想一个具有根据EBU色空间和等于D65白色色温的色彩的景物。利用下面所示矩阵的逆矩阵，获得传感器的色空间RiiGiiBii=b11b12b13b21b22b23b31b32b33×RiGiBi]]>其中Rii、Gii、Bii表示EBU景物的色彩且Ri、Gi、Bi表示传感器的色。
对于亮度信号Yn仅是逆矩阵的白色再现令人感兴趣，其由每个色彩的矩阵系数和来表示。
∑Rii＝b11+b12+b13∑Gii＝b21+b22+b23∑Bii＝b31+b32+b33此外，景物的色温不需要为D65白色。包括一个任意色温在内，矩阵系数和变成∑Riwb＝Rpresetgain·b11+Gpresetgain·b12+Bpresetgain·b13∑Giwb＝Rpresetgain·b21+Gpresetgain·b22+Bpresetgain·b23∑Biwb＝Rpresetgain·b31+Gpresetgain·b32+Bpresetgain·b33其中Xpresetgain(X＝R，G或B)表示用于将D65白色传递到那个任意色温的增益因子。(对于D65白色，所有的Xpresetgain参数为1。)对于用在Yn[i，j]和Yn[i+1，j+1]中的SmartGcntrlR/B参数(见下面的公式)适用SmartGcntrlR=ΣGiwbΣRiwb]]>SmartGcntrlB=ΣGiwbΣBiwb]]>参数∑Giwb被用作分母(nominator)，因为绿色振幅被认作基准。这也适用于白色平衡。
现在上述公式可以被这样书写，以便于所测量的白色平衡参数awbR/B可以被应用。已知GpresetgainRpresetgain=awbR=GtotalRtotal]]>GpresetgainBpresetgain=awbB=GtotalBtotal]]>因此ΣRiwb=Gpresetgain·(b11awbR+b21+b13awbB)]]>ΣGiwb=Gpresetgain·(b21awbR+b22+b23awbB)]]>ΣBiwb=Gpresetgain·(b31awbR+b23+b33awbB)]]>因为∑Xiwb值在上面被除，所以参数Gpresetgain并不重要，因为Gpresetgain/Gpresetgain＝1。因此，下一个公式足够用来计算所要求的∑Xiwb值ΣRiwb=(b11awbR+b21+b13awbB)]]>ΣGiwb=(b21awbR+b22+b23awbB)]]>ΣBiwb=(b31awbR+b23+b33awbB)]]>利用白色景物色的相同RGB信号振幅，现在已经得到振幅亮度信号Yn，由此其独立于传感器矩阵和景物的色温。这个信号Yn可以被应用于无图形失真轮廓滤波器。
所引发的问题是是否Yn真的应该由红色和蓝色象素的SmartGcntrlR/B参数组成，并且答案取决于所要求的性能。如果想要无图形失真轮廓滤波器的最佳性能，则应该应用SmartGcntrlR/B参数。如果接受了稍微低些的性能，即允许一些失真，则那些参数可以被忽略。
图10示出RGB重建和无图形失真并行轮廓滤波的方框图。Yn是传感器的多路复用RGB信号，其中在预处理块5中R已经被乘以SmartcntrlR，且B已经被乘以SmartcntrlB。这个Yn信号仅被用于5×5并行轮廓，与此同时Yn经由零转换盒ZAB被分裂成三色，红色＝R*SmartcntrlR，绿色＝G且蓝色＝B*SmartcntrlB。然后，具有或不具有灵巧绿色(smartgreen)但是在任何情况下具有绿色均匀性恢复的传统拉普拉斯算子RGB重建方法被应用，并且如果需要的话，具有在5×5并行轮廓内的红色和蓝色假彩色探测器&具有/不具有灵巧绿色和绿色均匀性恢复的3×3RGB重建&假彩色探测处理块7。如果灵巧绿色(灵巧绿色1)被应用，则在中值滤波器的所谓RBc信号已经适合R*SmartGcntrlR和B*SmartGcntrlB。
通过在除法器Dr和Db中将所重建的红色和蓝色信号分别除以SmartGcntrlR和SmartGcntrlB，则原始的红色和蓝色传感器振幅被恢复。这意味着可以维持通常应用的矩阵、白色平衡和gamma(伽马)函数。在数字电路设计中乘法器更优于除法器。因此，为了避免除法器电路，最佳的方法是让相机的计算机计算出1/SmartcntrlR和1/SmartcntrlB。然后，经由两个单独电线，那些值可以被提供给两个乘法器。然后Ro振幅变得等于输入信号的R振幅(SmartcntrlR*R*(1/SmartcntrlR＝R)。非常相同的适用于Bo振幅。
应该注意到在照片拍摄之间或在视频模式情况中的连续方式下，在测量周期中参数SmartcntrlR/B已经被确定。
虽然本发明就有关的优选实施例已经被说明，但是它并不旨在被限制于此处所提出的专用形式。相反，它旨在涵盖由所附权利要求所限定的在本发明范围内可以合理被包括的这样的另选方案、修改或等同物。在所述权利要求中，放置在圆括号之间的任何参考符号不应该被解释成对权利要求的限制。词语“comprising(包括)”并不排除除了在权利要求中所列出的那些以外的元件或步骤的存在。在一个元件之前的词语“a(一个)”和“an(一个)”并不排除多个这样元件的存在。本发明可以通过包括多个截然不同元件的硬件方法，以及通过适当编程的计算机方法来实施。在所述设备中权利要求列举了几个方法，这些方法中的几个可以由同一个硬件项目来体现。某些措施在相互不同的独立权利要求中被讲述这样的纯粹事实并不表示这些措施的组合不能被使用来产生良好的效果。
权利要求
1.一种用于从表示图象的象素值阵列中提供轮廓信号的轮廓滤波器，所述阵列包括象素的第一和第二组，所述第一组象素表示利用具有第一色彩(G)的滤波器进行滤光的图象的一部分(几部分)，所述第二组象素表示利用具有一个或多个第二色彩(R，G)的一个或多个滤波器进行滤光的图象的一部分(几部分)，在第一组中的每个象素具有所述第二组的垂直和水平近邻象素，所述滤波器包括用于将所述象素值阵列转换成零转换阵列的装置(ZSB)，其中在所述第二组中象素的象素值由零来代替，用于将所述零转换阵列进行轮廓滤波且输出所述轮廓信息的装置(7)，所述滤波装置包括用于为在零转换阵列中的每个象素计算出一个经滤波的象素值的装置，所述计算通过利用具有共有比值的滤波器系数阵列来执行，其由下式定义-0±A -1x±B -2x±C -1x±D -0±E-1x±F -0±G +2x±H -0±I -1x±J-2x±K +2x±L +8x±M +2x±N -2x±O-1x±P -0±Q +2x±R -0±S -1x±T-0±U -1x±V -2x±X -1x±Y -0±Z其中x是一个实数且A、B、C、D、E、F、G、H、I、J、K、L、M、N、O、P、Q、R、S、T、U、V、X、Y、Z中每一个的值处于0和0.25x之间，以及用于将实际象素的象素值乘以8x±M系数且其余的滤波系数乘以在零转换阵列中相应放置的象素值以及最终将所得值求和的装置。
2.根据权利要求1的轮廓滤波器，其中A、B、C、D、E、F、G、H、I、J、K、L、M、N、O、P、Q、R、S、T、U、V、X、Y、Z中每一个的值处于0和0.1x之间，如0和0.05x之间，如0和0.01x之间，优选地至少基本上为0。
3.一种用于从表示图象的象素值阵列中提供轮廓信号的方法，所述阵列包括象素的第一和第二组，所述第一组象素表示利用具有第一色彩(G)的滤波器进行滤光的图象的一部分(几部分)，所述第二组象素表示利用具有一个或多个第二色彩(R，G)的一个或多个滤波器进行滤光的图象的一部分(几部分)，在第一组中的每个象素具有所述第二组的垂直和水平相邻象素，所述滤波器包括将所述象素值阵列转换成零转换阵列，其中在所述第二组中象素的象素值被零来代替，将所述零转换阵列进行轮廓滤波，并且输出所述轮廓信息，所述滤波包括为在零转换阵列中的每个象素计算一个经滤波的象素值，所述计算通过利用具有共有比值的滤波器系数阵列来执行，其由下式定义-0±A -1x±B -2x±C -1x±D -0±E-1x±F -0±G +2x±H -0±I -1x±J-2x±K +2x±L +8x±M +2x±N -2x±O-1x±P -0±Q +2x±R -0±S -1x±T-0±U -1x±V -2x±X -1x±Y -0±Z其中x是一个实数且A、B、C、D、E、F、G、H、I、J、K、L、M、N、O、P、Q、R、S、T、U、V、X、Y、Z中每一个的值处于0和0.25x之间，以及将实际象素的象素值乘以8x±M系数且其余的滤波系数乘以在零转换阵列中相应放置的象素值以及最终将所得值求和。
4.根据权利要求3的方法，其中A、B、C、D、E、F、G、H、I、J、K、L、M、N、O、P、Q、R、S、T、U、V、X、Y、Z中每一个的值处于0和0.1x之间，如0和0.05x之间，如0和0.01x之间，优选地至少基本上为0。
5.根据权利要求3的方法，其中所述滤波并行于内插过程而被执行，所述内插过程是这样一个过程，即在所述过程中，或者对应于来自所述第一组象素中象素的象素被内插到仅由来自所述第二组象素的一个象素所表示的所述阵列的位置上，或者对应于来自所述第二组象素中象素的象素被内插到仅由来自所述第一组象素的一个象素所表示的所述阵列的位置上。
6.一种计算机程序，其包括当所述程序在计算机上运行时完成权利要求3所述方法的计算机程序代码装置。
7.一种包括如权利要求6所提出的计算机程序的计算机可读介质。
8.一种彩色相机，包括具有滤色器阵列的传感器；以及如权利要求1所述的轮廓滤波器(7)。
全文摘要
本发明涉及数字图象传感器并且更具体地涉及一种用于RGB Bayer传感器的无图象失真轮廓滤波器。所述滤波器(ZSB，7)防止后折图象失真假象的放大且进一步消除在图象传感器的绿色中引起的绿色－绿色差异。
文档编号G06T5/20GK1457609SQ02800243
公开日2003年11月19日 申请日期2002年1月14日 优先权日2001年2月6日
发明者C·A·M·亚斯佩斯 申请人:皇家菲利浦电子有限公司