马赛克域中的图像增强的制作方法

专利名称：：马赛克域中的图像增强的制作方法
技术领域：
：本发明主要涉及数字成像，具体涉及在数字相机中用于提高成像质量的方法和设备。
背景技术：
：受尺寸、成本、光圈尺寸以及相机制造商所施加的其它因素的限制的影响，用在数字相机中的物镜系统通常设计用于使光学点扩散函数(PSF)最小化并使调制传递函数(MTF)最大化。由于焦点变化和像差，所得的光学系统的PSF仍然可能与理想的有所不同。本领域中有多种公知的用于通过数字图像处理对这种PSF偏离进行补偿的方法。例如，美国专利6,154,574，描述了一种在图^f象处理系统中对没有对准焦点的图像进行数字聚焦的方法，该申请的公开内容通过引用而并入本文。通过将散焦图像分解成子图像，获得平均阶跃响应，并对每个子图像计算边缘方向的阶跃响应。平均阶跃响应用于计算PSF系数，这些系数依次用于确定图像恢复传递函数。在频域内，通过将没有对准焦点的图像乘以该函数来获得对准焦点的图像。PCT国际公开WO2004/063989A2的公开内容通过引用于而并入本文，该申请描述了一种电子成像相机，包括图像传感器阵列和图像处理器，该图像处理器将去模糊函数-通常以去巻积滤波器(DCF)的形式-应用于由阵列输出的信号，以产生模糊程度降低的输出图像。这种模糊程度的降低使得可能设计和应用具有较低固有PSF的相机光学9器件，同时恢复由传感器阵列产生的电子图像以提供可接受的输出图像。低成本的彩色摄影机通常采用覆盖有多色马赛克滤波器的单一的固态成像传感器。马赛克滤波器是微型彩色滤波元件的掩模，其中滤波元件放置在图像传感器的每个检测器元件前。例如，美国专利4,697,208描述了一种具有固态图像传感元件和补色型马赛克滤波器的彩色摄像器件，该申请的公开内容通过引入而并入本文。本文中所称的"马赛克图像传感器"可以指任何一种带有彩色马赛克滤波器的图像传感器，而不管马赛克中颜色的选择和排列。马赛克滤波器中的滤波元件一般在RGB原色之间或在互补色青色、绛红色和黄色之间交替。一种普通类型的彩色马赛克滤波器被称为"拜耳传感器"(Bayersensor)或"拜耳马赛克"(Bayermosaic)，其具有下面的一般形式(其中字母代表颜色-R表示红，G表示绿以及B表示蓝)<table>tableseeoriginaldocumentpage10</column></row><table>不同颜色的滤波器具有各自的通频带，各频带可能重叠。在美国专利3,971,065中描述了拜耳马赛克，该专利的公开内容通过引入而并入本文。对由马赛克传感器产生的图像的处理通常包括，通过从传感器输出中提取三色信号(红、绿和蓝)来重建完整的彩色图像。图像信号处理器(ISP)处理图像传感器输出，以便计算输出图像的每个像素的亮度(Y)和色度(C)值。然后，ISP将这些值(或相应的R、G和B颜色值)以标准浮见频才各式输出。
发明内容本发明的实施方式提供用于处理和增强电子图像，尤其是由马赛克图像传感器产生的图像的方法和设备。该传感器输出属于多个输入子图像的像素流，每个子图像均是因入射在马赛克传感器上的不同的、各自的颜色的光而产生的。图像恢复电路对每个输入子图像的像素值进行滤波从而产生相应的输出子图像，该输出子图像的质量被提高，例如模糊程度降低。然后，图像信号处理器(ISP)将输出子图像组合，从而产生彩色视频输出图像。已经发现，同传统的方法(其中在去模糊之前，首先将马赛克子图像组合以重建彩色输出图像)相比，这种设置提供较好的结果。此外，在一些实施方式中，由图像恢复电路所产生的输出子图像在格式上与由马赛克图像传感器所产生的输入子图像相同，从而使得图像恢复电^^可以同现有的传感器/ISP的组合相集成，在传感器和ISP之间，传感器或ISP的设计很少改变或不改变。因此，根据本发明的实施方式，提供一种成像设备，包括马赛克图像传感器，其被配置用于产生属于多个输入子图像的输入像素值的流，每个子图像响应于入射在所述马赛克图像传感器上的不同的、各自颜色的光；图像恢复电路，其被耦合用于对所述输入子图像中的每一个的输入像素值进行接收并数字滤波，从而产生相应的多个增强的输出子图像；以及图像信号处理器(ISP),其被耦合用于接收并组合所述多个输出子图像，以产生彩色视频输出图像。在公开的实施方式中，输入子图像和输出子图像具有相同的^f备式，因此可以将ISP耦合用于接收并组合输出子图像或输入子图像。典型地，在由所述马赛克图像传感器输出的单一输入像素流中，所述多个ii输入子图像中的输入像素值以预定的交叉图案交叉，并且所述输出子图像包括输出像素值，所述图像恢复电路使所述输出像素值根据所述预定的交叉图案在输出像素流中交叉。。在一些实施方式中，每个子图像均具有输入模糊，而所述输出子图像具有输出模糊，在由所述图像恢复电路滤波后，所述输出模糊比所述输入模糊小。在一个实施方式中，设备包括物镜系统，所述物镜系统具有增加所述输入模糊的点扩散函数(PSF)，并且其中所述图像恢复电路包括去巻积滤波器(DCF),所述DCF具有根据所述PSF确定的滤波核。所述PSF可以在所述图像传感器的平面上变化，并且所述图像恢复电路可被布置用于响应于所述图像传感器的平面上的所述PSF的变化，将不同的滤波核施加到来自所述图像传感器的不同区域的输入像素值。附加地或可选地，所述图像恢复电路可被布置用于才艮据所述输入子图像的特性，将不同的滤波核应用到所述输入像素值。在一些实施方式中，所述马赛克图像传感器包括以拜耳马赛克图案布置的滤波器阵列。在一个实施方式中，所述输入像素值包括绿和蓝像素交替的第一行和以及绿和红像素交替的第二行，并且所述图像恢复电路包括绿平衡单元，所述绿平衡单元被耦合用于补偿在所述第一行和所述第二行之间的绿像素的敏感度的变化。所述敏感度的变化在所述图像传感器的区域内上是不均匀的，并且其中所述绿平衡单元被布置用于响应于所述敏感度的不均匀变化而施加不均匀的补偿。在公开的实施方式中，所述设备包括物镜系统，所述物镜系统被配置用于以预定的模糊程度将所述光聚焦到所述马赛克图像传感器上，并且所述图像恢复电路包括尖峰去除单元，所述尖峰去除单元识别缺陷像素，所述缺陷像素的输入像素值与在所述输入子图像中的每一个之内的相邻像素的输入像素值相差超过最大差异，所述最大差异根据所述模糊程度确定，并且所述尖峰去除单元修正所述缺陷像素的输入像素值。在一些实施方式中，所述图像恢复电路包括噪声滤波器，所述噪声滤波器被布置用于对输入子图像中的每一个进行数字滤波以便减少所述子图像中的噪声。在一个实施方式中，所述噪声滤波器被布置用于确定所述输入子图像中的局部梯度的方向和大小，并且响应于所述方向和所述大小来选择用于减少所述噪声的滤波核。附加地或可选地，所述图像恢复电路包括去巻积滤波器(DCF)，所述DCF被布置用于在所述噪声由所述噪声滤波器减少后对所述输入子图像进行滤波。在一个实施方式中，所述图像恢复电路包括边缘检测器，所述边缘检测器被布置用于在所述输入图像中识别边缘区域，并且用于控制所述DCF的输入，以使得所述DCF在所述边缘区域中接收没有噪声滤波的输入像素值，而在所述边缘区域外从所述噪声滤波器接收噪声减少的输入像素值。所述边缘检测器可被布置用于检测边缘像素，并且所述图像恢复电路包括加宽单元，所述加宽单元被布置用于通过向围绕所述边缘像素的边缘区域增加像素来加宽所述边缘区域。典型地，所述加宽单元被布置用于从所述边缘检测器接收在所述子图像的第一个中的边缘像素的识别，并且向所述边缘区域增加与所述子图像中的至少第二个中的边缘像素相邻的像素。在公开的实施方式中，所述图像恢复电路包括数字滤波器和取景扩展单元，其中，所述数字滤波器被布置用于将所述输入子图像同给定尺寸的核进行巻积，所述取景扩展单元被布置用于在所述输入子图像周围增加像素值的边缘，所述边缘的宽度响应于所述滤波核的尺寸而选择。在一些实施方式中，在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且所述图像恢复电路包括数字滤波器，所述数字滤波器被布置用于将所述输入子图像中的每一个同各自的核进行巻积，所述核响应于所述交叉图案被掩膜，以对所述子图像中的每一个与其它子图像分离地进行滤波。根据本发明的实施方式，还提供了一种用于成像的方法，包括从马赛克图像传感器接收属于多个输入子图像的输入像素值的流，每个子图像响应于入射在所述马赛克图像传感器上的不同的、各自的颜色的光；对所述输入子图像的每一个中的输入像素值进行数字滤波，从而13产生相应的多个增强的输出子图像；以及在图像信号处理器(ISP)中组合所述输出子图像，以便产生彩色视频输出图像。从下面实施方式的详细描述并组合附图，可以更全面地理解本发明，其中图1是示意性地说明了根据本发明实施方式的电子成像相机的框图2是示意性地示出了根据本发明实施方式的图像恢复电路细节的框图3是根据本发明实施方式的输入緩冲器一部分内容的详细示图，其说明了用在图像恢复电路中的图像取景技术；图4是根据本发明实施方式，在图像恢复电路中用于尖峰去除的掩膜的示意图5是根据本发明实施方式，在图像恢复电路中用于边缘增强的掩膜的示意图6是示意性地说明了根据本发明实施方式的用于噪声滤波的方法的流程图7是根据本发明实施方式，在恢复过程中应用到图像不同部分的一组去巻积滤波器的示意图；以及图8A和8B是根据本发明实施方式，应用到由马赛克图像传感器输出的子图像的去巻积核掩膜的示意图。具体实施例方式总则图1是示意性地说明了根据本发明实施方式的电子成像相机20的框图。这里通过示例的方式示出的这种特定的、简化的相机设计，是为了说明本发明的原理并4吏其具体化。然而，这些原理并不仅限于这种设计，而是可以应用在其它类型的成像系统中以减轻图像的模糊，14在上述的其它类型系统中传感器产生多个不同颜色的子图像，随后将这些子图像组合用于产生增强的彩色输出图像。在相机20中，物镜系统22将光从场景聚焦在马赛克图像传感器24上。在相机中，可以使用任意合适类型的图^象传感器，例如CCD或CMOS。在这个示例中，并且在下面的描述中，都假定传感器具有拜耳-类型马赛克滤波器，因此由传感器输出的图像信号中的每个像素32均响应于红光、绿光或蓝光中的一个。因此，马赛克传感器输出可以看成包括由对应于传感器元件的像素值组成的红、绿和蓝子图像。典型地，属于不同子图像的像素值根据马赛克滤波器中彩色元件的顺序在输出信号中交叉，即，传感器输出一行RGRGRG...(红和绿滤波器交替)，随后跟一行GBGBGB...(绿和蓝交替)，以此类推交替排列。可选地，其它类型的马赛克传感器图案加以适当变通也可以使用下面描述的方法和电if各。图像传感器24输出的像素值流可以由数字恢复电路26接收并处理。参照下面的附图对该电路进行了详细描述。^像素值在由电路26处理之前，先由模数转换器(图中未示出)进行数字化，该数模转换器可以同传感器24或电路26集成，或者可以是单独的部件。，如下所述，在任意情况下，为了减轻图像模糊，电路26处理由传感器24产生的红、绿和蓝输入子图像。然后，电路26输出模糊减轻的红、绿和蓝子图像。典型地，电路26以与其从传感器24接收的子图像相同的格式输出子图像。例如，电路26可以在输出子图像中交叉像素值以产生单一输出流，其中上述像素值与来自传感器24的输入像素值具有相同的交叉方式。可选地，电路26可以被配置用于反多路转换(demultiplex)并将每个子图像作为单独的数据块或数据流输出。ISP28接收来自恢复电路26的去模糊的红、绿和蓝输出子图像，并将子图像组合以产生标准视频格式的彩色视频输出图像(或图像序列)。可以将该输出图像显示在显示屏30上，也可以将其通过通讯链接传输和/或存储在存储器中。在电路26输出子图像的格式与其从传感器24接收的子图像的格式相同的实施方式中，ISP28可以互换地用15于处理电路26的输出或直接处理传感器24的输出。恢复电路的这种特性是有利的，尤其是其允许恢复电路可以利用现有的传感器和ISP，而不需要改变传感器或ISP。其还允许电路26的恢复功能在打开或者关闭之间的切换可简单地通过对传感器和ISP之间的支路链接(未示出)进行激活或去激活来实现。由ISP28产生的彩色视频输出图像典型地包含图像中每个像素的亮度和颜色信息。该信息可以根据亮度和色度(例如，Y/C,或其它颜色坐标)、或根据单独颜色值(例如RGB)进行编码。相反，由恢复电路26处理并输出的子图像是单色图像，其只包含关于它们所代表的具体颜色的亮度信息。每个子图像均仅包含一个将出现在彩色视频输出图像中的像素子集，即，由图像传感器的元件所产生的这些像素将被相应的颜色滤波器覆盖。换句话说，在图l所示的拜耳矩阵的例子中，每个R和B子图像都将在输出图像中包含四分之一的像素，而G子图像将包含剩余的一半。典型地，恢复电路26和ISP28在一个或多个集成电路芯片中实施，该一个或多个集成电路芯片可以包括定制的或半定制的部件。虽然图1中的恢复电路26和ISP28作为单独的功能性模块而示出，但是该恢复电路和ISP的功能可以在一个单一的集成电路部件中实现。任意地，在系统芯片(SoC)或相机芯片设计中的同一半导体基底上，图像传感器24可以同电路26组合并且还可能同ISP28组合。可选地，恢复电路26和ISP28的一些或所有的功能可以在诸如数字信号处理器的可编程处理器上的软件中实现。这种软件可以以电子形式被下载到处理器上，或者可选地，该软件可以配在有形介质上，例如光、；兹或电子存储介质。图2是示意性地示出了根据本发明的实施方式的恢复电路26的功能组件的框图。典型地，这些功能组件在单一的定制的或半定制的集成电路设备中形成在一起。可选地，图2中所示的功能可以被分在多个组件中，这些组件可以在硬件或软件中实现这些功能。在图2所示的示例性实施方式中，电路26通过去巻积滤波执行图像恢复，以在子图像被ISP28组合为单一颜色输出图像之前减少子图像的模糊。由电路26在子图像上执行的其它图像恢复功能包括尖峰去除和噪声滤波。可选地或另外地，电路26可以被配置用于仅实现这些恢复功能中的一个或两个，或者用于在马赛克子图像的空间中实现附加的数字滤波功能。绿平衡单元40对用于可能的幅值变化的绿-红(Gr)和绿-蓝(Gb)像素值进行平tf。Gr和Gb是指分别出现在RGRGRG…4亍和GBGBGB...行中的绿像素。下面题为"绿平衡"的部分对单元40的详细操作进行了描述。绿平衡图像数据保存在输入模糊拜耳(InputBlurredBayer)(IBB)緩沖器42中。结构扩展单元44向緩冲器增加虚拟像素的行和列，以保证对真实图像边缘的像素进行正确地处理。緩冲器42的组织和内容以及单元44的操作将参照图3在下文中描述。尖峰去除单元46识别并更正缺陷像素的值，以便防止来自这些像素的噪声传播进入经处理的图像。尖峰去除操作将参照图4在下文中描述。边缘检测单元48基于自适应阈值50来确定每个子图像中边缘像素的位置。然后，加宽单元52应用形态学运算以产生包含边缘区域的输出边缘掩码(OEM)。例如，该掩码在边缘区域中的像素值可以是"1",而在其它区域中是"0"。为了避免边缘信息的损失，电路26控制对这些边缘区域施加噪声抑制。这些边缘识别功能参照图5在下文中进行描述。拟动力噪声滤波器54用来减少每个子图像中的噪声，从而产生IBB更改(IBBM)的像素值。滤波器54的操作参照图6在下文中描述。然后，选择器56基于由单元52提供的OEM的相应值来选取每个像素的合适值，以传到去巻积滤波器60。选择器选择非边缘像素的IBBM值和边缘区域像素的未更改的IBB原始值(IBBO),其中IBBO值是从IBB緩冲器42直接获取的。为了维持像素流中IBBO和IBBM的适当同步，IBBO的值由延迟线58延迟。去巻积滤波器(DCF)60单独地对每个子图像执行去模糊操作。为了"抵消"光学器件的像差影响，滤波器60通常采用与光学器件1722的点扩散函数(PSF)大致相反的核。用于计算这种去巻积核的方法在例如上述的WO2004/063989A2中，以及在2006年3月31曰4是交的美国专利申请11/278,255中进行了描述，该美国专利申请已转让给本专利申请的受让人并且其公开内容通过引入而并入本文。可选地，不管是用于去模糊还是用于本领域公知的其它图像处理功能，滤波器60都可以采用其他类型的滤波核。典型地，对该核进行掩才莫，以佳j寻尽管输入像素流中的子图像交叉，但是每个子图像相对于其它子图<象被独立地滤波。示例性的掩模图案如图8A和8B所示。在很多相机中，光学器件的PSF在相机的整个视场上不均匀。这样，例如在相机20中，图像传感器24的不同区域可以属于不同的PSF轮廓。因此，为了使去模糊最优化，DCF选择器62对图像的不同部分的像素应用不同的滤波核。在下文中参照图7对这种滤波核的示例性排列进行了描述。在经滤波器60处理后，然后去模糊的子图像被输出到ISP28。绿平衡这部分将更详细地描述绿平衡单元40的操作。理论上，传感器元件对应于Gr-类型和Gb-类型绿像素的光敏感度应该相等，但实际上，由于设计和制造误差，该敏感度可能不同。对敏感度不同的修正失败会导致在输出图像中的固定图案的伪影(artifact)。因此，电路40用修正因子乘以Gr或Gb像素值(或两者)。为了确定修正因子，假定绿色子图像的连续行中的像素值的平均值(以及由此所得的总和)相等。总和由电路40计算并分别由绿红总和以及绿蓝总和表示。总和的商给出了修正因子/:^绿红总和h〔n=绿红总和-绿蓝总和(2)￡=绿蓝总和为了避免产生弱光条件下(其中所包含的值接近于0)的伪影，电路40只有在绿红总和以及绿蓝总和超过某些最小阈值时才计算/。此外，18f限于一定预期范围内的绿不平衡，例如-l/32^f21/32。像素Gb的《直通过将它们乘以/来进行修正。Gb—输出=(6*/(3)这些》务正的值在随后的计算中取代原始Gb^f象素值。可选地，该》务正因子可以被计算并应用于Gr像素值来代替，或者分开来修正Gb和Gr。Gr和Gb像素的敏感度变化在传感器24的区域内可能是不均匀的。这种情况下，电路40可以响应于敏感度的不均匀变化对图像区域应用变量值/。取景和緩冲在绿平衡以后，像素被插入输入模糊拜耳(IBB)緩冲器42中。假定电路26在"匆忙地"运行中，处理像素值由传感器24输出，并且滤波器60使用包含L行(例如L=15)的值的核，緩冲器42可以被设计用于保存L个完整行的输入像素值。当每个新行被读入緩冲器中时，最老的行从该緩冲器移除。附加的虚拟像素的行和列被添加到真实图像帧的上、下、左和右，以避免由于对图像边缘附近的滤波而产生的伪影。图3是在由传感器24捕捉到的图像的上部边缘附近的、緩冲器42内容的一部分70的详细示图，说明了根据本发明的实施方式的用于对图像取景的方法。緩冲器中的行72包含的实际像素值，在行GBGB...和行RGRG...之间交替。下标l,2，3,4，....表示行数，在输入图l象的上部边缘从行l开始。在输入图像的第一行上方，加入七个附加4亍的取景边缘76。这些附加行反映在实际输入框架的第一个两行中的傳_素值。在输入图^象的下面和左面以及右面加入反映两个边缘行或列的类似边缘。取景扩展单元44添加边缘76，以保证DCF60不将假(spurious)数据引入到传送至ISP28的输出像素值中。取景边缘的范围依赖于DCF核的尺寸。因此，如图3所示，对于L=15,为了此目的需要7个取景行和列。可选地，可以使用不同尺寸的核和取景边缘。边缘牙企测单元48可以在取景边缘76的行中找到假边，并且滤波器60可以^1夸取景边缘的内容同之前框架的较低取景边缘中的像素进行巻积，但是这些操作不会影响行72中的真实像素数据。(如果需要，为了避免OEM中的伪造边缘从取景边缘进入真实像素数据的框架，可以根据边缘检测单元48和加宽单元52所使用的核，使用附加的取景行和/或列。)取景边缘的行和列中的像素值只在电路26内部使用。这些像素Y直在滤波器60完成其操作后就被放弃而且并不传到ISP28。尖峰去除如在上面提及的WO2004/063989A2和美国专利申请11/278,255中所说明的那样，在电路26的一些应用中，光学器件22具有相对《氐的质量并在图像传感器24上产生模糊的图像。换句话说，光学器件的PSF在多个相邻像素上延伸，并且该光学器件起到一种低通的空间滤波器的作用。因此，图像传感器24中的每个检测器元件均感应从图^f象场景的区域中收集的光，该图像场景的区域同相邻检测器元件的感应区域是交迭的。因此，输入图像中的边缘和其它局部变化被平滑了，从而使得给定像素值在物理上不可能与相同颜色的相邻像素值相差太大。光学器件的PSF能够用来确定阔值，以使得必须是由于图像传感器中的噪声或缺陷，才会导致像素值与相同颜色的相邻像素的值的差别大于该阈值。图4根据本发明的实施方式，尖峰去除单元46所使用的用于识别和修正缺陷像素的掩模90的示意图。对于像素p(i,j)，尖峰去除单元考虑相同颜色的相邻像素92,即，当前像素的上面或下面两行^f象素以及左面或右面两列像素，如图所示。(因此，典型地，Gr和Gb^象素被分别考虑，虽然为了尖峰去除的目的，两种绿像素类型可能被交替地组合。如上所述，对于图像框架边缘的像素，尖峰去除单元可以只考虑落在掩模90中的真实像素的值，而不考虑边缘76的镜像值。)对于每个输入像素值p(i，j),尖峰去除单元确定输出像素值的公式如20<formula>formulaseeoriginaldocumentpage21</formula>方程(4)换句话说，如果p(i，j)的值大于其相同颜色的相邻像素的最大值(如由掩模90提供)的量超过正阈值(),那么其值由这些相邻像素的最大值加上正阈值来代替。类似地，如果p(i，j)的值小于其相同颜色的相邻像素的最小值的量超过负阈值(),那么其值由这些相邻像素的最小值减去负阈值来代替。阈值可以基于相才几的光学性质和/或图像的类型(表明是否预期在像素值中存在高度局部化(highly-localized)的背离)来计算，或者该阈值可以根据其它标准来探索式地设定。由于单元46的作用，比相邻的其它像素亮很多或暗很多的像素被消除了，使得其不会进一步与其相邻像素偏离所允i午的范围。边缘;险测和加宽边缘4企测单元48可以采用任何合适的核来检测输入图像中的边纟彖位置。为了计算简单，发明人发现在边缘检测核中，只包括与边乡彖计算中的当前像素在相同的行或列中的像素是有利的。可选地，该核也可以包括对角元素。下文中描述了一些示例性的核和边缘才企测程序。在对于可能保留在OEM的边缘区域中的残余噪声的边缘锐化进行折衷时，核的最优化选择取决于图像的内容和用户参数。可选地，单元48可以采用本领域已知的其它边纟彖;险测方法。如以上所述的那样，单元48应用的边缘检测方法使用自适应阈值50，该阈值在下面的描述中称为"边缘阈值"。该阔值通常基于被处理图像的光条件来计算。这些条件可以在电路26内部基于平均^象素值来测量。可选地，阈值可以基于由ISP28自动计算并输出的颜色增益参数来计算。例如，该阈值可以当成颜色增益或其它亮度参数的加权和来计算。可以选取加权系数以提供边缘锐化对残留噪声所需的4斤衷。模式1-简单梯度边缘检测器这种边缘检测器在具有高分辨率的像素p(i,j)附近^r测边纟彖。下面公式中的像素根据图4中的图解进行标记，并且梯度值计算如下(5)《+i+('.，/)-W+2』—+0'，力_/7(!.，_/_2)|+(")-^("+2)|当像素p(i,j)在边缘时，输出到加宽单元52的边缘值e(i，j)为1，否则为O,因此如果任意一个梯度值大于阈值，即，如果任意一个下面不等式的值为真，则e(i,j)=l:《_,>边缘阈值《+1>边缘阈值d〉边缘阈值<+1>边缘阈值(6)模式2-复杂梯度边缘检测器该边缘检测器为在高分辨率和具有最小化错误检测的良好阶叙L才企测之间的折衷。在这个例子中，梯度值通过给定为《-i"('.-2,力-p(".)《+i=p(''+2,y)—p(z,力+i=W,J+2)_WJ)g"=-4,/)--2，力=W,J'-4)-p(f,j-2)g州"(z》.+4)—p(/,y+2)(7)如果下面不等式中任意一个的值为真，则边缘值e(i,j)设定为22乂I《J>边缘阈值)和(1《—,|>il或《—,o)(|《+1|>边缘阈值)和(|《+1|>|g,+1|或《+10)(8)<,|>边缘阈值)和(^—J>IgJ或^'g"^0)(|^+1|>边缘阈值)和(|^+1|>|&+1|或心+1'g,+^0)模式3-阶跃边缘检测器这种边缘检测方法检测阶跃边缘。其采用边缘阶跃参数、其值通常设定为2的边缘阶跃。本方法的操作如下计算tfe/to_mim^1_x=Ip(z'-3*边缘阶跃,力-W-边缘阶跃,力|计算cfe/to—to//_x=-边缘阶跃,7.)-W+边缘阶跃，力|计算cfe/to_—x=+3*边缘阶跃,_/)-p(/+边缘阶跃，力|计算cfe/to—mi謂lj=|/(/,y_3*边缘阶跃)-p(/,_/_边缘阶跃)|计算de/to—"m〃一_y=|W，j.-边缘阶跃)-W,)+边缘阶跃)l计算敲a—卢sl_y=|/7(z.，_/+3*边缘阶跃)-_/+边缘阶跃)l如果以下两个条件都满足，则边缘值e(i，j)设定为1:tfe/Za—ww//j—max(^fefta—minwsl_少，—p/wslj)>边缘阈值或cfeto—ww//—x—max(<ie//a—minwsl__//wl_>边缘阈值注意在这个例子中，e(i，j)的值不依赖于像素p(i，j)的实际强度。边缘加宽图5是根据本发明的实施方式，由加宽单元52使用的掩模100的示意图。边缘检测单元48输出边缘图E(x，y)，该边缘图包含为每个像素确定的边缘值e(i，j)。加宽单元采用掩模100对边缘图施加形态学膨胀操作，其表示为W(x，y)。该加宽步骤的输出为OEM:OEM(x,y)=E(x,y)@W(x，y)(9)如上所述，该OEM被作为转换输入应用到选择器56。施加到边缘的加宽程度取决于掩模参数Wl。在图5所示的例子中，Wl=3。换句话说，如果在掩模100中心处的给定像素102被边缘检测单元48识别为边缘位置(e(i，j)=1),则该像素及掩模区域中的周围像素104在OEM中接收值的为"1"。经发现，将该边缘加宽扩展到不同颜色，即，属于不同子图像(不像在颜色特定的电路26中执行的其它数字滤波方法)，是有利的。Wl的值可以根据应用需求和用户参数(取决于将被从低通噪声滤波中保护的边缘区域的期望宽度)来选取。噪声滤波器噪声滤波器54使用这样一种核，即，该核利用相同颜色的相邻像素的值来对当前像素值进行平均，例如图4中的像素92。滤波器按下式确定输出像素值W'_/)=I]^^0+"，_/+&)0.+",)+6)(10)这里，V(Z，力是(Z',力滤波核系数的值，而/7(/,乂)是输入像素值。在下面的描述中，滤波核v(/,力的中心元件表示为^;滤波器的周边元件v(,士2,力和v(/，)±2)表示为vp;并且滤波器的角元件v(/±2,_/±2)表示为v,。图6是示意性地说明根据本发明的实施方式，用于由滤波器54施加的拟动力噪声滤波的方法的流程图。该方法的目的在于，当滤波器不加选择地在像素值中具有变化梯度的图像区域上进行操作时，避免图像分辨率和对比度的下降。为了这个目的，滤波器54在微分计算步骤110计算在每个像素上局部方向的微分。该微分可以如下计算Av=|pG,_/—2)—p(Z，7'+2)|(垂直孩i分项Av不应该与核系数v(")混淆。)然后，滤波器54基于方向微分的大小，在核选择步骤112选取合适的核。为了此目的，对所计算的值Av、A/同垂直/水平阔值^^进行比较，并且将A《、Ad2的值同对角阔值&比较*如果Av"/^，则v("土2)不参与噪声去除，并且相应的、值为0。*如果AA^/^，则v(,'士2，力不参与噪声去除，并且相应的Vp值为0。*^口果A《〉,&,贝'J1<"2，7+2)和1</_2,_/—2)不参与p桑声去除，并且相应的v,值为0。^口果^/2〉f/^,贝'Jv(Z—2,j'+2)禾口v(z'+2J—2)不参与口桑声去除，并且相应的v,值为0。滤波器54选择满足上述条件的用于每个像素的核。可以用于该目的的示例性的一组9个滤波核列在下文的附录A中。本领域技术人员应该了解，也可以类似地使用其它噪声去除核(动态或静态的)。为了在滤波步骤114中产生用于每个像素的输出像素值户(/，力，滤波器54将所选择的核应用到与每个像素相邻的输入像素值。去巻积滤波图7是根据本发明的实施方式，由选择器56应用到输入到DCF60的像素值的DCF核122的组120的示意图。在本例中，假定具有1600x1200像素的输入图像被分为192个部分，每部分具有100x100个像素。DCF60根据图像相应位置的局部PSF，将不同的核122(表示为K0，Kl,…，K32)应用到每个部分。因为光学器件22的圓对称性，假定PSF变化在图像平面上也是对称的，因此在该配置中只需要存储和使用33个不同的核。中心区域124均使用同一组的21个核，而周边区域126使用另一组的12个核。可选地，为了分配核，图像区域可以被分成更大或更小的部分，或者可以将一个单独的核应用到整个图像。附加地或可选地，根据由相机20捕捉到的图像(以及因此的输入子图像)的特性，DCF选择器62可以在运行中改变滤波核的组。例如，根据图像的照明水平、图像内容的类型或其它因素，DCF选择器25可以选择不同的滤波核。图8A和8B是示出了根据本发明的实施方式、由DCF60所应用的核掩模130和140的各自布局的示意图。每个掩模表示各自的颜色的像素，即，属于15x15的像素掩模范围中的特定子图像的像素。掩模130适用于绿像素，而掩模140适用于红和蓝像素。因此，当由掩模130覆盖的中心像素132是绿色时，阴影像素134表示在中心像素周围的15x15个像素附近的其它绿像素。当由掩模140覆盖的中心像素132是红或蓝时，阴影像素134表示在相邻像素中的其它红或蓝像素。对于输入图像中的每个像素，DCF60为该像素所处的区域122选择合适的15x15的核，然后根据当前像素的颜色使用掩模130或140对该核进行掩模。在每种情况下，只有适当掩模的阴影像素134参与DCF操作。非阴影像素的系数被设定为0。因此，每个像素值只与属于相同子图像(即，相同颜色的像素)的像素值巻积。如上所述，待巻积的像素值由选择器56选择，选择器56在边缘区域选择由延迟线58输出的IBBO值，并在非边缘区域选择噪声降低的IBBM值。如先前所述的那样，可以选择由DCF60应用的核的系数，以响应于光学器件22的不完美PSF而对输出图像进行去模糊。该核可以根据像平面中当前像素的位置和诸如图像距离的其它因素而变化。可以选择光学器件和DCF核以提供特定的图像增强功能，例如增加相机20的有效景深。可选地，具有交替地施加在不同颜色的子图像上的不同滤波操作的DCF60设置，可以用来在马赛克颜色空间中实现多种其它的图像增强功能。因此，应该理解，上面描述的实施方式通过示例的方式进朽-il明，而本发明不限于上文中所已具体示出和说明的内容。相反，本发明的范围包括上文中所描述特性的组合和次组合，也包括本领域技术人员在阅读前述现有技术没有公开的描述的基础上进行的变化和修改。附录A-噪声去除滤波核下表示例性地示出了在不同边缘条件下噪声滤波器的系数值。在26每个滤波器中所有系数的总和为1，使得在滤波之后平均像素值不会改变。在下面的例子中，清晰地写出了用于滤波器54中可能的核的所有系数值。可选地，可以只明确地给出一些系凄t的值，而其它的才艮才居总和为1这个条件来推断。为了简化，可以假定中心系数^等于1减去所有用在特定核中的其它系数的和。中心非O周非0核条件滤波边Vp滤波器值滤波器值器值10.3750.1250.03125Av2~禾口MS/、和《&和Ad22^20.3750.18750.0625[(Av>/^禾卩A/2//^)或(Av2^^禾口AA>AvA)j和A《S/^和Ac2SArf30.625—■0.09375(Av>A"和A/z>A^)禾nA^SZ^和A(i2SArf40.3750.1250.0625(Av^f/^禾口AA^f/^)禾口[(A《〉Z/^和A(/2^AJ或(A《^//^和A^2>,Arf)]50.50.1850.0625[(△v>Z/^和MSAvA)或(AvSA"和A/>AvA)]和(△《>%和Ad2)或(A《《Arf和60.75-0.125(Av〉^^禾口A/〉^J禾口70.50.125—(AvSZ/^和A/zSAvA)和(△《>f/^和ZW2>Arf)80.50.25—[(Av>Z/^禾口A/SA")或(AvS//^禾口A/>Av/1)]禾口(A《>&禾固2>91.0一—其它2权利要求1.一种成像设备，包括马赛克图像传感器，其被配置用于产生属于多个输入子图像的输入像素值的流，每个子图像响应于入射在所述马赛克图像传感器上的不同的、各自颜色的光；图像恢复电路，其被耦合用于对所述输入子图像中的每一个的输入像素值进行接收并数字滤波，从而产生相应的多个增强的输出子图像；以及图像信号处理器(ISP)，其被耦合用于接收并组合所述多个输出子图像，以产生彩色视频输出图像。2.如权利要求l所述的设备，其中所述输入子图像和所述输出子图像具有相同的格式，从而使得所述ISP可以被耦合用于接收和组合所述输出子图像或所述输入子图像。3.如权利要求2所述的设备，其中在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且所述输出子图像包括输出像素值，所述图像恢复电路使所述输出像素值根据所述预定的交叉图案在输出像素流中交叉。4.如权利要求l所述的设备，其中每个子图像均具有输入模糊，并且所述输出子图像具有输出模糊，在由所述图像恢复电路滤波后，所述输出模糊比所述输入模糊小。5.如权利要求4所述的设备，还包括物镜系统，所述物镜系统具有增加所述输入模糊的点扩散函数(PSF),并且所述图像恢复电路包括去巻积滤波器(DCF)，所述DCF具有根据所述PSF确定的滤波核。6.如权利要求5所述的设备，其中所述PSF在所述图像传感器的平面上变化，并且所述图像恢复电路被布置用于响应于所述图像传感器的平面上的所述PSF的变化，将不同的滤波核施加到来自所述图^f象传感器的不同区域的输入像素值。7.如权利要求5所述的设备，其中所述图像恢复电路被布置用于根据所述输入子图像的特性，将不同的滤波核应用到所述输入像素值。8.如权利要求1-7中的任意一项所述的设备，其中所述马赛克图像传感器包括以拜耳马赛克图案布置的滤波器阵列。9.如权利要求8所述的设备，其中所述输入像素值包括绿和蓝l象素交替的第一行以及绿和红像素交替的第二行，并且所述图像恢复电路包括绿平衡单元，所述绿平衡单元被耦合用于补偿在所述第一行和所述第二行之间的绿像素的敏感度的变化。10.如权利要求9所述的设备，其中所述敏感度的变化在所述图像传感器的区域上是不均匀的，并且所述绿平衡单元被布置用于响应于所述敏感度的不均匀变化而施加不均匀的补偿。11.如权利要求1-7中的任意一项所述的设备，还包括物镜系统，所述物镜系统被配置用于以预定的模糊程度将所述光聚焦到所述马赛克图像传感器上，其中所述图像恢复电路包括尖峰去除单元，所述尖峰去除单元识别缺陷像素，所述缺陷像素的输入像素值与在所述输入子图像中的每一个之内的相邻像素的输入像素值相差超过最大差异，所述最大差异根据所述模糊程度确定，并且所述尖峰去除单元修正所述缺陷像素的输入像素值。12.如权利要求1-7中的任意一项所述的设备，其中所述图像恢复电路包括噪声滤波器，所述噪声滤波器被布置用于对输入子图像中的每一个进行数字滤波以便减少所述子图像中的噪声。13.如权利要求12所述的设备，其中所述噪声滤波器被布置用于确定所述输入子图像中的局部梯度的方向和大小，并且响应于所述方向和所述大小来选择用于减少所述噪声的滤波核。14.如权利要求12所述的设备，其中所述图像恢复电路包括去巻积滤波器(DCF)，所述DCF被布置用于在所述噪声由所述噪声滤波器减少后对所述输入子图像进行滤波。15.如权利要求14所述的设备，其中所述图像恢复电路包括边缘检测器，所述边缘检测器被布置用于在所述输入图像中识别边缘区域，并且用于控制所述DCF的输入，以使得所述DCF在所述边缘区i或中接收没有噪声滤波的输入像素值，而在所述边缘区域外从所述噪声滤波器接收噪声减少的输入像素值。16.如权利要求15所述的设备，其中所述边缘检测器被布置用于检测边缘像素，并且所述图像恢复电路包括加宽单元，所述加宽单元被布置用于通过向围绕所述边缘像素的边缘区域增加像素来加宽所述边缘区域。17.如权利要求16所述的设备，其中所述加宽单元^f皮布置用于/人所述边缘检测器接收在所述子图像的第一个中的边缘像素的识别，并且向所述边缘区域增加与所述子图像中的至少第二个中的边缘像素相邻的像素。18.如^5L利要求1-7中的任意一项所述的设备，其中所述图^象十灰复电路包括数字滤波器和取景扩展单元，其中，所述数字滤波器被布置用于将所述输入子图像同给定尺寸的核进行巻积，所述取景扩展单元被布置用于在所述输入子图像周围增加像素值的边缘，所述边缘的宽度响应于所述滤波核的尺寸而选择。19.如权利要求1-7中的任意一项所述的设备，其中在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且所述图像恢复电路包括数字滤波器，所述数字滤波器被布置用于将所述输入子图像中的每一个同各自的核进行巻积，所述核响应于所述交叉图案被掩膜，以对所述子图像中的每一个与其它子图像分离地进行滤波。20.—种用于成^^的方法，包括从马赛克图像传感器接收属于多个输入子图像的输入像素值的流，每个子图像响应于入射在所述马赛克图像传感器上的不同的、各自的颜色的光；对所述输入子图像的每一个中的输入像素值进行数字滤波，从而产生相应的多个增强的输出子图像；以及在图像信号处理器(ISP)中组合所述输出子图像，以便产生彩色视频输出图像。21.如权利要求20所述的方法，其中所述输入子图像和所述输出子图像具有相同的格式，从而使得所述ISP可以被耦合用于接收和组合所述输出子图像或所述输入子图像。22.如权利要求21所述的方法，其中在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且对所述输入像素值进行数字滤波包括根据所述预定的交叉图案，将输出像素流中的所述输出子图像的输出像素值交叉。23.如权利要求20所述的方法，其中每个子图像均具有输入模糊，并且对所述输入像素值的数字滤波包括在所述输入子图像的每一个中处理所述输入像素值，从而使得所述输出子图像具有比所述输入模糊小的输出模糊。24.如权利要求23所述的方法，所述光由物镜系统聚焦到所述马赛克图像传感器上，所述物镜系统具有增加所述输入模糊的点扩散函数(PSF)，并且对所述输入像素值的处理包括将去巻积滤波器(DCF)应用到所述输入子图像的每一个中的输入像素值，所述DCF具有#4居所述PSF确定的滤波核。25.如权利要求24所述的方法，其中所述PSF在所述图像传感器的平面上变化，并且应用所述DCF包括响应于所述PSF在所述图像传感器的所述平面上的变化，将不同的滤波核应用到来自所述图像传感器的不同区域的输入像素值。26.如权利要求24所述的方法，其中应用所述DCF包括根据所述输入子图像的特性，将不同的滤波核应用到所述输入像素值。27.如权利要求20-26中的任意一项所述的方法，其中所述马赛克图像传感器包括以拜耳马赛克图案布置的滤波器阵列。28.如权利要求27所述的方法，其中所述输入像素值包括绿像素和蓝像素交替的第一行以及绿像素和红像素交替的第二行，并且包括在对所述输入像素值进行数字滤波前，处理所述输入像素值以补偿所述第一行和所述第二行之间绿像素的敏感度的变化。29.如权利要求27所述的方法，其中所述敏感度的变化在所述图像传感器的区域上是不均匀的，并且处理所述输入像素值包括响应于所述^:感度的不均匀变化而施加不均匀的补偿。30.如权利要求20-26中的任意一项所述的方法，所述光由具有预定的模糊程度的物镜系统聚焦到所述马赛克图像传感器上，并且包括识别缺陷像素，所述缺陷像素的输入像素值与所述输入子图像的每一个之内的相邻像素的输入像素值相差超过最大差异，所述最大差异根据所述模糊程度确定，并且包括修正所述缺陷像素的输入像素值。31.如权利要求20-26中的任意一项所述的方法，其中对输入i象素值进行数字滤波包括，处理所述输入子图像中的每一个以便减少所述子图像中的噪声。32.如权利要求31所述的方法，其中处理所述输入子图像中的每一个包括，确定所述输入子图像中的局部梯度的方向和大小，并且响应于所述方向和所述大小来选择用于减少噪声的滤波核。33.如权利要求31所述的方法，其中对所述输入像素值进行数字滤波包括，在处理所述输入子图像中的每一个以减少噪声后，应用去巻积滤波器(DCF)来对所述输入子图像进行滤波。34.如;K利要求33所述的方法，其中应用所述DCF包括，在所述输入图像中识别边缘区域，并控制所述DCF的输入，以使得在所述边缘区域中，所述DCF接收没有经减少噪声的处理的输入像素值，并且在边缘区域外，所述DCF接收在减少噪声的处理后的噪声减少的输入像素值。35.如权利要求34所述的方法，识别所述边缘区域包括，检测边缘像素，并且通过向围绕所述边缘像素的边缘区域增加像素来加宽所述边缘区域。36.如权利要求35所述的方法，其中加宽所述边缘区域包括，在所述子图像的第一个中检测边缘像素，并且向所述边缘区域增加与所述子图像中的至少第二个中的边缘像素边缘区域相邻的在至少第二个子图像中的像素。。37.如权利要求20-26中的任意一项所述的方法，其中对所述输入像素值进行数字滤波包括，将所述输入子图像同给定尺寸的核进行巻积，并且包括在对所述输入像素值进行数字滤波前，在所述输入子图像的周围增加像素值的边缘，所述边缘的宽度响应于所述滤波核的尺寸而选择。38.如权利要求20-26中的任意一项所述的方法，其中在由所述马赛克图像传感器输出的单一输入像素流中，所述多个输入子图像中的输入像素值以预定的交叉图案交叉，并且对所述输入像素值进行数字滤波包括，将所述输入子图像中的每一个同各自的核进行巻积，所述核响应于所述交叉图案被掩膜，以对所述子图像中的每一个与其它子图像分离地进行滤波。全文摘要一种成像设备，包括马赛克图像传感器(24)，其被配置用于产生属于多个输入子图像的输入像素值的流，每个子图像响应于入射到马赛克图像传感器的不同的、各自的颜色的光。图像恢复电路(26)被耦合用于对每个输入子图像的输入像素值进行接收并数字滤波，以便产生相应的多个增强输出子图像。图像信号处理器(ISP)(28)被耦合用于接收并组合上述多个输出子图像，从而产生彩色视频输出图像。文档编号G06K9/40GK101490694SQ200680050359公开日2009年7月22日申请日期2006年11月7日优先权日2005年11月10日发明者乌里·基恩罗特,亚历克斯·阿隆,伊琳娜·阿隆,埃纳特·基德隆,安纳托利·里特维诺夫申请人:蒂-布勒技术有限公司