专利名称：用于调整将核应用于信号的效果以在信号上取得预期效果的技术的制作方法
技术领域：
本发明涉及数字信号处理。特别是，本发明的实施方式涉及修改当 应用核心矩阵来处理信号数据时取得的效果，以便取得预期效果。
背景技术：
在数字成像中，通过校正诸如光学模糊、光学畸变、色差、场曲等 之类的光学象差，去巻积有时用来创建更优质的图像，所述光学像差发 生在诸如数字照相机之类的成像仪器中。定义去巻积的数学运算是与巻 积中执行的数学运算相同的数学运算-称其为去巻积的理由是其用于校正 或补偿由巻积施加在图像上的效果的上下文中。换句话说，使用去巻积-
以这种方式-是基于下列事实的当图像信号通过成4象仪器时，可将输出 信号描述为图像信号与称作点扩展函数(PSF)的2D函数之间的巻积。 举光学模糊为例，PSF根据电磁辐射的点源穿过仪器的轨迹来描述光学 模糊，即单个光点如何通过光学系统成像。PSF巻积的结果是所采集的 图像信号比对象本身更模糊(并且还可能失真，和/或包含色差)。为了 补偿这种模糊，可执行去巻积过程，其中图像信号与2D函数巻积，所述 2D函数的目标是产生不模糊的图像。该2D函数经常是所述PSF的倒数 (或者PSF的倒数的变体)，在某种程度上其抵消了 PSF所引入的模糊。 2D去巻积可用软件(SW)或硬件(HW)在图像的数字表示上在数 字域中执行。核心矩阵通常用作2D去巻积滤波器，其特征在于所希望的 频率响应。为了补偿PSF才莫糊并增强图像对比度，该核心矩阵与信号矩 阵(所述2D图像)巻积。为了该滤波器增强对比度，它应拥有带通滤波 器(BPF)或高通滤波器(HPF)的频率响应，从而使其以将要求频率中 的对比度增强到指定水平的方式匹配所述PSF。除了增强图像中的对比度之外，通过将具有低通频率响应(LPF)的 核心应用于所述图像，相同的巻积运算可用来降低图像中的噪声，平均 所述噪声。当执行这样的去噪运算时，应注意不要损害信号的对比度。
通常，增强图像的去巻积过程是数码相机中(用SW或HW)运行 的图像信号处理(ISP)链的一部分。图像上这一系列的数学运算将其从 CMOS/CCD传感器(用例如"BAYER"格式)输出的"RAW"格式图像(有 时称为"NEF"图像)转换成浏览及保存的最终图像(例如，JPEG图像、 TIFF图像等)。在所述ISP链之内，在执行去马赛克(颜色插值)之后、 或在去马赛克之前，可将所述去巻积滤波器应用于所述图像。前一种方 法使滤波器影响图像中的最大可能频率(逐像素)；然而，为了覆盖大 的空间支持，所述2D核心应具有许多系数。后一种方法暗示在图像仍处 于BAYER格式时(在颜色插值之前)，应用滤波器。后一种方法具有 用较少的系数覆盖较大的空间支持的优势，但滤波器仅可影响较低的频 率。由于对于大多数光学设计来说，为了去巻积有效，核心的尺寸应与 PSF的尺寸大致相同(按像素)，因此补偿大PSF要求足够大的空间支 持用于去巻积核心，并因而需要许多系数(这意味着更多的存储器和数 学计算)。由于如果将太小的核心应用于被大PSF模糊的图像，则在处 理后可能保留了不在预期内的伪像，因此这可能是在去马赛克过程之前 将所述去巻积核心应用于BAYER图像的主要原因。
当将具有HPF/BPF频率响应的去巻积滤波器应用于图像可能导致对 比度增大时，亦可能不适宜地;^文大噪声。当信噪比(S/N)好时，很少注 意到这种噪声放大，在可造成低S/N的恶劣光照条件下，要极其注意这 种噪声放大。不幸地，在不考虑图像中已有噪声数量的情况下应用所述 去巻积核心，可能导致噪声更大的图像。
可采用去噪算法来降低由于应用去巻积核心而导致的不想要的噪声 放大。然而，在去巻积过程已经放大了图像中的噪声之后应用去噪算法， 可能需要执行强去噪(strong de-noising),这可能导致图像中具有精细 细节的区域中不想要的数据损失。此外，应用强去噪仍不会移除全部噪声。本节所描述的方法是可推行的方法，但不 一定是早先已构思或推4亍 的方法。因此，除非另有说明，否则不应仅凭借他们包含在本节就假i殳 本节所描述的方法是现有技术。
在附图的图形中，通过举例来说明本发明，而不是通过限制来说明，
其中相同的附图标记指代类似的元件，并且其中 图la描绘了没有数字自动聚焦方框的ISP链；
图lb描绘了根据实施方式具有用于数字自动聚焦方框的可能位置的 ISP链；
图lc描绘了根据实施方式具有用于数字自动聚焦方框的另 一可能位 置的ISP《连；
图2描绘了一幅根据实施方式说明一种用于更新核心矩阵以及用所 述更新核心矩阵处理图傳_数据的示例性系统的方框图3示出了一种根据实施方式用于更新核心的示例性等式；
图4描绘了一幅系统方框图，其中"阴影指示符"用于修改巻积核心；
图5描绘了一副示例性镜头阴影轮廓的图6描绘了一个根据实施方式用于基于阴影参数更新核心的等式；
图7描绘了一副根据实施方式的系统方框图，其中巻积方框中的核 心更新逻辑使用了"度量(metric)"来修改核心；
图8示出了一副示例性bayer图像，其具有红色(R)、蓝色(B)和 绿色(G)像素；
图9a说明了用于图像窗口的数据；
图9 B说明了图9 A中数据的直方图10A说明了单峰直方图10B说明了双峰直方图ll描绘了 一个根据实施方式用于基于度量更新核心的等式； 图12是一副根据实施方式说明了用于调整核心效果的大小的过程的 流程图；图13是一副示例性移动设备图，在该移动设备上可实施本发明的实 施方式；
图14是一副示例性计算机系统图，在该计算机系统设备上可实施本 发明的实施方式；
图15是一副根据实施方式的图，其描绘了 一个用于确定参数来基于 图像特征修改核心的曲线；
图16是一 副根据实施方式用于处理信号的系统的方框图； 图17描绘了根据实施方式校正运动模糊； 图18描绘了根据实施方式校正运动平移；
图19是一副根据实施方式的方框图，该图描绘了 一种用于至少基于 阴影参数调整核心处理的强度的系统；
图20是一副根据实施方式的方框图，该图描绘了一种用于至少基于 邻域像素的特征调整核心处理的强度的系统；
图21描绘了一种根据实施方式的技术，在该技术中根据一个或多个 参凄t更新核心；
图22描绘了 一种根据实施方式的技术，在该技术中将"缩放"应用于 未经修改的核心的巻积结果；
图23描绘了一种根据实施方式用于基于距离计算信息度量的技术；
和
图24描绘了根据实施方式的分离增益函数。
具体实施例方式
在下列描述中，出于解释的目的，为了全面理解本发明，阐述了众 多具体细节。然而，4艮明显，在没有这些具体细节的情况下也可以实施 本发明。在其它实例中，为了避免不必要地模糊本发明，在方框图表格 中示出了熟知的结构和设备。
本文根据下列概要来描述实施方式
1.0 综述
2.0图像信号处理链实施例3.0 巻积综述
4.0基于预期效果的大小来调整核心效果的综述
4.1 过程综述
4.2 通过更新核心来调整核心效果的综述
4.3 通过修改巻积结果来调整核心效果的综述 5.0基于多种因素调整核心效果
5.1 基于S/N图形调整核心效果
5.2 根据空间位置调整核心效果
5.3 根据局部图像特征调整核心效果
6.0根据实施方式调整核心效果以处理运动模糊
6.1 校正运动模糊综述
6.2 模糊点分布函数实施方式
6.3 运动移位矢量实施方式
6.4 组合锐化及运动纟莫糊核心 8.0硬件综述
8.1 移动i殳备实施例
8.2 计算机系统实施例
1.0 综述
本文公开了用于处理信号数据的技术。所述信号数据可由多种不同 的信号矩阵表示，每个矩阵表示所述信号的不同部分。例如，每个信号 矩阵可包括对应于图像传感器中的一组像素的元。然而，所述信号可以 是例如音频数据或其它信号数据，而不是图像数据。至少根据一个核心 矩阵来处理给定信号矩阵，从而取得某种预期效果。更特别地，为了取 得所述大小的预期效果，调整预期效果的大小，所述预期效果是由于根 据核心矩阵处理所述信号矩阵而取得的。
在一种实施方式中，在将经修改的核心矩阵应用于信号数据之前， 所述应用于信号数据的核心矩阵根据将在后续章节中列出的一个或多个 参数进行了 一次或多次的修改。根据所述一个或多个参数来修改所述核
ii心矩阵允许取得所述大小的预期效果。在另一种实施方式中，利用未》务改的核心和一些其他值(一个或多个)，包括但不限于输入图^f象中的初始像素值，某一像素的最终处理结果可能是去巻积结果的加权和。每个被求和的值的权可根据将在后续章节列出的若干参数进行修改。所述》务改可基于这些因素，这些因素包括但不限于信号数据的信噪比、用于采集信号数据的设备的属性(例如，镜头)、空间相关信息(例如，像素位置)、或者根据信号数据分析获得的度量(例如，当前正处理的像素的邻域中的^象素)。
根据本发明"锐化"实施方式处理图像数据目标在于恢复已损失的对
比度。对比度可能例如由于用来采集图像数据的光学器件(optics)属性
而损失。然而，该锐化实施方式不要求使用任何特定的镜头。所述锐化实施方式的目的是恢复一些由于镜头的光学器件属性而损失的图像对比度，以便对于远距离对像的图像和近距离对像的图像来说，最终图像都
具有好的对比度，虽然付出了合理的S/N代价。所述锐化实施方式可以利用硬件、软件或硬件和软件的某种组合实施为一种图像信号处理(ISP)模块。
在一种实施方式中，所使用的核心具有高通或带通频率响应，这通过增强图像中的差异来允许所述核心锐化图像。所述差异的实施例包括暗/亮区域之间的边缘、形状、轮廓等。然而，在图像中相对均一的表面(例如，诸如灰墙或蓝天之类)上应用这些核心，可导致放大存在于这些像素之间的小差异。像素之间的这些小差异可能由噪声(随机噪声或固定模式噪声)造成。因此，应用这些核心可能在图像的"平的"、均一的、无信息的区域中导致非期望的噪声放大。这种不在预期内的噪声在低光照条件下可能特别严重。本文公开了若干种避免放大在图像的"平的"区域中的噪声的技术，而保留了期望区域中的对比度。
在一种实施方式中，根据S/N图形调整每个核心的增益(例如，他们提供的锐化的量)。因而，当处理具有很差S/N的图像或其一部分时，可降低核心的增益。作为一个特定实施例，当处理在极低光照下采集的图像时，可降低所述核心的增益。在一种实施方式中，通过根据S/N参数修改所述核心，并接着将该经修改的核心应用于图像，来调整所述核心的 增益。在另一种实施方式中，在将未经修改的核心应用于图像之后，根
据S/N参数执行缩放(scaling)。
在一种实施方式中，根据正处理的图像的当前部分的空间位置，来 调整核心的增益。在一种实施方式中，空间位置相关调整补偿了用来采 集图像数据的镜头的属性。自动聚焦和标准镜头可能遭受到径向降低照 明轮廓。也就是说，穿过镜头的光的数量在镜头的高区域远低于镜头的 中间。因此，与中心相比，S/N可能在图像边界处更低。在一些设计中， 边界处的照明是中间区域的值的大约50-55%。然而，边界处的照明可能 大于或小于50-55%。在一种实施方式中，通过根据阴影参数修改所述核 心，并接着将该经修改的核心应用于图像，来调整所述核心的增益。在 另一种实施方式中，在将未经修改的核心应用于图像之后，根据阴影参 数执行缩放。因此，根据本发明的实施方式，在图像边界获得更好的S/N， 且获取更好看的图像。
在一种实施方式中，根据描述当前正处理像素的邻域中的图像的某 种特征的度量，来修改应用所述核心的效果。在一种实施方式中，所述 度量是基于当前像素的邻域中的像素的统计分析的。例如，所述统计分 析可以基于图像数据矩阵中的元之间的标准偏差、图像矩阵中元的直方 图、或者图像矩阵中元中的熵。然而，所述度量亦可基于当前像素的邻 域中特定像素之间的梯度计算。在一种实施方式中，根据所述度量修改 核心。所述经修改的核心接着应用于图像数据。在另一种实施方式中， 在将未经修改的核心应用于图像之后，根据所述度量执行缩放。
在一些应用中，核心可能往往用来抵消PSF。也就是说，核心可能是 表示采集信号的设备中的诸如模糊之类的光学像差的PSF的倒数。然而， 并不是必需核心为PSF的倒数。此外，本文有一些实施例，在这些实施例 中，核心用来增强图像对比度。然而，本文所描述的方法被应用于核心 以增强图像对比度并不是必需的。此外，本文有一些实施例，在这些实 施例中，核心用于图像处理。然而，更一般地说，本文所描述的技术可 应用于用于任意数字信号处理应用的核心。
13在一种实施方式中，用于锐化图像(对比度增强)的相同机制亦用 来减少或消除图像中运动模糊或晃动的效果。使用相同机制进行运动模 糊校正和对比度增强，可根据硅尺寸、处理器周期、复杂度及成本产生 更好的解决方案。
2.0图像信号处理链实施例
在数字静止照相机模块中，处理原始图像、并输出保存在非易失性 存储器中的最终图像(例如，JPEG图像、TIFFany图像等等)的该组算法 称作图像信号处理链，或者称作ISP链。图la描绘了ISP链100中出现的典 型阶段。ISP链可拥有其它阶段，且不必拥有图la中所描述的所有阶段。 各阶段可处于不同的顺序。
在一种实施方式中，数字自动聚焦实施为一独立方框，充当ISP链的 一部分。所述实施例ISP链100示出了一种典型的没有数字自动聚焦方框 的ISP链。所述实施例ISP链100包括下列阶段。模拟增益101应用A/D转换 之前的增益来补偿暗图像(例如，在采用低曝光时间的同时)。黑级校 正(black level correction) 102从图^f象中移除最低值(即，从传感器输出 的"暗电流")。坏像素校正106定位图像中的产生错误的极低或极高值的 "烧伤"的像素，以及用该环境的"精确(smart)"平均值替换这些像素。 在具有BAYER才莫式的CMOS传感器中，Gr/Gb补偿107补偿了可能出现在 与蓝色像素共行的绿色像素值和与红色像素共行的绿色像素值之间的差 异。图像传感器使用BAYER格式并不是必需的。为了平衡颜色及补偿光 照条件和光级(light level),白平衡和数字增益108将增益应用于每种颜 色(绿-红、红、绿-蓝、蓝)，同时保持了动态范围。
通过增强远离中心的像素的亮度，镜头阴影校正109补偿了镜头阴影 轮廓。噪声移除110从图像中移除了随机噪声和固定模式噪声。颜色插值 法(去马赛克)112将BAYER图像内插到全RGB图像中，在所述全RGB 图像中每个像素具有三个颜色通道值。锐化114增强了图像中的对比度。如随后将进行的更详细的描述，数 字自动聚焦方框不同于锐化方框，在锐化方框中，数字自动聚焦补偿了 PSF。
颜色校正矩阵115负责图像的颜色精确度和颜色饱和度。伽马校正 116将伽马(Y)曲线应用于图像。JPEG压缩118将来自完全BMP图像的图 像压缩成JPEG图像，该JPEG图像接着可保存到非易失性存储器(诸如闪 存)中。可采用除了JPEG之外的压缩。
在ISP链中，数字自动聚焦方框可位于多个可能位置。图lb描绘了根 据实施方式的ISP链100a,该ISP链合并了数字自动聚焦方框lll。在ISP 链100a中，例如，数字自动聚焦方框111就位于去马赛克方框112之前， 即，它被应用于BAYER图像上。图lc描绘了根据实施方式的ISP链100b, 该ISP链亦合并了数字自动聚焦方框lll。在ISP链lOOb中，数字自动聚焦 方框111位于去马赛克方框112之后，即，它被应用于RGB图像上。在ISP 100a和ISP 100b这两种情况中，并不是数字自动聚焦方框必需恰好位于所 描绘位置-它也可位于ISP中的任何地方。在一种实施方式中，数字自动聚 焦方框l 11出现在坏像素校正106之后，因为数字自动聚焦11 l可增强坏像 素效果。在另一种实施方式中，推荐数字自动聚焦方框出现在bayer去噪 方框IIO、镜头阴影校正109方框、白平衡方框108、 Gr/Gb补偿方框107、 坏像素4交正方框106和黑级校正方框102之后，因为这些方框对传感器及 部分镜头故障做了校正。请注意，将数字自动聚焦方框合并到ISP中，可 造成锐化方框l 14变成不必要的。
ISP链100整体上可以提供用于低分辨率屏幕的优质图像，甚至不必 应用数字自动聚焦lll阶段。因而，在预览模式下(这时，在采集图像之 前，图像显示在手机的预览屏幕上)激活数字自动聚焦lll并不是必需的。
在该算法的一种实施方式中，采集图像的照相机模块系统包括一微 距/正常(macro/normal)特征，使用户选择是采集近距离图像(例如 20-40cm)还是采集远距离图^f象(例如，40cm-无限远)。在一种实施方 式中，将模式选择输入到数字自动聚焦lll中，且可用来改变所述处理。 例如，可使用不同的去巻积核心，或者可根据拍摄模式，来改变所述核心。来自ISP链100的其它阶段的其它参数亦可输入到数字自动聚焦阶段 lll中。作为一种实施例，另一阶段提供了具有图像的S/N图形的数字自 动聚焦阶段lll。所述数字自动聚焦阶段111根据S/N图形调整锐化的量。 在一种实施方式中，锐化的量是基于像素位置的，其可由ISP链100中的 另一阶段提供。然而，将用正常/孩^巨模式来在不同核心之间进行选择并 不是必需的-单组核心可同时支持远、近距离。
3.0 去巻积综述
在一种实施方式中，核心用来执行bayer去巻积。然而，去巻积仅i^又 是可如何使用核心的一种实施例。bayer图像可塑造为像素值的2D矩阵， 从而使得根据每个单元值所表示的传感器像素上的滤色器，每个单元值 具有其特有的颜色-红、绿或蓝。图8示出了一幅示例性bayer图像800, 其具有红(R)、蓝(B)和绿(G)色像素。像素的位置表示图像数据 中与该颜色的核心巻积的像素位置。每种颜色均有中心像素801g、 801r、 801b，其标识了图像信号中的所述像素，其像素值通过将适当的颜色核 心矩阵与图像信号中的对应像素进行巻积来修改。
才艮据一种实施方式，bayer巻积4吏用三个2D核心-每个^f象素颜色一个核 心-来定义参加巻积的像素以及与每个像素相乘的系数值。核心尺寸可根 据支持来定义，该支持指将所述核心置于图像上时核心将"覆盖"信号图 像中的像素的数目。参考图8，核心支持尺寸是9x9。核心可支持许多其 它的尺寸。在另一种实施方式中，绿色像素被分成与蓝色像素(Gb)共 列的绿色像素和与红色像素(GJ共列的绿色像素。在这样的实施方式 中，有两个绿色核心， 一个用于Gb,另一个用于Gr，这两个绿色核心与 所述红色或蓝色像素核心具有类似的构造。
请注意，在一些实施方式中，所述巻积不会混合不同的颜色。也就 是说，在一些实施方式中，每个中心像素均与各相同颜色的环绕像素 (surrounding pixels)进行巻积。然而，在其它实施方式中，巻积确实混 合颜色。例如，当处理红色中心像素时，来自蓝和/或绿色像素的信息可用于去巻积中。因而，给定颜色的核心矩阵可在对应于不同颜色像素的 位置处具有非零系数。
核心的系数与采集图像中的对应像素相乘，他们全部求和，并且将 所述结果写入输出图像中的适宜位置中。图像中的那些对应像素在本文
被称为"当前图像窗口"。例如，图8中的核心支持9x9像素环境。在图8 中，红色i^象素和蓝色^象素都形成5x5矩阵。当处理中心红色^f象素801r时， 采集图像中围绕中心红色像素801r的红色像素是当前图像窗口。因而，在 该实施例中，当前图像窗口仅包括单一颜色的像素。然而，对于某些类 型的处理，当前图像窗口可具有不止一种颜色的像素-例如，如果核心混 合颜色-即包含与不同于执行所述处理的中心像素的颜色像素相乘的系数 -那么他们操作的图像窗口也必须包括这些像素。请注意，对于像素总数 为41来说绿色像素有5x5模式和4x4模式。每个模式的中心像素是其值通 过巻积更新的像素。在该实施例中，使用bayer巻积，其中对于每种颜色， 仅使用了相同颜色的像素。因而，红色模式用于根据红色中心像素和该 模式中的邻近红色像素来更新红色中心像素801r。
表I描绘了用于巻积绿色像素的3x3支持核心的示例性bayer滤波器的 系数。当该核心的中心系数落在绿色像素上时，仅绿色像素进行巻积。 请注意，实际上对具有O值的核心系数执行乘法并不是必需的。
表I
-0.50-0.5
030
-0.50-0.5
举例来说，如果上述bayer滤波器将被应用于图8的适当部分时，那 么绿色中心像素801g和四个最近的绿色像素参加巻积。巻积可充当高通 滤波器，或者带通滤波器。然而，巻积亦可充当低通滤波器，或者另一 种功能。注意，表I中的核心系数之和等于1。如果所述系数求和为除了l之外
的值，那么核心将影响图像的"DC"值(例如，当所有参加的像素是相同 值时)，该DC值可影响颜色或强度。当应用核心到颜色均一的表面上时， 保存该颜色(或强度)可能是所期望的。
当使用RGB去巻积(即，在去马赛克处理之后执行去巻积)时，所 有像素都具有3个值(R, G, B),并且因而每种颜色的核心可写为一2D 矩阵，每个矩阵单元具有有效的系数-因为图像中每种颜色的信息是空间 连续的且存在于每种像素中。将RGB图像视为3个2D矩阵的组合是方便的 -一个矩阵用于红色、 一个矩阵用于绿色以及最后一个矩阵用于蓝色。在 执行无颜色混合的情况下，每个核心被应用于包含适合该核心的颜色的 2D矩阵上。然而，在一种实施方式中，核心可混合颜色，并且因而核心 可具有与所有3个R、 G和B图像矩阵中的像素相乘的值。
在一种实施方式中，进行检查以确保不存在关于输出图像的位分辨 率的溢出或下溢。如果存在，那么可使用饱和度和剪辑(clipping)。在 一种实施方式中，输出图像的位分辨率与输入图像的相同。然而，这不 是必需的。在另一种实施方式中，输出图像分辨率可相对于输入图像分 辨率而改变。处理所述像素的顺序不局限于任何特定顺序。所述顺序可 取决于锐化阶段114的输入接口 。
4.0基于预期效果的大小来调整核心效果的综述 4.1 过程综述
图12是一幅根据实施方式说明用于调整核心效果的过程1200的流程 图。在步骤1202,访问初始核心矩阵。在步骤1204,调整所述核心矩阵 对信号矩阵进行处理的效果。该调整目的是修改所述核心在信号上产生 的效果的大小。图21和图22描绘了两种用于调整所述核心矩阵对信号矩 阵进行处理而具有的效果的技术。
预期效果可能是增强图像对比度，尽管其可能是另一种效果。所述 对效果大小的调整可以是基于信号的S/N图形的。所述对效果大小的调整 可以是基于像素的位置的。所述对效果大小的调整可以是基于用于采集
18信号的镜头的属性的(例如，镜头阴影)。所述对效果大小的调整可以 是基于正处理数据的邻域中的数据的特征的。举例来说，所述特征可能 实质上是统计上的，诸如数据的标准偏差。所述核心效果可通过这些因 素中任意多的因素，或者通过其它因素来调整。
4.2通过更新核心来调整核心效果的综述
图21描绘了 一种根据实施方式的技术，在该技术中根据一个或多个 参数更新核心。接着，该经更新核心用于巻积。在图21中，输入接口2202 接收来自ISP链中另 一阶段的图像信号，并将图像像素传递到更新核心方 框2106中。在这种实施方式中，输入接口2206提供来自ISP链的某种数据 给更新核心方框2106。该数据的实施例包括但不限于，S/N图形、图像直 方图、曝光时间、数模增益、去噪信息、白平衡信息和像素位置。
所述更新核心方框216更新核心215,所述核心215用于由所选择的图 像像素形成的信号矩阵的巻积。本文中，讨论了多个实施例参数，这些 参数是基于诸如S/N ("a")、空间位置("(3")、局部特征(丫)之类的 因素的。所述核心可根据这些参数中的一个或多个参数、或者其它参数 来更新。因而，所述核心更新不限于这些参数。巻积方框2206将信号矩 阵(基于图像像素)与经更新的核心和最终结果进行巻积。
用于利用计算出的度量(例如，"a"、 "p"、 'Y，，......)修改核心的
方法如下-一旦计算出度量，该度量在0到1的动态范围内(如果不在，可 将其转换到这样的动态范围内)，则利用下列更新公式可降低所述核心 的效果(例如，一3x3核心)
<formula>formula see original document page 19</formula>
最终核心 初始核心
该公式创建了下列期望效果如果所述度量接近于O,则降低所述核 心的效果，以及如果所述度量接近于l,则保留初始核心。最终核心是2 个核心-初始核心和kronecker-5核心-的线性组合。该kronecker- S核心与图 像进行巻积保持了原样，没做修改。因而，将其与初始核心组合，当与所述核心相乘的系数累加到l时，依赖所述度量，确保了所述初始核心效
果在强度上降低，同时确保了不对图像的DC频率分量进行任何改变(由 于最终核心中的所有系数之和保持为l)。
在另一种实施方式中，kronecker-S核心由另一核心代替，例如具有比 初始核心效果更强的核心，并因而依赖于所述度量，可实现增加所述处 理的效力的效果。
4.3通过^^改巻积结果来调整核心效果的综述
图22描绘了 一种根据实施方式的技术，在该技术中将"縮放"应用到 不必进行修改的核心的巻积结果上。该缩放实现了与如图21所描绘的更 新核心相同的结果。在图22中，输入接口2202接收来自ISP链的另一阶 段的图像信号，并将图像像素传递到巻积方框2206中。巻积方框2206将 信号矩阵(基于图像像素)与未经修改的核心215进行巻积并输出巻积结 果。巻积方框2206将正处理的当前像素与初始核心进行巻积，并输出所 述结果到方框2212中。
平均器方框2212从方框2212接收巻积结果，巻积之前的当前像素值， 以及来自ISP的其它数据。该数据的实施例包括但不限于，S/N图形、图 像直方图、曝光时间、数模增益、去噪信息、白平銜」信息、和4象素位置， 并计算所需的更新度量(替换地，基于该信息的更新度量在先前计算得 出且仅将他们输入到平均器中)。
接着平均器2212在巻积结果与巻积之前的像素值之间取平均，并利 用一种实施方式中的下列公式输出该最终结果(FinalRsult)。
等式 1: Wwa/iisw/Z : Cbwv/ ^ 膨Mc + (1 -附掛Zc) 7wj^尸/:^/
在等式l中，ConvRs是巻积结果，InputPixel是正处理的当前像素的 初始值。在一种实施方式中，由于InputPixel是kronecker-5核心和信号矩 阵的巻积结果，因此使用InputPixel。在期望效果是增大初始核心的效果 的情况下，以用比用于创建ConvRs的核心的效果更强的核心进行巻积而 得到的结果来替换InputPixel。所述度量(metric)可以是具有0到1之间的动态范围的任意更新度量，并且构建该更新度量从而使得当其接近于o 时，期望效果是降低等式中第一加数的效果而增强第二加数的效果，以 及如果其接近于l，则相反(在最终结果中，增强等式中第一加数的效果 而降低第二加数的效果)。多个度量可用于创建最终输出，并且只要相 乘系数加到l,等式中亦可使用不止两个加数。本文中，讨论了度量的多
个实施例，所述度量是基于诸如S/N ("a")、空间位置("p")、局部特 征("Y")之类的因素的。该最终结果可取决于这些因素中的一个或多个 因素、或其它因素。
5.0基于多种因素调整核心效果 5.1基于S/N图形调整核心效果 更新核心的系统实施例
图2描绘了一种说明一种示例性系统200的方框图，所述系统200用 于处理信号矩阵以基于核心矩阵实现预期数量的处理。图2描绘了根据 实施方式更新核心矩阵以及用所述经更新的核心矩阵处理图像数据。如 本文任意其它处所描述，为了调整应用所述核心的效果来修改核心本身 并不是必要的。在一种实施方式中，为了根据所述核心调整所述处理效 果，在用未经修改的核心处理所述图像之后执行缩放。因而，要理解， 为了方便说明起见描绘图2中的各个方框，以及对核心进行更新不需要如 图2所描绘的用a与核心相乘。
一般来说，所述更新核心方框202根据噪声级估计器来更新被选择的 核心矩阵。巻积方框206将经更新的核心应用于图像数据，其输出到输出 接口209中。在一种实施方式中，更新核心方框202和巻积方框206形成图 lb或lc的自动聚焦方框lll的一部分。在一种实施方式中，ISP链204a的上 游部分给输入接口 208提供下列参数
i. 拍摄模式。
ii. 噪声级估计器。
iii. 输入图像。在一种实施方式中，拍摄模式用于确定要使用哪一组核心215a、 215b。图2的示例性系统描绘了用于微距模式和正常模式的核心。然而， 可有用于诸如夜晚、风景等之类的其它模式的核心。拍摄模式可以是任 意类型的要求对核心进行特殊处理的景色。在一种实施方式中，拍摄模 式是基于用户选择的。例如，用户可以在微距模式和正常模式之间选择。 在另一种实施方式中，拍摄模式是自动确定的。在这种实施方式中，基 于拍摄模式，要么微距核心215a要么正常核心215b被提供作为更新初始 核心方框202的输入。在一种实施方式中，核心的系数保存在内存中。举 例来说，16位带符号分辨率可用来表示系数。
例如，正常模式核心215b可用于在40cm-无限远处之间采集的图像。 微距模式核心215a可用于拍摄近距离元素。举例来说，近距离元素可以 在20cm-40cm的范围内，或者在更近的10cm-40cm范围内。在一种实施方 式中，有两组三色核心(红、绿、蓝) 一组用于正常模式， 一组用于 微距模式。可使用不同数量的颜色核心。也可能有不同的核心尺寸。此 外，采用的支持尺寸可基于像素尺寸。例如，如果像素尺寸是1.75um, 则核心支持尺寸可能是13x13。对于2.2um像素尺寸来说，核心支持尺寸 可能是9x9。然而，对较小的像素尺寸采用较大的支持尺寸并不是必需的。
噪声级估计器是所采集图像中噪声级的估计器。噪声级估计器可用 任意格式表示。举例来说，噪声级估计器可以是0-7之内的整数值，其中O 指示低噪声(好S/N) , 7指示大量的噪声(坏S/N)。坏S/N可能与差的光 照条件相关联。
在一种实施方式中，在提供图像像素数据作为输入之前，ISP链204a 的上游部分将坏像素校正(BPC)应用于图像数据。在一种实施方式中， 在所述图像数据已由巻积方框206处理之后，ISP链204b的下游部分将去 马赛克应用于图像数据。
更新核心方框202拥有a计算逻辑212，从而从噪声级估计器计算本文 称为"(x，，的值。在一种实施方式中，其中噪声级估计器是O到最大噪声值 (Max—noise一val)之间的数字，利用等式2计算a的值。
寺式2: <formula>formula see original document page 22</formula>等式2指示图像噪声越大(噪声值(noise_val)越大)，a的值越低 (反之亦然)。因此，如果图像中几乎没有噪声，则a的值接近l。在等 式2中，a与noise一val之间的关系是线性的。然而，线性关系并不是必需 的。根据noise—val与图像中的真实噪声量之间的关系，a可能以更复杂的 形式依赖于noise—val， i者如二次方相关，或者其它相关—如果noise—val 是线性的，则a可以是noise—val的线性函数。更新核心方框202拥有核心 更新逻辑214,其根据a的值，产生初始核心的更新形式。
图3示出了一种根据实施方式用于更新核心的示例性等式。图3指 示a-更新核心矩阵是两个核心的线性组合l)初始核心矩阵，其乘以a; 以及2)S核心矩阵，其乘以1-a。 5核心亦可称作kronecker-S核心。注意， 这导致a-更新核心系数之和保持为l,从而保存图像的"DC"值。注意，实 现图3中的等式并不要求去巻积核心乘以a。相反地，如下面所讨论的， 在将图像矩阵与未经修改的去巻积矩阵巻积之后，可进行a"缩放"以产生 相同的结果。
如果a相对接近l,则a-更新核心极其近似于初始核心。然而，如果a 的值相比较l更接近于O,则a-更新核心将更近似于kronecker-S核心。例 如，如果a-0.2，则a-更新核心将包括80Q/o的kronecker-5核心而仅包括 20%的初始核心。在一种实施方式中，初始核心实质上是高通或带通滤波 器。因而，如果a低，则a-更新核心将对图像产生的锐化量远低于初始核 心的锐化量。
注意，如果核心是高通或带通滤波器，则它可能放大噪声；因此， 与用初始核心处理图像相比，在不对其进行更新的情况下，当图像具有 低S/N时削弱这样的核心可改善最终经处理的图像中的S/N。这种技术可 削弱初始核心的增益。通过用具有比初始核心更强的高通/带通频率响应 的核心来替换kronecker-S核心，可使用相同的技术来加强初始核心。巻积 方框206中的巻积逻辑216用a-更新核心对输入图像的当前部分进行巻积， 并向输出接口209输出值。有一种实施方式中，输出图像具有与输入图像 相同的分辨率。使用后巻积缩;^文的示例性系统
如早先所讨论的，核心乘以a以实现a更新并不是必需的。图16描绘 了 一种实施方式，其中将"缩放"应用到未经修改的核心的巻积结果上； 这种缩放实现了与如图2所描绘的用a更新核心相同的结果。在图16中， 图像接口 208从图像传感器1372接收图像信号，并将信号矩阵传递到巻积 方框206中。来自图像接口208的模式选择信号用于选择一种或多种核心 215，所述核心提供至巻积方框206。前面已经讨论了不同模式的实施例。 巻积方框206将信号矩阵与未经修改的核心进行巻积并输出巻积结果。各 巻积结果包括当前正处理的信号矩阵的元之一的值。
在这种实施方式中，图像接口 208提供噪声级估计器信号给缩放 1602,其利用a计算逻辑212计算"a"。 a计算可按照与图2所描绘的实施方 式相同的方式执行。a缩放1612输入巻积结果、a、以及当前正处理像素 的初始值，并输出当前像素的最终结果。在一种实施方式中，当前像素 是信号矩阵的中心像素。在一种实施方式中，a缩放1612执行如下
等式3:
在等式3中，ConvRs是巻积结果，InputPixel是正处理的当前像素的 初始值。因而，利用未经修改的核心以及一个或多个其它值，当前像素 的最终处理结果是巻积结果的加权和。那些其它值包括但不限于输入图 像中的初始像素值。在这种实施方式中，a参数用作加权(或缩放)参数。
5.2根据空间位置调整核心效果 示例性系统
在一种实施方式中，根据空间位置修改将去巻积核心应用于图像的 效果。在一种实施方式中，空间位置是基于用来采集图像数据的镜头的 阴影轮廓的。图4描绘了一种系统400的方框图，其中在a-更新巻积核心已 由更新核心方框202^f奮改之后，巻积方框203中的P-更新逻辑30M吏用"阴影 指示符"来修改a-更新巻积核心。阴影指示符定义镜头-阴影的数量，并可 相对于图像数据中的中心来描述。如果需要，可在对核心进行a更新之前或不进行a-更新，对核心执行(3-更新。如本文任意其它处所描述，为了调 整应用所述核心的效果来修改核心本身并不是必要的。在一种实施方式 中，为了根据所述核心调整所述处理效果，在用未经修改的核心处理所 述图像之后执行缩放。本文中，基于阴影指示符的调整被称为"P-调整"。 图6描绘了 一个根据实施方式用于基于阴影参数更新核心的等式。 注意，图6中的等式描述了对经a-更新的核心进行l3更新。初始核心系数用 标签来标记，以指示初始核心用a更新过。如早先所讨-论，可在a更新之 前，对核心#1行(3更新。此外，在一种实施方式中，在不执行a-更新的情 况下可执行(3-更新。如果对核心执行(3-更新，则巻积是非线性巻积(即， 其中核心依赖不止一个条件而对每个像素改变的巻积)。注意，实施图6 中的等式并不要求经a更新的去巻积核心与(3相乘。相反地，如下面所讨 论，a及p"缩放"可发生在将未经修改的去巻积矩阵与图像矩阵进行巻积 之后。在对相关颜色核心执行(3更新之后，巻积逻辑216将相关颜色核心与 表示成图像矩阵的图像数据相巻积。基于图像矩阵中的中心像素的颜色 来确定相关颜色核心，所述中心像素是正处理的当前像素。巻积包括以 图像矩阵中的匹配像素来乘以(3-更新的核心系数。所述结果写入输出图像 中的适当位置，从而更新当前像素的值。然后，处理图像数据中的下一 像素。例如，如果正执行bayer处理，则处理bayer图像中的下一像素。对 核心进行P-更新可提供更好的S/N;然而，在图像边界可能有较少的图像 锐化。(3及阴影轮廓的实施例在一种实施方式中，为了补偿图像边界处由镜头-阴影轮廓导致的 S/N代价，P-更新削弱作为离图像中心的距离的函数的核心。图5描绘了 一幅示例性镜头阴影轮廓的图500。 y-轴是阴影参数p的值。x-轴是离镜头 中心的距离("R")。在这种实施例中，较大的R导致较小的(3。因而，在 这种实施例中，在镜头中心附近P接近于1，而靠近镜头外缘(例如，周边)P接近于O。注意，在该实施例中，R与p之间的关系是非线性的。曲 线的形状可以根据等式4模拟。等式4: " = 1-a max(i )))2等式4中，(3具有0-l之间的值。每个像素因而根据其离图像的镜头中心的距离(R)来处理。该距离或平方距离可才艮据下列等式计算等式6:在这些等式中，xjndex和y—index是图像中像素的索引(x是列，y是 行)，而图像中的中心像素索引为[O, O]。 "a"和"b"的值是影响阴影数量 的常量。"a"和"b"的值可改变，且可由上游ISP链204a提供。因而，在一种实 施方式中，由上游ISP链204a提供的阴影指示符定义了常量a和b。在另一 种实施方式中，基于图像统计来计算阴影指示符。例如，基于像素数据 的坐标以及与图像数据相关联的S/N,阴影指示符可由巻积方框206来计 算。S/N可由上游ISP链204a提供。在另一种实施方式中，根据镜头阴影 轮廓来设置a和b,从而使其满足镜头阴影轮廓特征，并且固定,无需要阴 影指示符。巻积方框206中的R计算逻辑302确定用于至少一些像素的R。根据R 的值，P-更新逻辑304访问(或确定)(3的值。也就是说，p可从表中存取， 或运行时计算得出。典型地，至少部分基于当前正处理像素的R值，|3从 表中存取，以节约处理时间。然而，(3可在空闲时计算得出。由于R值仅略微不同于一个其邻居的像素，因此为每个像素计算新的 R值并不是必要的。因而，为每个像素对核心执行P-更新并不是必要的。 因此，每几个像素或者甚至更多像素可执行P-更新，仍能取得期望效果。可在同一镜头的不同阴影轮廓之间选择；然而，针对具体的镜头设 计，可选择恒定轮廓。在一种实施方式中，阴影指示符是0-8之间的整数 值，其中O指示边界处没有阴影，8指示边界处存在严重的阴影。然而， 可使用这个范围之外的值。用于确定(3系数的替换实施方式本节描述了一种替代的技术，以基于"R"值来确定P， R描述了像素数据关于镜头的相对位置。在这种实施方式中，首先，ie的值可转入到较小的动态范围内。等式7是一种实现这种转入的实施例。 等式7: /(i ):i 2
4
在将R值转入到较小的动态范围内之后，可使用等式8来计算(3: 等式8: " = 15-;7./(i ) 常量"p"和"q"影响阴影的数量，并因而调整核心的强度。这些常量因 而出于与前面确定P的技术中所讨论的常量"a"和"b"类似的目的，但不是 相同的常量。"p"和"q"值可由ISP链204a提供(例如，阴影指示符可定义 这些常量)。替换地，适当的p和q值可由巻积方框206确定。举例来说， p和q可基于图像统计来确定。然而，p和q亦可通过镜头阴影4仑廓来确定 并保持固定。注意，在该等式中，|3的最终值可在0-15之间(即，这里用4 位来表示p)。然而，才艮据该实施，P可具有任意期望动态范围。图像边界处核心的削弱量可基于"p"和"q"来调整。例如，如果p = 0 iq=l,则图像边界处将无核心削弱。如果p-l且q-l,则在图像边界 处，核心将变成kronecker-(3函数。因而，核心将被削弱。可根据其来更新核心增益的阴影轮廓可以是除了 R"之外的函数。例 如，其可能是R的函数，或者是非旋转对称函数。在这些其它情况下，计 算P的公式将有些不同。例如，多项式可用于这种如在下列等式中所说明 的函数等式9:々(i ) = a0+<31(i /max(i )) + a1(i /max(i ))2+... + c( (i /max(i ))"在等式9中，P可具有0-1之间的最终值。同样，基于镜头阴影轮廓的调整可用来加强图像边界中的核心，而 不是削弱他们。在这种实施方式中，用具有更富侵略性的高通/带通频率响应的核心来替换kronecker-5核心，并且因此调整初始核心系数。想增强27核心的理由是:一般来说，对于给定镜头，PSF通常在视场(FOV)的边界处 比在其中心处更大。空间相关处理该基于镜头阴影轮廓调整核心效果的实施例是一种用于根据空间 (或像素)位置调整核心效果的技术。然而，这不是唯一的用于基于空 间位置调整核心效果的技术。在一种实施方式中，在图像处理期间保存 或取得不同核心，从而有差别地处理图像传感器的不同区域，以说明位 置相关光学像差。该位置相关处理可以是与单一像素区域一样的细粒度， 但不同区域可具有不止一个单个^f象素。例如，可对图像传感器的不同区域计算光学象差。每个区域的尺寸 可以小如一个单一像素，但可包括不止一个单一〗象素。在一种实施方式 中，为每个区域建立去巻积核心("区域核心")，从而抵消该区域中像 素的光学象差。不同的区域核心可针对每个区域而存储。替换地，单个 区域核心可针对多个区域而存储，对该核心进行调整，从而实现对不同 区域的不同处理。用后去巻积缩放来调整核心效果如早先所讨论的，如图4所描绘，为了获得用a和(3来更新核心的结果， 所述核心乘以a和p并不是必需的。图19描绘了一种实施方式，其中将a和 P"缩放"应用于基于未经修改的核心的去巻积结果。在这种实施方式中， 图像接口 208提供噪声级估计器信号和阴影指示符给缩放l602,所述缩放 1602利用a计算逻辑212来计算"a"。 a计算可以与图2所描绘的实施方式类 似的方式来执行。在本实施方式中，图像接口208提供阴影指示符信号和 像素索引给缩放1602,所述缩放1602利用P计算逻辑302来计算"I3"。卩计 算可以与如图4所描绘的实施方式类似的方式来执行。在一种实施方式 中，所述阴影指示符不用于确定(3。相反地，(3是基于像素索引来确定的， 而不必使用阴影指示符。28a/(3缩放1912输入巻积结果、a、 p和正处理的当前像素的初始值，并 输出当前像素的最终结果。在一种实施方式中，当前像素是信号矩阵的 中心像素。在一种实施方式中，所述a缩放1612执行如下等式10:在等式10中，ConvRs是巻积结果，InputPixel是正处理的当前像素的 初始值。因而，利用未经修改的核心以及一个或多个其它值，当前像素 的最终处理结果是巻积结果的加权和。那些其它值包括但不限于输入图 像中的初始像素值。在这种实施方式中，所述a和p参数用作加权(或缩 放)参数。如果需要，可使用j3参数而不使用a参数。5.3根据局部图像特征调整核心效果在一种实施方式中，核心效果根据局部图像特征调整。所述图像特 征可以是正处理的当前像素的局部特征。根据图像特征调整核心效果可 与先前讨_沦的01调整和/或|3调整一起#^于。然而，在一种实施方式中，核 心效果根据图像特征来调整，而没有任何a或p调整。此外，除了a-或p-调整之外的对核心的调整可用本节的技术来执行。根据图像特征调整核心效果的一个方面，是根据中心像素值本身(或 者，可替换地，根据绕所述中心像素的几个像素的加权平均值)来调整 处理级别(即，核心强度或效果大小)。因而，例如，当该中心像素(或 平均值)具有一高值时，效果大小将较大，当该中心像素具有一低值时， 效果大小将较小。也可以相反使用冲心像素的值(或者绕中心像素的几 个像素的平均值)越低，核心效果越强，值高则效果越弱-取决于需要。 一种根据像素值改变效果的大小的实施例在下列等式l 1中给出等戈 Wwa/i sw/f = / /xe/ — va/ / Max — /nxe/ — va/' Cowvi ^ +(1 — /nxe/ — va/ / Max — j ixe/ — ra/). 7n戸,Pfxe/在上述等式ll中，在巻积之前，当pixel—val为高时，最终结果将近似 于巻积结果，当pixel—val为低时，最终结果将近似于初始像素值。根据图像特征调整核心效果的另 一个方面，是要识别图像中的区域， 其中所述核心应该以更大或更小的强度来应用。因而，确定关于核心矩 阵要对信号矩阵产生的效果的大小。期望效果可以是图像对比度，在这 种情况下，为了最大效果，核心可应用于期望图像对比度最大的图像区 域中。替换地，在期望几乎没有图像对比度的区域中，根本不可应用核 心，或者可修改应用所述核心的效果，从而导致更小的图像对比度。在 一种实施方式中，修改应用核心的效果，从而实现最小效果和最大效果 之间的平滑瞬态。在一种实施方式中，有当期望对效果无调整时所应用 的缺省核心。所述调整可增强所述缺省核心的效果的大小，或者可降低 所述缺省核心的效果的大小。在另一种实施方式中，所使用的核心是用 于去噪目的的低通滤波器，其中使用相同度量来确定在何处应用核心以 及用何种强度应用核心。根据局部图像特征调整核心效果的结构综述图7描绘了一幅系统700的方框图，其中基于根据当前正处理像素的 位置中的图像特征计算得出的度量，巻积方框206中的核心更新逻辑704 修改所述核心。可修改所述度量本身，从而得到本文称为'Y，的值。在系 统700中，在进行Y更新之前，核心首先基于a-和(3更新来更新。然而，和y 更新一起使用a-或p更新并不是必需的。此外，在这种实施方式中，y更新 在a-和p更新之后。然而，可以改变核心更新的顺序。如本文任意其它处 所描述，为了调整应用所述核心的效果来修改核心本身并不是必要的。 在一种实施方式中，为了根据所述核心调整所述处理效果，在用未经修 改的核心处理所述图像之后执行缩放。基于正处理的当前像素及其邻近像素的分析，巻积方框206中的度量 计算逻辑702计算所述度量。所述度量计算逻辑702检查每个像素的当前 图像窗口 (乘以巻积核心的图像段)，确定所述当前像素的期望处理的 数量的度量。接着，基于所述度量，巻积核心由所述核心更新逻辑704更 新。最后，将经更新的核心应用于图像数据。30一旦Y由所述度量定义，逻辑上所述用于更新核心的方法可类似于用于对核心进行a-或P-更新的方法。例如，从合乎逻辑的观点来看，如果希 望降低处理的大小，则所述经更新的核心可从初始核心与S核心的线性组 合中产生，或者如果希望提高处理的大小，则用更富侵略性的核心产生。 再次参考图3，可用Y替代a来更新所述核心。因而，Y影响核心的线性组 合的核心系数。注意，如果用利用Y和a和/或P更新的核心来执行巻积，则 得到非线性巻积结果。也就是说，执行巻积，其中所述核心依赖于不止 一个条件针对每个像素而改变。注意，如本文所描述的后去巻积缩放可 用来获得利用经更新的核心的去巻积结果。根据局部图像特征调整核心效果的功能综述如早先所讨论的，在该实施方式中，基于绕当前正处理的像素的局 部特征来调整处理的强度。首先，检查绕当前像素的区域，来确定诸如 是否存在边缘、绕所述像素的区域是否相对平面-即均一，在该区域内的 信息没有任何变化(诸如空白灰墙之类的)-等之类的信息。等式ll描述 了 一种计算所述度量的方法。在等式12中，Pj和N是窗口之内的像素，？是N个像素的平均值。 确定所述度量的实施例下面是几种用于计算所述度量的示例性方法。可利用绕计算出输出 值的中心像素的当前图像窗口来计算所述度量。然而，使用在整个当前 图像窗口中的所有像素(正处理颜色的)并不是必需的。此外，所述度 量可能是基于当前图像窗口之外的像素的。此外，仅基于相同颜色的像 素确定所述度量并不是必需的。也就是说，对于一些类型的处理，在所 述度量计算中包括不同颜色的像素可能是适当的。方差/标准偏差实施例
在一种实施方式中，当前图像窗口中的像素的方差或者标准偏差
(win—std)用作在绕所述中心像素的当前图像窗口中差异的存在以及差 异的量的指标。如果使用标准偏差，则可使用公式13A或13B中的公式
在等式13A和13B中，x,.是当前图像窗口中的像素，"n"是当前图像窗 口中的像素的数量，3f是平均值。如先前所讨论的，在一种实施方式中， 当前图像窗口中的像素全都是相同颜色的。平均值可如等式14所指出的 来确定。
等式14: 3^ =丄|>,.
W ,.=1
然而，在一种实施方式中，所有像素均参加平均值计算并不是必要 的。此外，在一种实施方式中，使用加权平均值，而不是简单平均值， 其中参加平均值计算的像素根据相对于中心像素的空间位置，或者根据 另一种加权方案来加权。所述权值归一化为l,以便均一区域的平均值保 持相同。在下列等式中示例所述加权平均(其中Wi是权值)
如果&被认为是随机变量，则这些是用于标准偏差的未偏移和已偏移 的估计器。接着，在一种实施方式中，计算两个值-当前图像窗口中的
win—std的最大值(Max—std—val),以及当前图像窗口中的win—std的最小 值(Min_std_val)。根据等式16a和16b计算这些值。
等式15:
32在等式16a和16b中，f是平均值，"n"是当前图像窗口中的像素的数 量。这些最小及最大值从上到下确定了标准偏差的范围。因而，当前图 像窗口的标准偏差的动态范围(dyn_range)可按照等式16定义。
寺式 16: 办w — rawge = Max — W — va/ — Mfw — 5fc/ — va/
核心可根据图ii所描绘的等式来更新。注意，如图ii所描述的核心 更新可通过如本文所描述的由后去巻积由Y缩放实施。也就是说，信号矩
阵用未经修改的核心矩阵来巻积，接着根据Y来缩放所述巻积结果与初始 像素值之和。
进一步注意，如果办w — 则中心像素的邻域中的所有像素都
是相同的。因此，无论中心像素具有与当前图像窗口中剩余像素相同的
值(即，W!'" —^/ = 0),还是中心像素具有与剩余像素不同的值，将S核心 应用于中心像素。注意，在上述情况中任何一种情况下，可不预期任何 处理。第一种情况可指示当前图像窗口是"平面"区域(例如，墙、蓝天 等)，其中不预期增强图像对比度。第二种情况可能是由于未检测到任
何模式而由噪声引起；因此可不预期增强图像对比度。进一步地，注意 在图11的等式中，input—kemel和delta—kernel所乘的两个系数之和为1 。
如果当前图像窗口是"平面的"或近乎"平面的"，或者甚至如果其是噪 声区域，但具有相对低的噪声标准偏差，则所述标准偏差为低值。因此， 图11中input—kernel所乘的系ft接近于O, delta—kernel所乘的系数接近于 1。因此，根据需要，对于其中几乎没有细节的图像区域，几乎没有处理 发生。
然而，如果当前图像窗口包括介于明暗区域之间的边缘，则标准偏 差值为大(例如，接近于最大可能值)。因而，图ll中inpuycernel所乘 的系数将达到接近于l的值，delta—kemel所乘的系数将得到接近于0的值， 这意味着final—kernel将锐化图像并恢复所损失的对比度。由于为每个像素 设置了标准偏差的动态范围，因此不依赖于固定阈值，所述固定阈值随 现场场景而改变。然而，计算窗口中的最小及最大值以及采用局部动态范围并不是必 需的。在一种实施方式中，固定的动态范围用于将标准偏差归一化为动
态范围[Ol]。例如，对于0到1023的像素值(每像素10位)，标准偏差可 接收0到512的值，因而可将所述动态范围固定到所述范围中。
替换地，为了以更精密复杂的方式来改变核心，可将更复杂的函数 应用于标准偏差。举例来说，标准偏差的动态范围可划分成几部分，在 每一部分，以这些部分之间的过渡是连续的并取得期望效果的方式应用 不同的函数。举例来说，图15中描绘的图表1500说明了一种根据实施方 式的相对于所述度量的y曲线。参考图15,定义两个阈值("低阈值
(low_th)"和"高阈值(highjh)")。如果所述度量为低(例如，低于 "low_th")，则在当前图像窗口中没有边缘信息(或微乎其微的边缘信息)。 因此，y值保持为低。如果所述度量位于"low—th"和"high—th"之间，则分 配给y较高的值。所述范围证明存在边缘，但注意，该范围具有上限 "high_th"。在图15的实施例中，Y值在大于"lowJh"以上增大，直到在 "lowJh"与"highjh"之间的某一值处y达到1 。然而，如果所述度量为高
(例如，在"high—th"之上)，则所述Y值逐渐从y在"highJh"处得到的l值
减小。Y的这种减小降低了已经足够锐化的过度锐化边缘的可能性。根据 各度量值，计算y参数，其中y在O到l之间。该函数在所述度量的整个范 围内是连续的。所述y值乘以核心，而以类似于执行a-和(3-更新的方式， (乘以kronecker-S核心(或者，可替换地，更富侵略性的核心-根据 预期效果)。
作为使用标准偏差作为用于梯度-存在识别的度量替代，可根据下列 公式使用方差(variance):
等式 17: —var = 1 X_X)2或 vw."—var二丄J](x,. — x)2 — "S — mS
在等式17中，注释与标准方差公式中相同。在这种替换方式中，为 了创建适宜的动态范围(或者，可使用固定动态范围，如前面所列出的)，应因而确定最大和最小值。还是在这里，图ll中的公式可用于更新核心， 或者可如上所述使用更复杂的函数。
作为使用标准偏差作为用于梯度-存在识别的度量的另 一种替代，可
根据等式18使用绝对差值(absolute value of differences):
寺式 18: w'w —aZw=~^~X!卜,.-圳或 vw'w —afo 二丄Hx,.-刮
其中注释与标准偏差公式中相同。在这种替代方式中，为了创建适 宜的动态范围，最大和最小值应因而确定。还是在这里，图11中的^^式 可用于更新核心，或者可如上所述4吏用更复杂的函数。
直方图实施例
一种类似于标准偏差方法的方法是要计算当前图像窗口的直方图，
并基于所述直方图确定核心的大小。当前图^f象窗口 ( image_window )的 局部直方图可通过首先定义某数量的区格(bin)来计算。这可例如根据 等式19来进行。
等式19:# 6Zra = max(x,.) — min(x,.) +1, / = 1. xz. e /wage — >v/w^fovw
替换地，bin的数量可以是预定的固定数量。举例来说，1024个bin可 用于对应于一10-位图像的强度级数目。接着，所述bin本身例如通过用 弁bins划分所述图像窗口的动态范围来定义，如等式20所描述。
等式 20: 办w — rawge = max(x,.) — min(x,.) +1, / = 1. "， c,. e /附"ge — wW嫌
在这种实施例中，将有弁bins个bin,每个都是l像素宽。可将动态范 围划分成更宽的bin，每个bin都是若干个像素值宽。 一旦定义了所述bin， 每个bin均用图像窗口中落入该bin范围的像素值的数量来填充。图9A说明 了用于图像窗口的数据，图9B说明了用于所述数据的直方图。
在一种实施方式中， 一旦已知当前图像窗口的直方图，则进行确定 所述直方图多么接近于单峰直方图以及所述直方图多么接近于多峰直方 图。单峰直方图亦可称为均一直方图。在一种实施方式中，多峰直方图 包括双峰直方图和高阶直方图。
35直方图的形状越接近于多峰直方图，对于当前图像窗口中存在边缘 的指示越强。可期望增强应用于具有边缘的窗口的去巻积核心的效果。 例如，可期望增强图像的对比度。替换地，如果核心具有低通频率响应， 则其可能希望降低他们的效果大小，以便他们不会模糊图像中的边缘。
所述直方图越接近于单峰直方图，则图像窗口越"平面"(即，越均 一)。因此，可能期望修改所述去巻积核心，从而最小化他们的效果。 例如，在这种情况下，可能期望不增强图像对比度。噪声图像窗口可产
生均一的或单峰直方图。图10A说明了单峰直方图，图10B说明了不同的 绿色图像窗口的双峰直方图。利用1024个bin( 10-位bayer图像的强度级的 #)，以及分布的41个值(用于9x9绿色核心的绿色图像窗口中的值的弁)， 产生这些直方图。
因而，在一种实施方式中，分析所述直方图来确定所述分布是单峰 的还是多峰的。 一种区别单峰直方图和多峰直方图的技术是采用聚类算 法(例如，k-means)，其可用于检测存在两簇还是多簇。此外，所述度 量可基于所述多个簇的中心之间的距离的。为了获得用于更新核心的增 益的度量，所述距离通过其动态范围来归一化。
另 一种用于区分双峰和单峰直方图的技术是基于平滑所述直方图 的，并接着在其中查找局部最大值。如果仅有单个局部最大值，则直方 图是单峰的。然而，如果找到两个局部最大值，则所述两个局部最大点 之间的范围用于导出所述度量。举例来说，如果所述范围小，则所述核 心可调整为具有低增益。然而，如果所述范围大，则所述核心可调整为 具有高增益。这些调整可期望使核心在所述范围大时具有最多的图像对 比度增强。如果找到三个或三个以上的局部最大值，则所述度量亦可基 于所述局部最大值之间的范围。
在先前讨论的标准偏差技术与直方图的形状之间可能存在关系。具 有其值拥有高标准偏差的像素的当前窗口矩阵可具有带有两个或两个以 上波峰的直方图形状，其中像素值远离所述平均值。另一方面，具有其 值拥有低标准偏差的像素的当前窗口矩阵可具有带有单波峰的直方图， 其中大部分像素值接近所述平均值。边缘4企测实施例
在一种实施方式中，确定度量是基于检测图像中的边缘的。例如，巻积掩膜可用于找到当前图像窗口中的边缘。可能采用的巻积掩膜的实
施例包括 f旦不限于，Sobel、 Laplacian、 Prewitt和Roberts。在一种实施方式中，将边缘检测掩膜应用于当前图像窗口上，从而检测边缘。将诸如窗口中像素的标准偏差之类的统计度量值应用于所述结果。接着所述度量是基于所述标准偏差结果的。在另一种实施方式中，将边缘检测掩膜应用于当前图像窗口上，从而检测边缘。在所述边缘检测实施方式中，基于是否找到边缘，来应用所述核心。
3巨离实施例
所述信息度量亦可基于"距离"方法来构造。图23示出了一种用于构造所述信息度量的方法2300。该方法始于步骤2304,其中对像素之间的绝对差值求和。近距离由当前图像窗口中绕中间像素的像素而计算得出。远距离由空间上远离所述同 一 图像中中间像素的像素而计算得出。所述信息度量2312仅由近距离计算得出，而所述度量2316同时由近距离和远距离而计算得出。在步骤2320，该方法2300计算具有根据这两种信息度量值而确定的权值的两种信息度量的加权平均值，其导致最终的信息度量，尽管未进行缩放。在步骤2324，所述最终信息度量根据当前图像内的空间位置来缩放，以及所述经缩放的信息度量接着提供给过程2400，其在图24中进^f亍更详细地描述。
在一种实施方式中，以下列方式计算各种距离度量将图像窗口划分成像素簇，以及对于每一簇，利用在该簇中的像素与在中间簇(直接围绕于所述中间像素)中的匹配像素之间的差值的绝对值的加权和，为该每一簇计算距离度量。等式21示出了用于示例性单个3x3簇例子的距离度量的计算
等式21:《=玄土『[z',几lc^,刀-c冊jzw]l
37其中W [i， j]是可配置的加权矩阵，Ck [i, j]是3x3 Ck簇中像素[i, j]的
值，Cmid[i，j]是中间簇中[i,j]像素的值。
边缘增强实施方式
由于边缘检测掩膜中系数之和为O,则如果在初始图像窗口中存在边缘，则合成的图像窗口将包含强正和负值。因此，包含边缘的图像窗口将拥有高的标准偏差值，因此具有高的处理度量(processing-metric,p一metric)。另一方面，如果所述窗口具有用于图像中"平面"、均一的区域的数据，甚至用于具有相对低噪声标准偏差的噪声区域的数据，则所述边缘过滤图像将具有彼此接近的像素值(典型地接近于0)。因此，所述边缘过滤图像(edge-filtered image)将具有低的标准偏差值和低的处理度量。在一种实施方式中，固定的预定阈值用于归一化所述标准偏差，从而使得最终处理度量是O到l之间的值。所述度量计算可按照等式22中所指示的来确定
等式22:
<formula>formula see original document page 38</formula>
所述核心可按照类似于如图3所描绘的方式来更新。然而，p—metric替换a。
归一化标准偏差导致所述处理度量的平滑梯度变化，从低值到高值，并因而创建了连续且平滑的处理，且消除了输出图像中的伪像。
表II提供了 一种对进行绿色bayer处理的bayer图像的边缘检测的示例性值。如果所述绿色像素划分成Gr (红色行中的绿色)和Gb (蓝色行中的绿色)，则可对所有像素(Gr， R, B和Gb)使用表III。表III提供了用于红色或蓝色bayer处理的边缘^r测掩膜的示例性值。表II
-l0-i0-l
0-i0-l0
-l0120-l
0-i0-l0
-l0-l0-l
表ni-i0-l0-l
00000
-i080-l
00000
-i0-l0-l
举非限制性例子来说，用于在去马赛克之后图像上所执行的处理的
边缘才全测掩膜可能是乂^知的Sobel、 Prewitt、 Roberts和Laplacian掩膜。
边纟彖4全测实施方式
在一种边缘检测实施方式中，将边缘检测掩膜(如果在bayer图像上进行所述处理，则适用于bayer才莫式)应用于图像窗口上，从而发现边缘。阈值可用来确定是否存在边缘，考虑一种a-优先(a-priory)的假设有一种边缘如何出现在自然图像中的模式。例如，与有效图像数据相反，不同于其它像素的单个像素可能是随机噪声。所述阈值可根据为邻近像素而获得结果来更新，以便与检测到边缘相反，降低错误地检测噪声的可能性。该方法的可能实现可以按照如下。
首先，将边缘检测掩膜应用于当前图像窗口上。如果在上述当前阈值之上存在绝对值，则检查他们是否形成一条线或其它图案。指示一条线或其它图案可能是，几个邻近像素具有高绝对值。如果找到一条线或其它图案，则宣布当前图像窗口包括边缘。如果没有像素具有超过所述阈值的绝对值，或者如果所述具有高绝对值的像素没有形成一条线或其它图案，则所述当前图像窗口被认为是包含"平面，，(可能是噪声的)区域。
接着，根据是否发现边缘，将去巻积核心应用于当前图像窗口。例如，如果发现边缘，则可应用强去巻积核心。否则，可将弱去巻积核心应用于所述窗口。此外，设置去巻积核心增益可根据边缘的"强度"来进行。例如，在发现边缘这种情况下，图像窗口中的像素的标准偏差在应用边缘掩膜之后计算得出。所述核心的增益接着是以类似于上述标准偏差方法的方式基于所述标准偏差度量的。
亦可采用其它边缘检测方法。例如，包括但不限于Roberts、 Prewitt、Sobel或Canny的其它边缘检测掩膜可用来确定窗口中是否存在边缘。
基于熵的实施例
在一种实施方式中，要应用于所述图像窗口的核心的大小(例如，去巻积核心的高增益或低增益)是基于当前图像窗口中的熵的。较高的
熵可能表明在当前图像窗口中有大量信息，因而可能期望将更强的核心应用于该窗口。 一"平面"图像窗口可能具有低的熵；因此，可能期望将更弱的核心应用于所述窗口处理度量。可如等式23所描述的来确定所述熵(Entropy)计算。
"_v 1023
等式23: 淑，"-Z/ ,.log(A)
在等式23中，p,.是当前图像窗口中像素值i的经验概率。如果，例如，所述图像窗口是"平面"的，则熵为0，如果其包括边缘(具有不同强度值的像素)，则所述熵将接收一高值。通过对来自等式23的熵值归一化，可确定实际处理度量。
然而，由于所述熵不考虑像素之间差的量，因此高熵值可由随机噪声引起。因此，在一种实施方式中，图像的S/N用来确定是否采用熵技术。基于梯度的实施例
在一种实施方式中，通过计算在当前正处理的窗口中绕中心^泉素的几个局部梯度，来确定边缘的存在。接着根据梯度幅度来计算一度量，
例如根据梯度幅度的加权平均。可根据下列实施例获得梯度
__
i_^_^_
_^_5_
6_^_^_
_^_^_
ii__12_
从表IV来看，可能的梯度是|1-13|,|2-12|,|3-11|,|6-8|，|4-10|,|5-9|。
__
1 2 3
4 5 6
7 8 9
从表V来看，可能的梯度是|1-9|，|2-8|，|3-7|,|6-4|。表IV示出了用于bayer图像中绿色的5x5支持的像素位置，表V示出了用于bayer图像中红色和蓝色的5x5支持的像素位置。当计算所述梯度的加权平均时，权值可由参加某 一梯度的像素之间的空间距离来确定。
一旦计算出所述度量，所述核心更新机制可如前面所提出的进行。也就是说，可根据可能的动态范围来归一化所述度量，从而确定"f，。在一种实施方式中，类似于图15所描述的，可利用增益函数来进行所述归一化。接着，本文所公开的影响如a及(3更新中所使用的去巻积核心的技术，可用于Y更新。
41在一种实施方式中，所述用于创建所述度量的方法由上述方法中的一些方法的加权组合组成。例如，所述最终度量是基于所述标准偏差度
量和所述梯度度量的加权平均的，或者采用2种或2种以上度量的任意其它组合来创建所述最终度量。
可用光(available light)实施例
亦可拥有两种或两种以上单独的增益函数，所述增益函数取决于当前图像窗口中光的量(级别)的局部估计来使用，而不是总是使用相同的增益函数来从所述信息度量中确定"Y"。在一种实施方式中，这种估计可能是中间像素本身或者几个近距离像素的加权平均的值。图24中示出了一种示例性方法2400,其中正好使用了两种增益函数，尽管可使用不止两种的增益函数，图24仅为举例。在步骤2404，将经缩放的信息度量(结合图23讨论)传递给两个增益函数Fgl和Fg2。在这个实施例中，增益函数Fgl可适用于高光级，而增益函数Fg2可适用于低光级。与此同时，在步骤2408,测量当前正处理的像素的光级。在步骤2412和2416,将第一及第二增益函数Fgl和Fg2应用于所述经缩放的信息度量。在步骤2420,根据所述像素的光级，对所述两种增益函数的输出进行加权，按照规定，所述光级在步骤2408测量，并求和产生一统一的度量。
用后去巻积缩放调整核心效果
基于a、 p和Y的图像处理包括将所述核心乘以y并不是必需的。图20描绘了一种实施方式，其中将a、 (3和Y"缩放"应用于未经修改的核心的去巻积结果。在这种实施方式中，所述图像接口208提供一噪声级估计器信号以及一阴影指示符给缩放1602,其利用a计算逻辑212计算"a"。所述a计算可以类似于图2所描绘的实施方式的方式执行。在这种实施方式中，图像接口208提供了 一阴影指示符信号和一像素索引给缩放1602,其利用(3计算逻辑302计算"(3"。所述(3计算可以类似于图4所描绘的实施方式的方式执行。在这种实施方式中，所述图像接口208提供当前像素的值及其邻居给缩放1602,其利用Y计算逻辑702计算'Y，。所述y计算可根据本文所公 开的任意技术执行。
所述a/p/Y缩放2012输入巻积结果、a、 (3、 Y和正处理的当前像素的 初始值，并输出当前像素的最终结果。在一种实施方式中，当前像素是 信号矩阵的中心像素。在一种实施方式中，所述a缩放1612执行如下 等式24:
在等式24中，ConvRs是巻积结果，InputPixel是正处理的当前像素的 初始值。因而，利用未经修改的核心以及一个或多个其它值，当前像素 的最终处理结果是巻积结果的加权和。那些其它值包括但不限于输入图 像中的初始像素值。在这种实施方式中，所述a、 p和Y参数用作加权(或 缩放)参数。可使用a、 p和y参数的任意组合。
6.0根据实施方式调整核心效果以处理运动才莫糊 6.1纟交正运动一莫糊综述
运动模糊是在图像采集期间由于照相机运动而导致的图像模糊。当 用长的曝光时间采集图像(例如在低光照条件下)时，经常出现运动模 糊。通常，运动模糊的特征在于具有方向性的PSF。例如，水平线意味着 由于摄像机的水平运动而导致的模糊。
补偿运动模糊通常包括确定运动模糊和校正所述经确定的运动模 糊。确定运动模糊包括确定运动的方向、数量和特征，其可用运动矢量 来指定。运动矢量可由陀螺仪测量，由图像本身推断出，从一组图像推 断出，或通过其它方式提取。可将去巻积核心应用于所述图像，从而校 正所述经确定的运动才莫糊。
本文描述了各种图像处理算法，其中应用某些空间图像处理核心的 效果可根据诸如S/N 、镜头阴影轮廓、取决于像素位置的光学象差、以 及当前正处理的像素的位置中图像特征之类的各种因素来调整。在一种 实施方式中，运动模糊亦可在相同IP方框中校正，其中应用了前面提到 的空间图j象处理核心。本文中，空间图^象处理核心可称为用于才交正'^竟头
43PSF，的核心。因而，运动模糊和镜头PSF模糊可同时校正。由于运动模糊 和镜头PSF模糊可塑造为与图像巻积的PSF,因此所述组合的模糊可通过 同时巻积运动模糊PSF和镜头PSF来塑造。因而，在一种实施方式中，可 调整所述去巻积核心来匹配所述组合的运动模糊PSF和镜头PSF。
如果使用，运动矢量可或者从单帧图像中提取，或者从帧序列中提 取。举非限制性的实施例来说，陀螺仪可用于帮助定义运动矢量。在一 种实施方式中，根据运动方向(或几个方向)，运动模糊PSF可从所述运 动矢量中推断出。在一种实施方式中，去巻积反向核心从运动模糊PSF 中计算得出。
然而，并不要求从所述运动矢量中推断出运动模糊PSF。相反地，来 自运动矢量本身的信息可足以校正运动模糊，而不用推断出运动模糊 PSF。替换地，所述运动模糊信息可能已经通过(运动模糊)PSF的形式 给出，其中运动矢量对推断出所述运动模糊PSF并不是必需的。
在一种实施方式中，乂人运动才莫糊PSF或运动矢量中确定去巻积反向核 心。所述去巻积反向核心匹配所述模糊方向和形状，且要锐化所述图像。 在一种实施方式中，所述去巻积核心可乂人一组匹配所述运动才莫糊PSF的可 能方向的核心中来选择。这些去巻积核心保存在存储器中，并包括大量 运动模糊可能性。在一种实施方式中，所选择的核心匹配一PSF,所述PSF 是镜头PSF和沿运动矢量方向的运动模糊PSF的巻积。可利用匹配算法选 择核心。
一旦通过计算或选择确定了所述去巻积核心，可通过将所述图像与 所述去巻积核心巻积来处理所述图像，同时考虑根据如上述章节中提到 的S/N、像素位置、镜头阴影轮廓和图像特征来调整所述去巻积核心。
注意，去巻积核心可处理除了模糊之外的其它光学象差，所述核心 可具有任意期望频率响应。在一种实施方式中，运动模糊校正可集成到 本文所描述的锐化方框114中，而不用增加硅尺寸。例如，用于实施锐化 算法的硬件被用于进行运动模糊校正。因而，与在两个不同的ISP方框中 分别地处理运动模糊和PSF模糊相比，本文公开的技术按照资源(例如， 硅尺寸/门数、处理器周期、功耗、复杂性)来说是相对划算的。
446.2才莫糊点分布函数实施方式
一种实施运动模糊校正的方式是，在预览模式期间，估计运动模糊
的特征并创建匹配的去巻积核心("运动模糊核心")。这种方法在图17 所描绘的实施方式中说明。这种方法通过在预览模式期间比较帧来识别 运动模糊。接着， 一进入采集模式(capture mode),就将运动模糊核心 和其它核心应用于图像。其它核心可用于锐化。在各种实施方式中，所 述a、 (3、和/或Y参数用于修改用其它核心进行处理的效果的强度，如本文 所述。
现在参考预览模式ISP 1710，在方框1725中，基于运动模糊图像1722 来估计模糊PSF 1721。可通过利用本领域技术人员知道的技术分析所述 被采集的图像1722,来估计所述模糊PSF 1721。 一种用于通过分析采集 图像1722来估计模糊PSF 1721的技术包括，使用陀螺仪来供给运动矢量 给照相机。另一种方法包括利用相关性来找到模糊的方向，比较多个相 邻帧，以及基于所述比较提取运动方向。在方框1728中，基于模糊PSF 1721,创建运动模糊去巻积核心。
现在参考采集模式ISP链1720,将所述运动模糊核心提供给对图像执 行其它核心处理的逻辑。在一种实施方式中，所述其它逻辑是数字自动 聚焦方框lll。由于所述巻积运算是相结合的(即，a求(b氺图^f象)-(a求b) *图像)，因此所述来自锐化的巻积核心和运动模糊核心可组合成将应用于 所述图像的一个核心。如果所述锐化未启动，但所述数字自动聚焦方框 111在IP链1720中实施，则所述数字自动聚焦方框lll可单独用作运动模 糊去巻积。
6.3运动平移矢量实施方式
IP链中的所述数字自动聚焦方框lll可用于解决在预览模式或视频 信息流期间摇晃图像的问题。在预览模式或视频信息流中，在相邻帧之 间可能出现空间偏移，这在显示屏上造成"摇晃的"图像。 一种解决该问 题的方式是，沿与从上一帧估计的运动矢量相反的方向将图像平移预定数量。 一旦估计出所述运动矢量，可通过将所述图像与导致沿预期方向 的空间平移的核心巻积，在所述数字自动聚焦方框l 11中实施该平移。
图18描绘了根据实施方式校正运动平移。图像l802a - c中的每幅图像 中的帧1801包括"被浏览"的图像。注意，所述帧正相对于所述三幅图像 1802a-c中描绘的房子移动。所述运动矢量估计逻辑1810在方框1820中根 据当前帧(n)和来自前一帧(n-l)的参数估计运动矢量。例如，从每个 帧中的多个位置中提取特征。接着，当前帧中的特征位置与一个或多个 先前帧中的特征位置相比较，从而计算运动矢量。所述特征的实施例包 括但不限于，边缘或者可在帧和帧之间连续的景色中的其它唯一标记。
基于所述估计运动矢量，在方框1830中计算平移核心。 一种用于从 所述运动矢量中计算平移核心的技术包括采用kronecker-S核心，所述核心 根据早期计算得到的运动矢量而平移。在预览/视频模式ISP 1850中，将 平移核心提供给所述数字自动聚焦方框lll,其中基于所述平移核心和其 它核心来处理帧(n)。其它核心可用于锐化。在各种实施方式中，所述 a、 p、和/或y参数用来修改利用其它核心进行处理的效果的强度，如本文 所述。
6.4 组合锐化及运动模糊核心
如本文所提到的，所述锐化算法可使用其可实施相关的 (implementation-dependent)核心的某一支持尺寸。例如，所述核心可提 供一9x9像素支持。然而，与所述锐化方法一起使用所述反运动模糊 (anti-motion-blur)不必增大所述核心尺寸。通常，当巻积两个核心时-如果一个是M x M尺寸，另 一个是NxN尺寸，则他们的巻积是(M+N画1) x(M+N-l)。为了保持核心尺寸，可改变所述锐化核心的形状，以更接 近地类似及补充所述运动4莫糊核心。同时，注意，所述去模糊核心可具 有不对称的形状。例如，所述去模糊核心可包括矩形、对角线、以及甚 至圆形支持，且不必是正方形支持。该不对称不仅对"简单的"摇晃-路径 (诸如线之类的)，而且对复杂的摇晃-路径(诸如十字形、T、或圓周 路径之类的)提供补偿。8.0石更件综述
8.1 移动i殳备实施例
图13说明了一种示例性移动设备1300的方框图，其中可实施本发明 的实施方式。移动设备1300包括照相机装置1302、照相机及图形接口 1380、以及通信电路1390。照相机装置1370包括照相机镜头1336、图像 传感器1372以及图像处理器1374。包括单一镜头或多个镜头的照相机镜 头1336,采集并聚焦光到图像传感器1372之上。图像传感器1372采集由 通过照相机镜头1336采集并聚焦的光形成的图像。图像传感器1372可能 是任意传统的图像传感器1372,诸如电荷耦合设备(CCD)或互补金属 氧化物半导体(CMOS)图像传感器之类。图像处理器1374处理由图像传 感器1372采集的未处理图像数据，随后保存在存储器1396中，输出到显 示屏1326上，和/或通过通信电路1390传输。所述图像处理器1374可以是 传统的数字信号处理器，其编程来处理图像数据，这在现有技术中是熟 知的。
图像处理器1374经由照相机及图形接口 1380与通信电路1390接口 。 通信电路1390包括天线1392、收发机1394、存储器1396、微处理器1392、 输入/输出电路1394、音频处理电路1396、和用户接口 1397。收发机1394 耦合至接收及传输信号的天线1392。收发机1392是完全功能性的蜂窝式 无线电收发机，其可根据任意已知标准进行操作，包括一般作为全球数 字移动电话系统(GSM) 、 TIA/EIA-136、 cdmaOne、 cdma2000、 UMTS 和宽带CDMA而被知晓的标准。
所述图像处理器1374可利用本文所描述的一种或多种实施方式，处 理由传感器1372获取的图像。所述图像处理器1374可用硬件、软件、或 软件与硬件的某种组合来实施。例如，所述图像处理器1374可作为专用 集成电路(ASIC)的一部分来实施。举另一个例子来说，为了实施本发 明的一种或多种实施方式，所述图像处理器1374可存取保存在计算机可 读介质上的指令，并在处理器上执行那些指令。
微处理器1392根据保存在存储器1396中的程序，控制移动设备1300 的操作，包括收发机1394。微处理器1392可进一步执行本文所公开的图像处理实施方式的部分或全部。处理功能可实施于单个微处理器中，或 者实施在多个微处理器中。适当的微处理器可包括，例如，通用及专用
微处理器和数字信号处理器。存储器1396表示移动通信设备中的全部存 储器层次，并可包括随机存取存储器(RAM)和只读存储器(ROM)。 计算机程序指令和操作所需数据保存在非易失性存储器中，诸如 EPROM、 EEPROM、和/或闪存之类，这些可实施为离散设备、堆设备， 或者可与微处理器1392集成在一起。
输入/输出电路1394经由照相机及图形接口 1380将微处理器1392与 照相机设备1370的图像处理器1374相接口 。根据现有技术中已知的任意 方法，照相机及图形接口 1380亦可将图像处理器1374与用户接口 1397相 接口。另外，输入/输出电路1394与微处理器1392、收发机1394、音频 处理电路1396、及通信电路1390的用户接口 1397相接口。用户接口1397 包括显示屏1326、扬声器1328、麦克风1338以及键区1340。布置在显示 区域背面的显示屏1326允许操作者能看见拨号数字、图像、呼叫状态、 菜单选项以及其他业务信息。键区1340包括一字母数字小键盘，并可选 地包括一导航控制，诸如现有技术中所熟知的操纵杆控制(未示出)之 类的。进一步地，键区1340可包括诸如掌机或只能电话上所使用的那些 之类的完全QWERTY键盘。键区1340允许操作者拨号、输入命令以及选 择选项。
麦克风1338将用户声音转换成电子音频信号。音频处理电路1396从 麦克风1338中接受模拟音频输入，处理这些信号，以及经由输入/输出1394 提供这些经处理的信号给收发机1394。收发机1394接收的音频信号由音 频处理电路1396来处理。将由音频处理电路1396处理产生的基本模拟输 入信号提供给扬声器1328。扬声器1328接着讲所述模拟音频信号转换成 可被用户听到的声音信号。
本领域技术人员赞同可组合图13中示出的 一个或多个元件。例如， 当所述照相机及图形接口 1380被作为图13中的分离组件示出时，要理解 照相机机及图形接口 1380可与输入/输出电路1394合并。进一步地，微
48路1396、图像处理器1374、 和/或存储器1396可合并成一特别设计的特定用途集成电路(ASIC )1391。
8.2计算机系统实施例
图14是一幅说明了其上可实施本发明的一种或多种实施方式的计算 机系统1400的方框图。计算机系统1400包括用于通讯信息的总线1402或 其它通信机制，以及与总线1402耦合以处理信息的处理器1404。计算机 系统1400亦包括诸如随机存取存储器(RAM)或其它动态存储器设备之类 的主存1406,其耦合至总线1402以保存信息和要由处理器1404执行的指 令。主存1406亦可用于在执行要由处理器1404执行的指令期间保存临时 变量或其它中间信息。计算机系统1400进一步包括只读存储器(ROM) 1408或耦合至总线1402的其它静态存储器设备，以保存静态信息和用于 处理器1404的指令。诸如磁盘或光盘之类的存储设备1410被提供及耦合 至总线1402，以保存信息和指令。
计算机系统1400可经由总线1402耦合至诸如阴极射线管(CRT)之 类的显示屏1412,以显示信息给计算机用户。输入设备1414，包括字母 数字及其它键，耦合至总线1402,以将信息和命令选择传达给处理器 1404。另一种类型的用户输入设备是光标控制1416,诸如鼠标、追踪球 或光标方向4定之类，以将方向信息和命令选择传达给处理器1404,以及 在显示屏1412上控制光标移动。该输入设备典型地在两个轴上具有自由 度，第一轴(例如，X)和第二轴(例如，Y)，允许该设备在平面上指 定位置。计算机系统1400可进一步包括诸如麦克风或照相机之类的音频/ 视频输入设备1415，以供给可听见的声音、静态图像或动态视频，其中 任意一种都可利用上述实施方式来处理。
可实施本文公开的各种处理技术，从而在计算机系统1400上处理数 据。根据本发明的一种实施方式，响应于处理器1404执行包括在主存1406 中的一条或多条指令的一个或多个序列，那些技术由计算机系统1400执 行。这些指令可从诸如存储设备1410之类的另一机器可读介质中读入主 存1406中。执行包括在主存1406中的指令序列使处理器1404执行本文所描述的过程步骤。在可替代的实施方式中，硬布线电路可用于替换或结 合软件指令来实施本发明。因而，本发明的实施方式不限于硬件电路和 软件的任意特定组合。
这里使用的术语"机器可读介质"指任意参与提供使机器按特定方式
操作的数据的介质。在利用计算机系统1400实施的实施方式中，例如包 括各种机器可读介质，以提供指令给处理器1401执行。这样的介质可采 用许多形式，包括但不限于存储介质和传输介质。存储介质包括非易失 性介质和易失性介质。非易失性介质包括例如诸如存储设备1410之类的 光盘或磁盘。易失性介质包括诸如主存1406之类的动态存储器。传输介 质包括同轴电缆、铜线和光纤，包括包含总线1402的线。传输介质亦可 采用声波或光波的形式，诸如在无线电波和红外数据通信器件产生的那 些之类的声波或光波。所有这样的介质必须是有形的，使所述由介质携 带的指令能被一种将指令读入机器的物理机制所检测。
机器可读介质的通常形式包括，例如，软盘、软磁盘、硬盘、磁带、 或任意其它磁介质、CD-ROM、任意其它光介质、穿孔卡、纸带、任意 其它具有孔的图案的物理介质、RAM、 PROM、 EPROM、 FLASH -EPROM、任意其它存储器片或盒式磁带、之后描述的载波、或任意其它 计算机可读取的介质。
各种形式的机器可读介质可涉及携带一条或多条指令的一个或多个 序列到处理器1404中执行。例如，所述指令可初始地携带在远程计算机 的磁盘上。所述远程计算机可将所述指令载入其动态存储器中，并利用 调制解调器在电话线上发送所述指令。计算机系统1400本地的调制解调 器可在电话线上接收数据，并使用红外发射机将所述数据转换成红外信 号。红外检测器可接收红外线信号所携带的数据，适当的电路可将所述 数据置于总线1402上。总线1402将数据携带到主存1406中，处理器1404 可从中查找及执行指令。在处理器1404执行之前或执行之后，所述由主 存1406接收的指令可选地保存在存储设备1410上。
计算机系统1400亦包括耦合至总线1402的通信接口 。通信接口 1418提供一耦合至网络链路1420的两路数据通信，所述网络链路1420连接至局域网1422。例如，通信接口1418可能是一综合服务数字网(ISDN) 卡或一调制解调器，以提供数据通信连接给对应类型的电话线。举另一 个例子来说，通信接口1418可能是一局域网(LAN)卡，以提供数据通 信连接给兼容的LAN。亦可实施无线链路。在任意这样的实施中，通信 接口 1418发送及接收携带表示各种类型的信息的数字数据流的电子、电 磁或光信号。
网络链路1420典型地通过一个或多个网络提供数据通信给其它数据 设备。例如，网络链路1420可通过局域网1422提供链接给主机1424或由 因特网服务提供商(ISP) 1426操作的数据设备。ISP 1426依次通过万维 分组数据通信网络-提供数据通信业务，所述万维分组数据通信网络现在 一般称为"Internet"1428。局域网1422和Internet 1428均使用携带数字数据 流的电子、电磁或光信号。通过各种网络的信号和网络链路1420上及通 过通信接口1418的信号，是载波传输信息的示例性形式，所述信号携带 数字数据往返于计算机系统1400 。
计算机系统1400可通过网络、网络链路1420和通信接口 1418发送消 息和接收数据，包括程序代码。在Internet实施例中，服务器1430可通过 Internet 1428、 ISP 1426、局域网1422和通信接口 1418,传送应用程序的 请求码。
当所接收的代码被接收、和/或保存在存储装置1410、或其它非易失 性存储以进行后续执行时，其可由处理器1404执行。按照这种方式，计 算机系统1400可获得载波形式的应用程序代码。
由本文所述的程序代码的实施方式处理的数据，可从各种来源获得， 包括^旦不限于A/V输入设备1415、存储装置1410和通信接口 1418。
5权利要求
1.一种处理信号的方法，所述方法包括步骤对于多个信号矩阵中的每个信号矩阵，其中每个信号矩阵均包含描述信号不同部分的元基于核心矩阵期望在所述信号矩阵上产生的效果的大小，调整由于基于所述核心矩阵处理信号而取得的效果的大小。
2. 根据权利要求1所述的方法，其中所述基于核心矩阵期望在所述 信号矩阵上产生的效果的大小，调整由于基于所述核心矩阵处理信号而取得的效果的大小包括为所述信号矩阵产生经修改的核心矩阵；以及将所述经修改的核心矩阵应用于所述信号矩阵，以确定所述信号矩 阵的第一元的新值。
3. 根据权利要求1所述的方法，其中所述基于核心矩阵期望在所述 信号矩阵上产生的效果的大小，调整由于基于所述核心矩阵处理信号而 取得的效果的大小包括将所述核心矩阵应用于所述信号矩阵，以产生一中间像素值；以及 确定所述中间像素值与所述信号矩阵的第 一元的加权平均。
4. 根据权利要求1所述的方法，其中应用所述核心矩阵的效果增强 了信号中的图像对比度。
5. 根据权利要求1所述的方法，其中应用所述核心矩阵的效果对信 号中的图像执行去噪。
6. 根据权利要求1所述的方法，进一步包括基于与所述信号相关 联的信噪水平，确定所述核心矩阵期望在信号矩阵上产生的效果的大小。
7. 根据权利要求1所述的方法，进一步包括基于用来釆集由信号 矩阵描述的信号的镜头的属性，确定所述核心矩阵期望在信号矩阵上产 生的效果的大小。
8. 根据权利要求1所述的方法，进一步包括基于信号矩阵中的数 据特征，确定所述核心矩阵期望在信号矩阵上产生的效果的大小。
9. 根据权利要求1所述的方法，其中确定所述核心矩阵期望在信号 矩阵上产生的效果的大小M于图像传感器内像素的位置的。
10. 根据权利要求1所述的方法，进一步包括在基于所述核心矩阵 处理所述信号矩阵之前，根据所述图像数据的运动模糊特征来修改所述 核心矩阵。
11. 一种装置，包括 镜头；图像采集设备，光学耦合至所述镜头，其中所述图像采集设备采集 图Y象；以及配置成基于核心矩阵处理图像的逻辑，其中所述逻辑可操作来对于多个信号矩阵中的每个信号矩阵，其中每个信号矩阵均包含描述信号不同部分的元基于核心矩阵期望在所述信号矩阵上产生的效果的大小， 调整由于基于所述核心矩阵处理信号而取得的效果的大小。
12. 根据权利要求11所述的装置，其中可操作来调整由于基于核心 矩阵处理所述信号矩阵而取得的效果的大小的所述逻辑，可操作来为所述信号矩阵产生经修改的核心矩阵；以及 将所述经修改的核心矩阵应用于所述信号矩阵，以确定所述信号矩 阵的第一元的新值。
13. 根据权利要求11所述的装置，其中可操作来调整由于基于核心 矩阵处理所述信号矩阵而取得的效果的大小的所述逻辑，可操作来将所述核心矩阵应用于所述信号矩阵，以产生一中间像素值；以及 确定所述中间像素值与所述信号矩阵的第 一元的加权平均。
14. 根据权利要求11所述的装置，其中应用所述核心矩阵的效果增 强了信号中的图像对比度。
15. 根据权利要求11所述的装置，其中应用所述核心矩阵的效果对 信号中的图像执行去噪。 .
16. 根据权利要求11所述的装置，其中所述核心矩阵期望在信号矩 阵上产生的效果的大小是基于与所述信号相关联的信噪比的。
17. 根据权利要求16所述的装置，其中所述核心矩阵期望在信号矩 阵上产生的效果的大小进一步是基于用来采集由信号矩阵描述的信号的 镜头的属性的。
18. 据权利要求17所述的装置，其中所述核心矩阵期望在信号矩阵 上产生的效果的大小进一步是基于所述信号矩阵中元的特征的。
19. 根据权利要求16所述的装置，其中所述核心矩阵期望在信号矩 阵上产生的效果的大小进一步是基于所述信号矩阵中元的特征的。
20. 根据权利要求11所述的装置，其中所述核心矩阵期望在信号矩 阵上产生的效果的大小是基于用来采集由信号矩阵描述的信号的镜头的 属性的。1
21. 根据权利要求11所述的装置，其中所述核心矩阵期望在信号矩 阵上产生的效果的大小是基于所述信号矩阵中元的特征的。
22. 根据权利要求11所述的装置，其中所述逻辑进一步可操作来 基于所述信号矩阵中元的特征，确定所述核心矩阵期望在信号矩阵上产 生的效果的大小。
23. 根据权利要求22所述的装置，其中所述逻辑进一步可操作来计 算度量，所述度量用来确定所述核心矩阵期望在信号矩阵上产生的效果 的大小。
24. 根据权利要求23所述的装置，其中所述逻辑进一步可操作来 基于信号矩阵的元的值之间的差值，确定度量。
25. 根据权利要求24所述的装置，其中所述逻辑进一步可操作来 基于信号矩阵的元之间的标准偏差，确定度量。
26. 根据权利要求23所述的装置，其中所述逻辑进一步可操作来 基于信号矩阵的元值的直方图，确定度量。
27. 根据权利要求23所述的装置，其中所述逻辑进一步可操作来 通过将边缘检测掩膜应用于所述信号矩阵，确定度量。
28. 根据权利要求23所述的装置，其中所述逻辑进一步可操作来 基于信号矩阵中值的熵，确定度量。
29. 根据权利要求11所述的装置，其中所述逻辑进一步可操作来 在基于所述核心矩阵处理所述信号矩阵之前，根据所述图像数据的运动 模糊特征，修改所述核心矩阵。
30. —种装置，包括 镜头；图像釆集设备，光学耦合至所述镜头，其中所述图像采集设备从所 述镜头采集图像；以及逻辑，所述逻辑配置成同时处理图像数据以既校正由于所述镜头而 产生的光学象差又校正运动模糊。
31. 根据权利要求30所述的装置，其中为了校正所述光学象差，所 述逻辑配置成基于图像的信噪比，调整所述图像数据的锐化量。
32. 根据权利要求30所述的装置，其中为了校正所述光学象差，所 述逻辑配置成基于所述镜头的镜头阴影轮廓，调整所述图像数据的锐 化量。
33. 根据权利要求30所述的装置，其中为了校正所述光学象差，所 述逻辑配置成基于图像数据的局部特征，调整所述图像数据的锐化量。
34. 根据权利要求30所述的装置，其中配置成处理所述图像数据的 所述逻辑被配置成基于由于所述装置的运动而导致的估计象差点分布 函数，校正所述运动模糊。
35. 根据权利要求30所述的装置，其中配置成处理所述图像数据的 所述逻辑被配置成基于在所述图像的多个帧之间检测到的估计图像平 移，4交正所述运动一莫糊。
36. 根据权利要求23所述的装置，其中所述逻辑进一步可操作来 基于多个增益函数，确定度量。
37. 根据权利要求36所述的装置，其中基于图像窗口中光数量的局 部估计，将所述多个增益函数应用于所述度量。
38. 根据权利要求37所述的装置，其中基于图像窗口中光数量的局 部估计，对所述多个增益函数加权。
39.根据权利要求23所述的装置，其中所述逻辑进一步可操作来基于应用于所述信号矩阵的距离计算，确定度量。
全文摘要
本发明公开了一种用于调整将核心应用于信号的效果的方法及装置。所述调整可基于核心矩阵期望在所述信号矩阵上产生的效果的大小。所述调整可基于多种因素，包括但不限于信号数据的信噪比、用来采集信号数据的设备(例如，镜头)的属性、或者基于分析所述信号数据而导出的度量。根据本发明实施方式处理图像数据目的在于，恢复可能由于用来采集图像数据的光学器件的属性而损失的对比度。
文档编号G06T5/00GK101669142SQ200880013422
公开日2010年3月10日 申请日期2008年4月24日 优先权日2007年4月24日
发明者加尔·沙巴塔, 埃弗拉伊姆·戈尔登贝格, 诺伊·科恩, 达维德·瓦拉, 达维德·门德尔欧维奇 申请人:泰塞拉技术匈牙利有限公司