用于过滤图像信息的自适应图像过滤器的制作方法

专利名称：用于过滤图像信息的自适应图像过滤器的制作方法
技术领域：
本揭示案涉及图像捕获装置，且更具体地说，涉及在图像捕获装置内过滤图像信息。
背景技术：
由图像捕获装置(例如，数字摄像机或数字照相机)捕获的图像信息易于由于图像 传感器的物理限制、来自照明源的干扰等等而受到损坏或噪声。随着对较小图像捕获装 置的需求的增加，产生了对更紧凑的图像传感器模块的需求。图像传感器模块的大小的 减少导致了在图像信息内所捕获的噪声量的显著增加。
图像信息过滤是用于移除此损坏和噪声且改进所呈现图像的质量的常见方法。对捕 获的图像信息应用低通过滤减少了图像中噪声的量，但也易于由于破坏含有高频信号的 锐利边缘而使图像模糊。对捕获的图像数据应用高通过滤增强了锐利边缘和对比度，但 不可避免地也增强了噪声。

发明内容
本揭示案描述自适应过滤技术，其用于改进所捕获像片(例如视频或静止图像)的 质量。具体来说，本揭示案描述依据周围像素组来过滤每一像素的自适应过滤技术。举 例来说，自适应图像过滤器可将与感兴趣像素相关联的图像信息和与周围像素组相关联 的图像信息进行比较。所述自适应图像过滤器计算与所述感兴趣像素相关联的图像信息 和与所述周围像素中的每一者相关联的图像信息之间的差异。举例来说，所述自适应图 像过滤器可从所述感兴趣像素的强度值减去所述周围像素中的每一者的强度值以获得差 异值。
自适应图像过滤器依据所述经计算差异来过滤感兴趣像素的图像信息。自适应图像 过滤器可(例如)通过以下方式来计算过滤器的低通分量和高通分量将所述经计算差 异中的每一者与低通和高通阈值进行比较，且计算满足阈值要求的经计算差异的和。所 述自适应图像过滤器接着通过基于原始像素值、过滤器的低通分量和过滤器的高通分量 而计算新的像素值来过滤与感兴趣像素相关联的图像信息。
自适应图像过滤器可以此方式过滤图像的每一像素。因此，图像过滤器逐个像素地 调整图像信息，使得依据每一像素的周围像素来过滤每一像素。因此，自适应图像过滤
器的低通分量和高通分量基于与感兴趣像素相关联的图像信息和与周围像素组相关联的 图像信息之间的比较而对于每一像素自适应地改变。
在一个实施例中，本揭示案提供一种方法，其包含计算与感兴趣像素相关联的图 像信息和与所述感兴趣像素周围的像素相关联的图像信息之间的差异；依据所述经计算 差异来确定过滤器的低通分量和高通分量；以及将所述过滤器应用到与所述感兴趣像素 相关联的图像信息。
在另一实施例中，本揭示案提供一种装置，其包含图像传感器阵列，其捕获图像 信息，其中所述图像传感器阵列包括捕获与多个像素相关联的图像信息的多个图像传感 器；以及自适应图像过滤器，其计算与感兴趣像素相关联的图像信息和与所述感兴趣像 素周围的像素相关联的图像信息之间的差异，依据所述经计算的差异来确定过滤器的低 通分量和高通分量，且将所述过滤器应用到与所述感兴趣像素相关联的所述图像信息。
在额外实施例中，本揭示案提供一种方法，其包含捕获多个像素的图像信息，其 中与所述像素中的每一者相关联的所述图像信息代表多个颜色中的一者；从所述多个像 素选择感兴趣像素和周围像素组，其中与所述周围像素组和所述感兴趣像素相关联的所 述图像信息代表相同的颜色；计算与所述感兴趣像素相关联的图像信息和与所述组的周 围像素中的每一者相关联的图像信息之间的差异；以及依据所述经计算差异来过滤与所 述感兴趣像素相关联的所述图像信息。
在另一实施例中，本揭示案提供一种装置，其包含图像传感器阵列，其具有捕获 与多个像素相关联的图像信息的多个图像传感器，其中与所述像素中的每一者相关联的 所述图像信息代表多种颜色中的一者；以及自适应图像过滤器，其从所述多个像素选择 感兴趣像素和周围像素组，计算与所述感兴趣像素相关联的图像信息和与所述组的周围 像素的每一者相关联的图像信息之间的差异，以及依据所述经计算的差异来过滤与所述 感兴趣像素相关联的所述图像信息，其中与所述周围像素组和所述感兴趣像素相关联的 所述图像信息代表相同颜色。
在另一实施例中，本揭示案提供一种计算机可读媒体，其包含用以使处理器进行以 下动作的指令计算与感兴趣像素相关联的图像信息和与所述感兴趣像素周围的像素相 关联的图像信息之间的差异；依据所述经计算的差异来确定过滤器的低通分量和高通分 量；以及将所述过滤器应用到与所述感兴趣像素相关联的所述图像信息。
在附图和以下描述中陈述本揭示案的一个或一个以上实施例的细节。本揭示案的其 它特征、目的和优势将从描述和附图以及从权利要求书显而易见。


图1是说明用于捕获图像信息的示范性图像捕获装置的框图。
图2是更详细说明图1的图像捕获装置的框图。
图3是对于图1的图像捕获装置有用的自适应图像过滤器的框图。
图4是说明用于依据周围像素而过滤感兴趣像素的技术的流程图。
图5A和5B是说明用于依据周围像素而过滤感兴趣像素的示范性过滤技术的示意图。
具体实施例方式
图1是说明用于捕获图像信息的示范性图像捕获装置10的框图。如图1中所示，图 像捕获装置IO包括图像传感器阵列12、自适应图像过滤器14、图像处理器16和图像存 储装置18。图l所说明的特征可通过硬件和/或软件组件的任何适合组合来实现。将不同 特征描述为单元是为了强调图像捕获装置IO的不同功能方面，且不必暗示此些单元必须 通过独立的硬件和/或软件组件来实现。相反，与一个或一个以上单元相关联的功能性可 集成在共同硬件和/或软件组件内。
图像捕获装置IO可以是数字相机，例如数字摄像机、数字照相机或两者的组合。另 外，图像捕获装置IO可以是例如独立式相机的独立式装置或者集成在例如无线通信装置 的另一装置中。作为实例，图像捕获装置IO可集成在移动电话中以形成所谓的相机电话 或视频电话。图像捕获装置IO经优选地装配以捕获彩色像片、黑白像片或两者。在本揭 示案中，术语"图像"、"像片"、"图像信息"或类似术语可交换地指代视频或静止图片。
图像传感器阵列12获取相关场景的图像信息。图像传感器阵列12包括个别图像传 感器的二维阵列，例如布置在行和列中。图像传感器阵列12的每一图像传感器可与单个 像素相关联。换句话说，在图像传感器与像素之间可存在一对一对应。然而在一些实施 例中，可存在一个以上图像传感器与每一像素相关联。图像传感器阵列12可包含(例如) 固态传感器阵列，例如互补金属氧化物半导体(CMOS)传感器、电荷耦合装置(CCD) 传感器或类似物。
图像传感器阵列12也可包括彩色滤光片的二维阵列，其覆盖图像传感器阵列12以 分离出相关场景的彩色分量。图像传感器阵列12可包含例如以拜尔(Bayer)模式布置 的红色、绿色和蓝色滤光片的阵列，即交替红色和绿色彩色滤光片的交替行的彩色滤光 片的重复布置(参见图5A和5B)。图像传感器阵列12可利用其它彩色滤光片，例如CMYK 彩色滤光片。另外，图像传感器阵列12可将彩色滤光片布置成除了拜尔模式以外的模式
中。
图像传感器阵列12内的图像传感器暴露到图像场景以捕获图像信息。阵列12的每 一图像传感器可(例如)捕获表示场景的光的强度的强度值。传感器阵列12的每一图像 传感器由于覆盖传感器的彩色滤光片而可仅对一种颜色敏感。因此，传感器阵列12的每 一图像传感器捕获三种颜色中仅一种的图像信息(例如，强度值)。在上述拜尔模式的情 况下，图像传感器的一半捕获表示颜色绿色的图像信息，图像传感器的四分之一捕获表 示颜色蓝色的图像信息，且图像传感器的四分之一捕获表示颜色红色的图像信息。因此， 与每一像素相关联的图像信息仅表示色谱的部分。在本揭示案中，术语"拜尔格式"数 据指代仅表示单个颜色的图像信息。
自适应图像过滤器14过滤由图像传感器阵列12捕获的图像信息。自适应图像过滤 器14依据与周围像素相关联的图像信息来过滤与每一像素相关联的图像信息。更具体地 说，自适应图像过滤器14将与感兴趣像素相关联的图像信息和与周围像素组相关联的图 像信息进行比较，且依据此比较而过滤感兴趣像素的图像信息。自适应图像过滤器14可 (例如)包括低通分量和高通分量，其可依据与感兴趣像素相关联的图像信息和与所述周 围像素组相关联的图像信息之间的比较而进行调整。以此方式，自适应图像过滤器14可 同时平滑噪声且增强图像。
自适应图像过滤器14逐个像素地过滤图像信息，基于与感兴趣像素相关联的图像信 息和与所述周围像素组相关联的图像信息之间的比较而对于每一像素自适应地改变。因 此，应用于相关第一像素的图像信息的过滤器可不同于应用于相关第二像素的图像信息 的过滤器。
自适应图像过滤器14可过滤仅表示单个颜色(即，拜尔格式数据)的图像信息。换 句话说，自适应图像过滤器14可依据利用相同彩色滤光片的周围图像传感器所捕获的图 像信息而过滤每一图像传感器所捕获的图像信息。举例来说，自适应过滤器14依据利用 蓝色滤光片的周围图像传感器而过滤也利用蓝色滤光片的图像传感器所捕获的图像信 息。或者，自适应图像过滤器14可在将图像信息内插到RGB (红色、绿色、蓝色)域 或从RGB域转换到YCbCr (亮度、蓝色色度、红色色度)域之后过滤图像信息。
图像处理器16接收来自自适应图像过滤器14的过滤图像信息，且对过滤图像信息 执行任何必须处理。图像处理器16可(例如)对图像传感器阵列12所捕获的图像信息 执行裁剪、压縮、图像增强或其它处理。图像处理器16可通过微处理器、数字信号处理 器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或任何其它等效离散或集
成逻辑电路来实现。在一些实施例中，图像处理器16可形成编码器一解码器(CODEC) 的部分，其根据特定编码技术或格式(例如，MPEG-2、 MFEG-4、 ITU H.263、 ITU H.264、 JPEG等等)来对图像信息进行编码。
图像处理器16将图像信息存储在图像存储装置18中。图像处理器16可将原始图像 信息、经处理图像信息或经编码信息存储在图像存储装置18中。如果图像信息伴有音频 信息，那么音频也可独立地或结合视频信息而存储在图像存储装置18中。图像存储装置 18可包含任何易失性或非易失性存储器或存储装置，例如只读存储器(ROM)、电可擦 除可编程只读存储器(EEPROM)或快闪(FLASH)存储器，或者例如磁性数据存储装 置或光学数据存储装置。
图2是更详细说明图像捕获装置10的框图。图像捕获装置IO将自适应图像过滤器 14并入视频前端(VFE) 22中，VFE22对来自图像传感器阵列12的原始图像信息执行 图像处理操作。如图2中所说明，VFE22包括缺陷像素校正单元24、自适应图像过滤器 14和解马赛克(demosaic)单元26。缺陷像素校正单元24校正与一个或一个以上缺陷 像素相关联的图像信息。换句话说，缺陷像素校正单元24校正一个或一个以上缺陷图像 传感器所捕获的图像信息。
缺陷像素校正单元24可(例如)校正图像传感器所捕获的图像信息，其锁定在黑暗 或明亮强度级。缺陷像素校正单元24缓冲图像传感器阵列12所捕获的图像信息，识别 与缺陷像素相关联的图像信息，且校正与缺陷像素相关联的图像信息。缺陷像素校正单 元24可(例如)依据与周围像素相关联的图像信息而使用所内插的图像信息来替换与缺 陷像素相关联的经缓冲的图像信息。
自适应图像过滤器14使用缺陷像素校正单元24所缓冲的图像信息来依据与周围像 素相关联的图像信息来过滤与每一像素相关联的图像信息。通过使用缺陷像素校正单元 24所缓冲的图像信息，自适应图像过滤器14减少缓冲图像信息所需要的存储器的量。
解马赛克单元26为每一像素内插遗失的颜色值。如上所述，阵列12的每一图像传 感器捕获仅代表单个颜色的图像信息。换句话说，与每一像素相关联的图像信息仅包括 单个颜色分量；红色、绿色或蓝色中的任一者。解马赛克单元26为像素中的每一者内插 遗失的颜色值。举例来说，解马赛克单元26为红色像素内插蓝色和绿色分量。与每一像 素相关联的图像信息在由解马赛克单元26处理之后包括每一颜色分量的值。以此方式， 解马赛克单元26将拜尔格式数据转换为RGB域。解马赛克单元26可使用周围像素所捕 获的图像信息来为每一像素内插遗失的颜色值。解马赛克单元26可使用任何内插方法，
例如最近邻、线性、三次、三次样条等等。
图2中所说明的实施例仅用于示范性目的。自适应图像过滤器14无需驻留在VFE 22 中，而是可驻留在图像捕获装置10内的其它地方。如上所述，自适应图像过滤器14可 在由解马赛克单元24内插到RGB域后或者甚至在从RGB域转换到YCbCr域之后过滤 图像信息。
图3是更详细说明自适应图像过滤器14的框图。将不同特征描述为单元是为了强调 自适应图像过滤器14的不同功能方面，且不必暗示此些单元必须通过独立的硬件和/或 软件组件来实现。相反，与一个或一个以上单元相关联的功能性可集成在共同硬件和/或 软件组件内。
如上所述，自适应图像过滤器14将与感兴趣像素相关联的图像信息和与周围像素组 相关联的图像信息进行比较，且依据此比较而过滤感兴趣像素的图像信息。在一个实施 例中，自适应图像过滤器14根据以下方程式而过滤相关的每一像素
Z (L—n- )) Z ( _ Lj—"》 义(!.，力'= ，^——^-+ ——^-十4!W) (1)
其中W，力'是经过滤的像素值，W,力是未经过滤的感兴趣像素值，,和w,/是归一化
因子，巧是与位置(i， j)处的像素相关联的图像信息的值，w和"是周围像素的位置值，
且
= 1 如果a^(;C,.mj—n-;C,;;) <烁遞錄^t =0 如果fl&(JC,.,:n-;C,;y) ^烁邀/萄^
SV,j.= 1 如果fl^Oc,,.,"-;^) > /^"遞廯澄
=0如果"Zw(;c,.w.n-;c,;/) ^y^"if錄澄
其中低通阈值是适用于低通过滤组件的阈值，且高通阈值是适用于高通过滤组件的 阈信。
可简化上述方程式(1)以在硬件中实施
<formula>formula see original document page 14</formula>
其中x"',力'是经过滤的像素值，x"力是未经过滤的感兴趣像素值，&
控制边缘增强度的可调整参数，且
Si.,j. = 1 如果 <formula>formula see original document page 14</formula> <低通阈值
=0 如果a^(x,—m, 低通阈值5Vj'= 1 如果a&s(x,—m,, -&) > /^"遞/if澄
=0 如果a&(x,—m, S庸遞/if澄是用以
图3的自适应图像过滤器14说明根据方程式(1)过滤像素的一个示范性实施例。 自适应图像过滤器14选择相关的像素且识别周围像素组。自适应图像过滤器14获得与 感兴趣像素相关联的图像信息以及与所述周围像素组相关联的图像信息。自适应图像过 滤器14可获得来自用于缺陷像素校正的像素缓冲器的图像信息。或者，自适应图像过滤 器14可获得来自图像存储装置18的图像信息。自适应图像过滤器14可获得拜尔格式、 RGB域、YCbCr域或其它颜色域或格式的图像信息。然而，为了示范性目的，将关于拜 尔格式数据来讨论图3。因此，与周围像素相关联的图像信息是由使用相同彩色滤光片 的图像传感器获得的图像信息。通常，图像信息可能是强度值。
如上所述，自适应图像过滤器14将与感兴趣像素相关联的图像信息和与所述周围像 素组相关联的图像信息进行比较，且依据此比较而过滤感兴趣像素的图像信息。具体地 说，自适应图像过滤器14计算感兴趣像素与所述组的周围像素的每一者的图像信息之间 的差异(30)。举例来说，对于每一周围像素，自适应图像过滤器14从感兴趣像素(在 图3标记为"IN—PIXEL")的强度值减去周围像素(在图3标记为"SRND—PIXEL")的 强度值以获得差异(在图3标记为"DIFF")。在拜尔格式数据己转换为RGB域或YCbCr 域的情况下，自适应图像过滤器14可使用图像信息的其它分量来计算差异。举例来说， 在YCbCr的情况下，自适应图像过滤器14可通过比较像素的Y亮度值来计算差异。
自适应图像过滤器14依据所计算差异来确定过滤器的低通分量和高通分量。举例来 说，自适应图像过滤器14可将所计算差异的绝对值和与自适应图像过滤器14的高通与 低通分量相关联的阈值进行比较。具体地说，低通过滤比较器32 (在图3标记为"LPF 比较器32")将所计算差异中的每一者的绝对值与低通阈值进行比较。低通阈值是取决
于设计者或客户以及应用所选择的图像质量需求的可编程值。如果所计算差异的绝对值 低于低通阈值，那么低通过滤差异累加器34 (在图3标记为"LPFDIFF累加器34")将 差异值增加所计算差异的值。以此方式，低通过滤差异累加器34计算低于低通阈值的所 计算差异的和，以确定与低通分量相关联的差异值(在图3标记为"LPF—DIFF")。
同样地，高通过滤比较器36 (在图3标记为"HPF比较器36")将所计算差异中的 每一者的绝对值与高通阈值进行比较。如果所计算差异的绝对值高于高通阈值，那么高 通过滤差异累加器38 (在图3标记为"HPFDIFF累加器38")将差异值增加所计算差异 的值。以此方式，高通过滤差异累加器38计算高于高通阈值的所计算差异的和，以确定 与高通分量相关联的差异值(在图3标记为"HPF—DIFF")。
与低通分量相关联的差异值(LPF—DIFF)和与高通分量相关联的差异值(HPF—DIFF) 乘以平移因子。如图3中所说明，自适应图像过滤器14将LPF—DIFF乘以(40) 1/(2ALPF—SHIFT)且将HPF—DIFF乘以(42) 1/(2AHPF—SHIPT)。 LPF—DIFF和HPF—DIFF 是依据使用图像捕获装置IO的应用以及设计者或客户对图像质量的偏好的可编程值。偏 好较锐利图像的设计者或客户(例如)可将LPF—SHIFT的值设置为较大的值，因此导致 过滤器的较小的低通分量。LPF—SHIFT和HPF一SHIFT的值可在图像之间不同。可(例 如)基于图像纹理信息来确定LPF—SHIFT和HPF—SHIFT。因此，对于具有干净平滑纹 理的图像信息，可将LPF—SHIFT设置为较小的值。或者，图像捕获装置10的操作者可 通过(例如)调整图像捕获装置10上的图像对比度设定来调整LPF_SHIFT和HPF—SHIFT 的值。
自适应图像过滤器14包括延迟缓冲器40，其在感兴趣像素的图像信息与周围像素 的图像信息进行比较时延迟与感兴趣像素相关联的图像信息。换句话说，在自适应图像 过滤器14计算感兴趣像素与周围像素的图像信息之间的差异，且确定低通和高通分量的 同时，延迟缓冲器40延迟IN—PIXEL。作为实例，在所述周围像素组是周围像素的3X3 矩阵的情况下，在自适应图像过滤器14将感兴趣像素的图像信息和与八个周围像素相关 联的图像信息进行比较的同时，延迟缓冲器40可延迟与感兴趣像素相关联的图像信息。
自适应图像过滤器14依据低通和高通分量计算感兴趣像素的经过滤的像素值(在图 3标记为"OUT一PIXEL")。具体地说，自适应图像过滤器14通过将感兴趣像素的原始图 像信息加上(46)低通分量且从感兴趣像素的原始图像信息减去(46)高通分量来过滤 与感兴趣像素相关联的图像信息。因此，在图3所说明的实例中，根据以下方程式来计 算经过滤的像素值OUT—PIXEL = IN—PIXEL + (LPF—DIFF / (2aLPF一SHIFT)) - (HPF—DIFF/(2AHPF_SHIFr))，
其中IN一PIXEL是与感兴趣像素相关联的图像信息的原始值，LPF—DIFF是小于低通 阈值的差异的累加值，HPF—DIFF是大于高通阈值的差异的累加值，且LPF—SHIFT和 HPF一SHIFT是可编程值。
图4是说明图1的自适应图像过滤器14依据周围像素来过滤感兴趣像素的示范性操 作的流程图。最初，自适应图像过滤器14选择感兴趣像素且获得与感兴趣像素相关联的 图像信息(50)。自适应图像过滤器14可(例如)获得来自用于缺陷像素校正的像素缓 冲器的图像信息。或者，自适应图像过滤器14可获得来自图像存储装置18的图像信息。
自适应图像过滤器14识别周围像素组且获得与周围像素相关联的图像信息(52)。 自适应图像过滤器14可再次获得来自缺陷像素校正单元24所使用的经缓冲像素的、来 自图像存储装置18的或来自一些其它位置的图像信息。在一个实施例中，图像信息与利 用相同彩色滤光片的像素相关联。自适应图像过滤器14计算与感兴趣像素相关联的图像 信息和与选定周围像素相关联的图像信息之间的差异(54)。如上文详细描述，自适应图 像过滤器14可通过将两个像素的强度值相减来计算差异。
自适应图像过滤器14将所计算差异与低通阈值进行比较(56)。如果所计算差异低 于低通阈值，那么自适应图像过滤器14将差异累加值(例如，图3的LPF—DIFF)增加 差异值(58)。如果所计算差异高于或等于低通闳值，那么自适应图像过滤器14将所计 算梯度与高通阈值进行比较(60)。如果所计算阈值高于高通阈值，那么自适应图像过滤 器14将差异累加值(例如，图3的HPF—DIFF)增加差异值(62)。
如果所计算差异低于或等于高通阈值，或是在增加差异累加值中的一者之后，自适 应图像过滤器14确定是否存在所述组中的其它要比较的周围像素(64)。如果存在其它 要比较的周围像素，那么自适应图像过滤器14计算与感兴趣像素相关联的图像信息与其 它周围像素的图像信息之间的差异，且将差异与上述阈值进行比较。
当不存在所述组中的其它要比较的周围像素时，自适应图像过滤器14确定低通和高 通过滤分量(66)。自适应图像过滤器14依据累加差异来确定过滤分量的值。举例来说， 低通和高通过滤分量的值可分别是LPF—DIFF/(2AHPF—SHIFT)和HPF—DIFF/(2AHPF—SHIFT)。
自适应图像过滤器14依据低通和高通过滤分量来计算与像素相关联的经过滤图像 信息的值(68 )。 举例来说，根据方程式OUT—PIXEL = IN—PIXEL + (LPF—DIFF/(2ALPF_SHIFT))- (HPF—DIFF/(2AHPF—SHIFT))来计算经过滤的像素值。在计 算经过滤的像素值之后，过程针对下一感兴趣像素而继续。此过程重复继续，直至所有
感兴趣像素已被处理。
图5A和5B是说明由自适应图像过滤器14执行的示范性过滤技术的示意图。图5A 和5B展示以拜尔格式布置的像素，即每一像素仅表示可能的三种颜色(R、 G、 B)中的 单个颜色。在图5A和5B中，标记为"R"的方框表示红色像素，标记为"B"的方框表 示蓝色像素且标记为"G"的方框表示绿色像素。如上所述，每一像素可对应于图像传感 器阵列12中的图像传感器。仅举例来说，图5A和5B中说明与图像捕获装置10相关联 的一部分像素。通常，图像捕获装置IO将包括更多像素，很可能以千或百万计。
图5A说明用于过滤蓝色像素的示范性过滤方案。可使用相同过滤方案来过滤红色像 素。图5B说明用于过滤绿色像素的示范性过滤方案。用于过滤绿色像素的过滤方案可由 于拜尔模式的性质而不同。如上所述，在拜尔模式中绿色像素的数量分别是红色和蓝色 像素的两倍。
现在参看图5A,自适应图像过滤器14选择感兴趣像素72和周围像素组74A-H("周 围像素74")。如图5A所说明，感兴趣像素72和周围像素74表示相同颜色，即蓝色。 相同过滤方案也可适用于红色像素。自适应图像过滤器14计算与感兴趣像素72相关联 的图像信息和与每一周围像素74相关联的图像信息之间的差异。因此，在此实例中，自 适应图像过滤器14计算八个差异，即对每个周围像素74计算一个。
自适应图像过滤器14依据如上所述的所计算差异来过滤与感兴趣像素72相关联的
图像信息。具体地说，自适应图像过滤器14将差异与低通阈值和高通阈值进行比较，且
在满足阈值要求时累加低通和高通差异。自适应图像过滤器14基于图像信息的原始值和
低通和高通差异来计算像素的输出值。以下伪码说明依据3X3周围像素矩阵来过滤蓝色
或红色像素的示范性算法
for (nr=0;:m >=7;m+4"){
〃用于八个周ll像素 diffm〗p&e]jn〗-in_p.ixel;
if ( abs(diff[m]) < Ipf—threshold^
〃调整过滤器的低过逾分量
)
it'( abs(diflTral)> hpf一tbres!K)!d)f
〃调整过^^的低过滤分量
hpf diff ■+ = (di坷ra〗)； ) ....
、,
Outjpixd = injpixel + 0pf—diff L:PF—SHWT) - ( hpf—d;ff々HPF—SHIFI)
现在参看图5B，自适应图像过滤器14选择感兴趣像素76和周围像素组78A-G("周
围像素78")。如图5B所说明，感兴趣像素76和周围像素78表示相同颜色，即绿色。 如上所述，用于绿色像素的过滤算法由于拜尔模式中的绿色像素的较大数目而稍微不同。 自适应图像过滤器14计算与感兴趣像素76相关联的图像信息和与每一周围像素78相关 联的图像信息之间的差异，从而导致计算关于相关绿色像素76的七个差异。
自适应图像过滤器14依据如上所述的所计算差异来过滤与感兴趣像素76相关联的 图像信息。具体地说，自适应图像过滤器14将差异与低通和高通阈值进行比较，且在满 足阈值要求时累加低通和高通差异。自适应图像过滤器14基于图像信息的原始值以及低 通和高通差异来计算像素的输出值。以下伪码说明依据3X3周围像素矩阵来过滤绿色像 素的示范性算法
for (m::::0;.m<::::6;nvH:) {
〃用于七个扃围像素
d欲m] = pixel〖m] - in_pixei;
if (abs(卿mj) <: 1pf、 thresho,
〃调整过滤器的低3f滤分量
) 一
if ( abs(diff[加])> hpf—tkreshoidM
〃调整过凌器的低过—滤分量 hpf—(di銜m)；
Out_pixd in_pixel +(lpf—diff LPF—SHIFT) - ( hpf—cHff HPF一SHIPT)
尽管图5A和5B中所说明的过滤算法使用3X3周围像素矩阵，但自适应图像过滤 器14可使用任何数目的周围像素。自适应图像过滤器14可使用较大的周围像素矩阵(例 如，5X5矩阵或7X7矩阵)或周围矩阵中的像素的仅一部分。举例来说，图像过滤器 14仅依据周围像素74A、 74C、 74E和74G (图5A)来过滤感兴趣像素72。此外，自适 应图像过滤器14可过滤不同域中的图像信息，例如RGB域或YCbCr域中的图像信息。 在执行此些域中的过滤时，自适应图像过滤器14可直接使用相邻像素作为周围像素。
本文所述的技术可由硬件、软件、固件或其任何组合来实施。如果以软件来实施， 所述技术可涉及包含提供机器可执行指令的程序码的计算机可读媒体，所述机器可执行 指令在捕获图像的装置中执行时执行本文所述的技术中的一者或一者以上。在此情况下， 计算机可读媒体可包含随机存取存储器(RAM)，例如同步动态随机存取存储器 (SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编
程只读存储器(EEPROM)、快闪(FLASH)存储器等等。
程序码可以计算机可读指令的形式存储在存储器上。在此情况下，例如微处理器或 数字信号处理器(DSP)的处理器可执行存储在存储器中的指令，以便进行本文所述技 术中的一者或一者以上。在一些情况下，所述技术可由调用各种硬件组件的DSP来执行。 在其它情况下，本揭示案中所描述的技术可由微处理器、 一个或一个以上专用集成电路 (ASIC)、 一个或一个以上场可编程门阵列(FPGA)或一些其它硬件软件组合来实施。
已描述了各种实施例。这些和其它实施例在以上权利要求书的范围之内。
权利要求
1.一种方法，其包含计算与感兴趣像素相关联的图像信息和与所述感兴趣像素周围的像素相关联的图像信息之间的差异；依据所述经计算差异来确定过滤器的低通分量和高通分量；以及将所述过滤器应用于与所述感兴趣像素相关联的所述图像信息。
2. 根据权利要求1所述的方法，其中确定所述过滤器的所述低通分量包含将所述经计算差异中的每一者与低通阈值进行比较； 计算低于所述低通阈值的经计算差异的和以获得低通分量值；以及 基于所述低通分量值来确定所述低通分量。
3. 根据权利要求2所述的方法，其中确定所述过滤器的所述低通分量进一步包含将所 述低通分量值除以可编程值以确定所述过滤器的所述低通分量。
4. 根据权利要求l所述的方法，其中确定所述过滤器的所述高通分量包含将所述经计算差异中的每一者与高通阈值进行比较；以及 计算高于所述高通阙值的经计算差异的和以获得高通分量值；以及基于所述高通分量值来确定所述高通分量。
5. 根据权利要求4所述的方法，其中确定所述过滤器的所述高通分量进一步包含将所 述高通分量值除以可编程值以确定所述过滤器的所述高通分量。
6. 根据权利要求1所述的方法，其中将所述过滤器应用于与所述感兴趣像素相关联的 所述图像信息包含根据以下方程式来过滤所述图像信息Out—pixel = in—pixel +(lpf—diff/(2ALPF—SHIFT)) - (hpf—diff/(2AHPF—SHIFT)),其中out—pixel是所述经过滤图像信息的值，in—pixel是所述未经过滤图像信息的值，lpf—diff是低于低通阈值的所计算差异的和，hpf—diff是高于高通阚值的所计算差异的和，且LPF—SHIFT与HPF—SHIFT是可编程变量。
7. 根据权利要求l所述的方法，其进一步包含缓冲与所述感兴趣像素和所述周围像素相关联的图像信息以及 使用所述经缓冲的图像信息来校正与一个或一个以上缺陷像素相关联的图像信 息，其中计算与所述感兴趣像素相关联的图像信息和与所述周围像素中的每一者相 关联的图像信息之间的所述差异包含使用所述经缓冲的图像信息来计算所述差异。
8. 根据权利要求1所述的方法，其中计算与所述感兴趣像素相关联的图像信息和与所 述周围像素中的每一者相关联的图像信息之间的差异包含计算与所述像素相关联 的强度值的差异。
9. 根据权利要求l所述的方法，其中与所述像素相关联的所述图像信息仅代表单个颜 色。
10. 根据权利要求1所述的方法，其中与所述像素相关联的所述图像信息是在RGB域 和YCbCr域中的一者中。
11. 根据权利要求l所述的方法，其中识别所述感兴趣像素周围的所述像素组包含识别 所述感兴趣像素周围的nXn阵列的像素。
12. 根据权利要求l所述的方法，其中所述感兴趣像素周围的所述像素利用相同的彩色 滤光片。
13. —种装置，其包含图像传感器阵列，其捕获图像信息，其中所述图像传感器阵列包括捕获与多个像 素相关联的图像信息的多个图像传感器；以及自适应图像过滤器，其计算与感兴趣像素相关联的图像信息和与所述感兴趣像素 周围的像素相关联的图像信息之间的差异，依据所述经计算的差异来确定过滤器的 低通分量和高通分量，且将所述过滤器应用于与所述感兴趣像素相关联的所述图像4曰息。
14. 根据权利要求13所述的装置，其中所述自适应图像过滤器将所述经计算差异中的 每一者与低通阈值进行比较，计算低于所述低通阈值的经计算差异的和以获得低通 分量值，以及基于所述低通分量值来确定所述低通分量。
15. 根据权利要求16所述的装置，其中所述自适应图像过滤器将所述低通分量值除以 可编程值以确定所述过滤器的所述低通分量。
16. 根据权利要求13所述的装置，其中所述自适应图像过滤器将所述经计算差异中的 每一者与高通阈值进行比较，计算高于所述高通阈值的经计算差异的和以获得高通分量值，以及基于所述高通分量值来确定所述高通分量。
17. 根据权利要求16所述的装置，其中所述自适应图像过滤器将所述高通分量值除以 可编程值以确定所述过滤器的所述高通分量。
18. 根据权利要求13所述的装置，其中所述启适应图像过滤器根据以下方程式来过滤 与所述感兴趣像素相关联的所述图像信息Out—pixel = in—pixel +(lpf—diff/(2ALPF—SHIFT))陽(hpf—diff/(2AHPF—SHIFT))，其中out—pixel是所述经过滤图像信息的值，in—pixel是所述未经过滤图像信息的值，Ipf—diff是低于低通阈值的所计算差异的和，hpf—diff是高于高通阈值的所计算差异的和，且LPF—SHIFT与HPF一SHIFT是可编程变量。
19. 根据权利要求13所述的装置，其进一步包含缺陷像素校正单元，其缓冲与所述感 兴趣像素和所述周围像素组相关联的图像信息，以及使用所述经缓冲图像信息来校 正与一个或一个以上缺陷像素相关联的图像信息，其中所述自适应图像过滤器使用 所述经缓冲图像信息来计算所述差异。
20. 根据权利要求13所述的装置，其中所述自适应图像过滤器计算与所述像素相关联 的强度值的差异。
21. 根据权利要求13所述的装置，进一步包含多个彩色滤光片，其覆盖所述图像传感 器以捕获仅代表单个颜色的图像信息。
22. 根据权利要求13所述的装置，其中与所述像素相关联的所述图像信息是在RGB域 和YCbCr域中的一者中。
23. 根据权利要求13所述的装置，其中所述自适应图像过滤器识别所述感兴趣像素周 围的iiXn阵列的像素。
24. 根据权利要求13所述的装置，其中所述自适应图像过滤器识别利用相同彩色滤光 片的周围像素。
25. —种方法，其包含捕获多个像素的图像信息，其中与所述像素中的每一者相关联的所述图像信息代 表多种颜色中的一者；从所述多个像素选择感兴趣像素和周围像素组，其中与所述周围像素组和所述感 兴趣像素相关联的所述图像信息代表相同的颜色；计算与所述感兴趣像素相关联的图像信息和与所述组的周围像素中的每一者相 关联的图像信息之间的差异；以及依据所述经计算差异来过滤与所述感兴趣像素相关联的所述图像信息。
26. 根据权利要求25所述的方法，进一步包含依据所述经计算差异来确定过滤器的低 通分量和高通分量，其中过滤所述图像信息包含根据所述过滤器来过滤与所述感兴 趣像素相关联的所述图像信息。
27. 根据权利要求25所述的方法，其中过滤与所述感兴趣像素相关联的所述图像信息 包含根据以下方程式来过滤所述图像信息-Out—pixel = in—pixel + (lpf—diff/(2ALPF—SHIFT)) - (hpf—diff/(2AHPF—SHIFT)), 其中out一pkel是所述经过滤图像信息的值，in—pixel是所述未经过滤图像信息的值，lpf—diff是低于低通阈值的所计算差异的和，hpf_diff是高于高通阈值的所计算差异的和，且LPF—SHIFT与HPF—SHIFT是可编程变量。
28. —种装置，其包含图像传感器阵列，其具有捕获与多个像素相关联的图像信息的多个图像传感器， 其中与所述像素中的每一者相关联的所述图像信息代表多种颜色中的一者；以及自适应图像过滤器，其从所述多个像素选择感兴趣像素和周围像素组，计算与所 述感兴趣像素相关联的图像信息和与所述组的周围像素的每一者相关联的图像信 息之间的差异，以及依据所述经计算的差异来过滤与所述感兴趣像素相关联的所述 图像信息，其中与所述周围像素组和所述感兴趣像素相关联的所述图像信息代表相 同颜色。
29. 根据权利要求28所述的装置，其中所述自适应图像过滤器依据所述经计算的差异 来计算所述过滤器的低通分量和高通分量。
30. 根据权利要求28所述的装置，其中所述自适应图像过滤器根据以下方程式过滤与 所述感兴趣像素相关联的所述图像信息Out—pixel = in—pixel +(lpf—diff/(2ALPF_SHIFT)) - (hpf—diff/(2AHPF—SHIFT))，其中out—pixel是所述经过滤图像信息的值，in_pixd是所述未经过滤图像信息的值，lpf—diff是低于低通阈值的所计算差异的和，hpf—diff是高于高通阈值的所计算差异的和，且LPF—SHIFT与HPF—SHIFT是可编程变量。
31. —种计算机可读媒体，其包含用以使处理器进行以下动作的指令计算与感兴趣像素相关联的图像信息和与所述感兴趣像素周围的像素相关联的 图像信息之间的差异；依据所述经计算的差异来确定过滤器的低通分量和高通分量；以及 将所述过滤器应用于与所述感兴趣像素相关联的所述图像信息。
32. 根据权利要求31所述的计算机可读媒体，其中确定所述过滤器的所述低通分量包 含将所述经计算差异中的每一者与低通阈值进行比较； 计算低于所述低通阈值的经计算差异的和以获得低通分量值；以及 基于所述低通分量值来确定所述低通分量。
33. 根据权利要求32所述的计算机可读媒体，其中所述指令使所述处理器将所述低通 分量值除以可编程值以确定所述过滤器的所述低通分量。
34. 根据权利要求32所述的计算机可读媒体，其中所述指令使所述处理器进行以下动 作将所述经计算差异中的每一者与高通阈值进行比较；以及 计算高于所述高通阈值的经计算差异的和以获得高通分量值；以及基于所述高通分量值来确定所述高通分量。
35. 根据权利要求34所述的计算机可读媒体，其中所述指令使所述处理器将所述高通 分量值除以可编程值以确定所述过滤器的所述高通分量。
36. 根据权利要求31所述的计算机可读媒体，其中所述指令使所述处理器根据以下方 程式来过滤所述图像信息Out—pixel = in—pixel +(lpf—diff/(2ALPF—SHIFT)) - (hpf—diff/(2AHPF_SHIFT))，其中out—pixel是所述经过滤图像信息的值，in—pixel是所述未经过滤图像信息的值，lpf—diff是低于低通阈值的所计算差异的和，hpf一diff是高于高通阈值的所计算差异的和，且LPF一SHIFT与HPF_SHIFT是可编程变量。
37. 根据权利要求31所述的计算机可读媒体，其中所述指令使所述处理器进行以下动 作缓冲与所述感兴趣像素和所述周围像素相关联的图像信息以及 使用所述经缓冲的图像信息来校正与一个或一个以上缺陷像素相关联的图像信 息，其中计算与所述感兴趣像素相关联的图像信息和与所述周围像素中的每一者相 关联的图像信息之间的所述差异包含使用所述经缓冲的图像信息来计算所述差异。
38. 根据权利要求31所述的计算机可读媒体，其中所述指令使所述处理器计算与所述 像素相关联的强度值的差异，从而计算与所述感兴趣像素相关联的图像信息和与所 述周围像素中的每一者相关联的图像信息之间的差异。
39. 根据权利要求31所述的计算机可读媒体，其中与所述像素相关联的所述图像信息 仅代表单个颜色。
40. 根据权利要求31所述的计算机可读媒体，其中与所述像素相关联的所述图像信息 是在RGB域和YCbCr域中的一者中。
41. 根据权利要求31所述的计算机可读媒体，其中所述指令使所述处理器识别所述感 兴趣像素周围的nXn阵列的像素。
42. 根据权利要求31所述的计算机可读媒体，其中所述感兴趣像素周围感兴趣像素的 所述像素利用相同的彩色滤光片。
全文摘要
本揭示案描述自适应过滤技术，其用于改进所捕获像片(例如视频或静止图像)的质量。具体来说，本揭示案描述依据周围像素组来过滤每一像素的自适应过滤技术。举例来说，自适应图像过滤器可通过计算与感兴趣像素和周围像素组中的每一者相关联的图像信息之间的差异来将与所述感兴趣像素相关联的所述图像信息与与所述周围像素组相关联的图像信息进行比较。可以多种方式来使用所述经计算的差异，从而过滤所述感兴趣像素的图像信息。在一些实施例中，举例来说，所述自适应图像过滤器可包括依据所述经计算的差异来进行调整的低通分量和高通分量两者。
文档编号G06T5/20GK101375589SQ200780003843
公开日2009年2月25日 申请日期2007年2月8日 优先权日2006年2月9日
发明者塞泽波·罗伯特·洪, 李向川 申请人:高通股份有限公司