专利名称：检测数字图像中的条纹的方法
技术领域：
本发明 一般而言涉及从图像及其类似物中检测及移除诸如条紋之 类噪声的领域。更具体地，本发明涉及将诸如傅立叶变换的频率变换应 用于图像以检测该图像中的条紋，这些条紋可以被量化且被移除。本发 明还包括一种检测图像(尤其是平场图像或具有已知变换特征的图像) 中条紋的改进方法。
背景技术：
现有算法在空间域中使用边缘检测算法来识别图像数据中的不连 续，且测量发生在多个像素之上的强度的变化。由于图像中的噪声，难 以设定检测亮像素的阈值，该亮像素对边缘有帮助。也难以设定感兴趣区域及计算缺陷密度的准则，由于透镜滚转(roll off)或边缘效应而容易受到错误的检测。Greg L. Archer等人于2005年7月13日申请的名称为"The Use Of Frequency Transforms In The Analysis Of Image Sensors"的美国专 利，其申请号为11/180， 816。其中，在频域中使用单一线性回归算法 来识别在图像中心的线性图案。虽然当前已知并使用的用于检测及移除条紋的方法是令人满意的， 但总还需要改良。本发明将提供这样的改良方案。发明内容本发明将用于克服上文所述问题中的一个或多个。简而言之，根据 本发明的一个方面，本发明使用五个感兴趣区域(4个角及1个中心) 来进行傅立叶变换分析以粗略标记条紋(若存在)的位置。它将围绕每一 傅立叶变换R0I的中心的小窗口设定为零以屏蔽由透镜滚转或其它噪声 所引起的亮点的聚集。它使用迭代线性回归来移除随机离群值并且搜索 最佳可能的线性图案。如果其发现任何条紋，则它会计算角度且将该角 度转换为空间域中的条紋角度。 一旦检测到条紋，则其可被借由对所处 理的量值及傅立叶变换图像的原始相位应用反向的傅立叶变换而移除。4本发明的优点本发明具有以下优点将频率变换应用于图像，然后应用迭代回归 技术以改进条紋噪声的检测及移除。通过了解后述的较佳实施例及所附的权利要求书，并参考附图将会 更清楚地理解以及明了本发明的这些以及其它方面、目的、特征及优势。
图1是含噪声的典型图像；图2是具有条紋型噪声的典型图像；图3是对图2的图像应用了离散傅立叶变换后所得的量值图像；图4A至图4D是本发明软件程序流程图；图5A至图5C是本发明回归技术的说明；图6是说明本发明典型商用实施例的数字相机。
具体实施方式
在以下描述中，本发明将会被在较佳的实施例中描述为软件程序。 本领域技术人员将容易地认识到该软件的等效物也可在硬件中建构。应注意的是，本发明除了检测和移除条紋外还可用于图像评估、图 像传感器测试以及图像处理。参照图1,其展示了其中含有噪声20的典型图像10。噪声20可为 人眼所感知或者大体上不被人眼所感知，在不被人眼感知的情况下图像 将呈现颗粒状或其它类似形状。如下文所描述，本发明检测及移除来自 图像之中的条紋。在图2中展示了具有条紋型噪声40的图像30的例子。图像30显 示了条纹噪声40。给图2中的图像施加离散傅立叶变换将导致图3中示 出的频域中的量值图像50。在该量值图像中，线性图形60被置于跨越 中心的位置，其对应于空间域中的噪声40。将该图像分割为四个象限用 以促进本发明的软件程序的操作。图4A至图4D为本发明的软件程序的流程图。参照图4A,程序自 S2开始，在S4处获得数字图像30的分辨率以用于确定图像尺寸或分辨 率是否为2的幂次方。若其大于1024x1024,则整个图像被分割为五个 窗口 ( S6)且每一窗口尺寸为1024 x 1024。该五个窗口为左上、左下、右上、右下及中心。否则，仅使用一个中心窗口 ( S8)且其窗口尺寸选 择为最接近2的幕的尺寸。若原始尺寸并不是2的幂次方，则需要零填 塞(zero padding)。所有窗口都需要如以下段落中所描述的那样被进 行处理(SIO)。在一个窗口被处理后，检查是否处理了所有窗口 (S12)。 若没有，则选择下一窗口 (S14)且再次处理S10直至所有窗口都被处理。 接着其输出结果(S 16)且结束此程序(S 18)。参看图4B，处理(参看S10)块自S20开始，对所选择的窗口中的图 像应用傅立叶变换(S22)。 一旦获得变换后的量值图像50，则将量值 图像50中的中心区域设定为预定值，优选为零(S24)。此操作的目的是 为了移除围绕中心的噪声点。借由噪声程度(level)来确定区域的尺 寸，优选地为4个区城尺寸的1/16,该4个区域将在下一段落中进行讨 论。该区域可为圆形、正方形或椭圆形或长方形或任何其它形状。接着 对整个量值图像50应用对数运算以增加图像的对比度(S26)。关于对数 运算的详细描述将在下文中详细说明。围绕中心点存在四个区域(参看图3 ):右上、左上、右下及左下。 因为右上及左下为镜像(与左上及右下相同)，所以优选地仅需要处理两 个区域，例如左上及右上区域。首先选择左上区域(S28)。接着将所有 像素值与一预定阈值Tdl进行比较，该预定阈值Tdl优选地为该区域内 所有像素值的平均值加其标准差的3倍(S30)。如果任何像素值大于此 阈值，则将其标记为亮点。对所有经标记的亮点应用线性回归处理 (S32)(如将在图4C中详细论述)。此后，检查是否已选择所有区域(S34)。 若没有，则选择右上区域(S36)且重复步骤S30及S32的程序。在所有 的区域都被处理完后，其到达程序的结尾(S38)。参看图4C,回归模块自S40开始且其回归计数器重置为0。程序首 先检查总的经标记点是否大于预定阈值Td2(优选地为5以及以 上)(S42)。若总的亮点少于5个，则没有发现条紋(S44)，其到达回归 的结束(S46)。若存在5个或更多的亮点，则将第一线性回归应用于经 标记的点(S48)且回归计数增加1。接着计算回归最佳拟合线的R次方 的值。若其大于另一预定阈值Td3(优选的为0. 8) (S50),则发现条紋， 且计算其角度(S52)并到达回归的结束(S54)。关于如何计算条紋角度 的详细描述在后文中给出(图5A至图J C)。参看图4C及图5A，若拟合线70的R次方小于Td3，则计算在标记点(图5A中1到ll)至拟合线70之间的所有距离(S56)。选择第一点 (S58)。若其至拟合线的距离大于阈值Td4 (优选的为所有距离的平均值) (S60),则认为该点为离群值且将其从所有标记点的原始群中移除 (S62)。另 一方面，若该距离在阈值Td4内，则将该点被保持在群中(S64)。 此后，程序检查是否已处理所有的点(S66)。若没有，则选择下一点且 重复整个比较步骤(S68)直至处理了所有的点且确定点的新子集(S70)。 这终止回归的一个循环。若回归之数目大于最大送代数(优选的为5次 送代)(S72)，则没有发现条紋(S74)且其结束回归(S76)。若回归之数 目小于最大迭代数，则程序将使用点的新子集作为标记点(在图5B中的 点l、 2、 3、 5、 6、 7及IO)且自S42重复处理过程。其它点(4、 8 、 9 及ll)被移除，因为其距离大于阈值Td4。参看图5B,自点的新子集计算另一拟合线74。假定拟合线74的R 次方小于Td3，则计算从剩余点至拟合线74的距离。将此距离与阚值 Td4'(所有新距离的平均值，理论上小于Td4)进行比较。对于所有小于 Td4'的距离，将这些点保存用于点的新子集(点1、 2、 5、 6及7)以用于 进一步处理。若来自最新子集点(l、 2、 5、 6及7)的拟合线76的R次 方大于Td3,则完成回归且发现条紋。参看图5C,计算来自剩余点的拟 合线76的斜率。基于该斜率76(亦即垂直于拟合线76的角度)来计算 条紋的角度。参看图4D，本发明的另一实施例是应用固定及预定数目的回归周斯 (优选为5),然后估算条紋的角度。应注意，为了清楚起见，图4D为图 4C的替代实施例。其自S80开始且将迭代计数器重置为0。其使用标记 点的第一集合(first set)以比较预定阈值Td2 (S82)。若标记点少于 Td2,则没有发现条紋(S8W且回归会话将结束(S86)。若所述点多于Td2， 则应用第一线性回归(S88)且迭代计数器增1。接着计算从所有点到拟合 线的距离(S90)。此后，选择第一点(S92)且将其到拟合线的距离与另一 阈值Td4进行比较(S94)。若该距离大Td4,则将该点自原始群移除 (S98)。若其并不大Td4,则将该点保存于背景中(S96)。此后，程序检 查是否已处理所有的点(SIOO)。若没有，则选择下一点(S102),且重复 整个比较过程(S94)直至处理了所有的点并确定点的新子集(S104)。这 终止回归的一个周期。若回归的数目小于迭代数目(5) (S106)，则程序 将使用点的新子集作为标记点且从S82重复处理。另一方面，若回归数7目等于迭代数目，则计算拟合线的最终R次方(S108),并将其与预定值 Td3进行比较。若其小于Td3，则没有发现条紋(S100)且回归结束(S114)。 然而，若R次方大于Td3，则计算条紋角度(S112),接着回归结束(S114)。本发明中采用的傅立叶变换(S22)优选应用于每一行并且接着再次 垂直地应用于每一列。应注意，傅立叶变换为优选实施例，但也可以使 用其它变换方法。两种变换一起导致量值图^^或曲线。典型地，可使用 的傅立叶变换为(但不限于)Cooley及Tukey的快速傅立叶变才灸(傅立叶 变换)及Danielson Lanczos的离散快速傅立叶变换。傅立叶变换的使 用提供了原始图像中频率成分的分离。低频率值表示在图像(整个形状) 中很少或没有改变，而高频率值指示图像中在短距离上(细节)的快速改 变。因为在数字图像中存在离散、相等间隔像素，所以使用通用傅立叶 变换的离散傅立叶变换(DFT)形式变得有效。DFT的结果将是量值图像或相位图像。该量值图像将提供表示频域 的相等间隔数据。不同频率在自原点的不同距离被表示。在原点的值表 示原始图像数据的DC分量或平均值，而离开原点的值表示原始图像中 的不同方位。频域中的像素值或能量指示该频率及方位的多少呈现于原 始图像中。DFT计算方式为1 JV-1 产W爛=—t、A/^" ，其中k-O， 1, 2，….N-lN-数据样本量x(n)-数据其中n=0， 1， 2，....N-1-j， 2;r"A . . 2;r"yfce w 二cos--_/sin-WW即使原始图像值为实数，由于指数具有虛数(j)项，因此使得结果 为复数(实数以及虛数值)。量值及相位计算如下量值-l婦)卜^/:cX ，相位=tan-',-、具有尺寸MxN的区域图像传感器借由均匀光来照明。来自图像传 感器的图像数据f (x, y)为MxN电压阵列，用于来自图像传感器的每一像素。具有尺寸MxN的图像f (x, v)的二維DFT由以下方程式给出 且量值图像等于F(u, v)的绝对值。为加速DFT计算，称为快速傅立叶变换(傅立叶变换)的DFT的变体 在1965年被发展。使用傅立叶变换算法的要求是x以及y维度的每一 个都必须为2的幂次方，诸如256x256、512x512、 256x512及1 024x1 024。 若图像尺寸不完全是2的幂，则需要零填塞或需要平均填塞。在该实倒 中，选择感兴趣的1024 x 1024窗口区域。在获得图像的傅立叶变换后，将表示原始图像中的平均值的频域中 的像素设定为零。接着对量值图像应用对数变换(S26)以提高与各种频 率相关的峰值的低量值。所迷变换由下式给出S(",v)^n(l+I尸(w,v)1)在此实例中，阈值为象限中S(U， v)的中值。然后，基于垂直于原 始捕获图像中条紋的直线应当在S(u， v)数据中体现的理论而执行这些 阈值的线性回归。该线性回归计算相关系数R,将其与预定阈值Td3进 行比较。如果来自于线性回归的R大于预定阈值Td3，则检测到条紋。 基于等式"角度=atan(斜率)来计算拟合线角度，其中斜率由线性回 归来计算。基于条紋角度一直垂直于拟合线角度的事实来计算条纹角度(S52 及S112)。一旦条紋在回归结束时基于标记点而被检测到，则该点优选地被设 定为零或大体上为零。然后，随着检测到的条紋的移除，可将频域中经 修改的量值图像与原始相位图像一起反向地变换回原始空间图像。数字图像可由各种方法来获得。其可由任何成像装置来捕获，这类成像装置可以是其中具有图像传感器的相机、图像扫描仪等。其也可以来自于传统的电影摄影机或电影X光机。在图像形成于此类传统电影媒体之后，其可以被数字化为一数字图像。参看图6,其展示了一数字相机80,其具有安装于存储器90中且 被数字信号处理器IOO处理以用于在图像捕获后检测及移除噪声的本发 明的软件程序。这说明了上文所描迷的其中 一个实施例。部件表10具有随机噪声的正常平场图像20随机噪声30具有条紋噪声的平场图像40条紋噪声50频域中的FFT量值图像60对应于条紋噪声的线图案70第一次回归的拟合线74第二次回归的拟合线76最终拟合线80数字相机90存储器100数字信号处理器S2-SU4流程图步骤
权利要求
1、一种用于检测图像中噪声的方法，该方法包含以下步骤(a)将频率变换应用于所述图像以获得频域中的量值图像；(b)将阈值与该量值图像的值进行比较以获得第一阈值；(c)将回归应用于一个或多个阈值以获得估算的最佳拟合；(d)根据该估算的最佳拟合确定相关因子；(e)若该相关被满足，则计算条纹角度；(f)若该相关因子不满足预定值，则将第二阈应用于该第一阈值以获得是第一阈值子集的第二阈值；以及(g)重复步骤(c)至(f)直至所述相关在步骤(e)中被满足或直至满足步骤(c)至(f)的最大送代。
2、 一种检测图像中噪声的方法，该方法包含以下步骤(a )将频率变换应用于该图像以获得频域中的量值图像； (b )将阈值与该量值图像的值进行比较以获得第 一 阈值； (c )将回归应用于 一 个或多个第 一 阈值以获得估算的最佳拟合；(d) 将第二阈应用于该第一阈值以获得是第一阈值子集的第二阈值；(e) 重复步骤(c)和(d) n次，其中n为0或更大；以及 (f )在条紋角度存在的情况下，计算该条紋角度。
3、 如权利要求2所述的方法，进一步包含以下步骤根据估算的 最佳拟合决定相关因子，并且基于相关因子的结果在条紋角度存在的情 况下计算该条紋角度。
4、 如权利要求3所述的方法，进一步包含以下步骤在计算条紋 角度前将相关因子与预定值进行比较。
5、 如权利要求l所述的方法，进一步包含以下步骤在步骤(a)前 将该图像分成n个窗口，其中n为l或者大于l。
6、 如权利要求5所述的方法，进一步包含以下步骤通过将围绕 快速傅立叶变换中心的感兴趣范围设为预定值而移除噪声。
7、 如权利要求6所述的方法，其中该预定值为1。
8、 如权利要求7所迷的方法，其进一步包含以下步骤应用对数 算法以提高对比度。
9、 如权利要求2所述的方法，其进一步包含以下步骤将等于由步骤(e)最终迭代结果的阈值设为0或基本上为0。
10、 如权利要求9所述的方法，其进一步包含以下步骤对该量值 图像应用反频率变换以从该图像移除所述噪声。
11、 一种用于检测图像中的噪声的图像捕获装置，该图像捕获装置 包含(a) 频率变换，其被应用于该图像以获得频域中的量值图像(b) 阈值，其被与该量值图像的值进行比较以获得第一阈值；(c) 回归，其被应用于一个或多个第一阈值以获得估算的最佳拟合；(d) 第二阄，其被应用于该第一阈值以获得是第一阈值子集的第 二阈值；(e) 处理器，其在条紋角度存在的情况下确定该条紋角度。
12、 如权利要求11所述的图像捕获装置，其进一步包含相关因子， 其根据估算的最佳拟合确定，并且基于相关因子的结果在条紋角度存在 的情况下计算该条紋角度。
13、 如权利要求12所述中图像捕获装置，其中在计算条紋角度前 将相关因子与预定值进行比较。
14、 如权利要求11所述中的图像捕获装置，其中在步骤(a)前将该 图像分成n个窗口，其中n为l或者大于l。
15、 如权利要求14所述中的图像捕获装置，其中通过将围绕快速 傅立叶变换中心的感兴趣范围设为预定值而移除噪声。
16、 如权利要求15所述的图像捕获装置，其中该预定值为l。
17、 如权利要求16所述的图像捕获装置，进一步包含对数算法， 其被应用来提高对比度。
18、 如权利要求12所述的图像捕获装置，其中阈值被设为零或基 本上为零。
19、 如权利要求18所述的图像捕获装置，其进一步包括反频率变 换，其被应用于量值图像以从该图像移除所述噪声。
全文摘要
本发明使用五个所关心区域，即4个角及1个中心，来进行傅立叶变换分析以在条纹存在的情况下粗略记录其位置。其将围绕每一傅立叶变换ROI中心的小视窗设定为零以屏蔽由透镜滚转或其他噪声引起的亮点的聚集。其使用迭代线性回归以移除随机线性值并搜寻最佳可能的线图案。若其发现任何条纹，则其计算角度并将该角度转换为空间域中的条纹角度。一旦检测到条纹，则其可被借由对所处理的量值及傅立叶变换图像的原始相位使用反向的傅立叶变换而移除。
文档编号H04N5/217GK101326549SQ200680045849
公开日2008年12月17日 申请日期2006年11月30日 优先权日2005年12月5日
发明者G·L·阿彻尔, S·王 申请人:伊斯曼柯达公司