专利名称：用于基于图像特征强调边缘的图像生成设备和方法
技术领域：
本发明一般涉及用于强调图像中的边缘的设备和方法，并且更具体地，涉及用于 基于诸如图像中的亮度变化或对比度、复杂度等的图像特征强调图像中的边缘的图像生成 设备和方法。
背景技术：
通常，单独使用边缘检测滤波器或与噪声消除方案结合完成图像的边缘区域检 测。使用边缘检测滤波器的边缘区域检测通过使用诸如索贝儿(Sobel)算子、Canny 边缘检测器、拉普拉斯(Laplacian)滤波器或高斯-拉普拉斯滤波器等的边缘提取滤波器 以提取边缘区域，通过对所提取的边缘区域应用边缘增益以强调边缘区域，并且对原始图 像应用强调了边缘的区域，从而生成强调了边缘的图像。该方法是检测低通滤波的原始图 像中的边缘区域的几个广泛使用的方法之一。使用边缘检测滤波器和噪声消除方案两者的边缘区域检测通过使用带通滤波器 以提取原始图像的高频，由此噪声也与边缘区域一起被提取。因为该方法当对所提取的边 缘区域应用边缘增益时同样放大了噪声，所以该方法通过使用高斯-拉普拉斯滤波器消除噪声。或者，使用单独提供的噪声消除滤波器，在原始图像中的边缘区域的检测前可以 事先消除噪声。同样可以使用阈值化方案，在阈值方案中在原始图像中检测边缘区域，并且 去掉小于预定阈值的边缘值，使得边缘区域可以仅具有大的边缘值。同样地，传统上，通过使用边缘检测滤波器或者使用边缘检测滤波器和噪声消除 方案两者强调边缘区域。然而，当使用传统的方法强调边缘时，对具有不同图像特征的原始图像的各自区 域，由于伴随有原始图像中噪声的放大使得难于提高边缘增益，并且难于消除噪声。此外，在原始图像中，在暗区具有最大亮度和最小亮度之间的小的差，并且亮区具 有最大亮度和最小亮度之间的大的差的情况下，如果基于亮区调整边缘增益，则暗区中的 边缘比亮区中的边缘强调得少。此外，因为在亮区中比在暗区中通常存在更多的噪声，所以不考虑亮度的噪声消 除可能过分消除了暗区中的小的噪声。
发明内容
因此，本发明的一个方面是提供用于在原始图像中基于图像特征强调边缘的图像 生成设备和方法。根据本发明的一个方面，提供了用于基于图像特征强调边缘的图像生成设备。图 像生成设备包括边缘提取器，用于从输入的原始图像提取边缘区域；边缘增益计算器，用 于对原始图像的多个图像区域的每一个计算指示用于强调边缘区域的程度的边缘增益；边缘阈值计算器，用于对原始图像的多个图像区域的每一个计算指示像素之间的复杂度的边 缘阈值；以及控制器，用于把由边缘提取器提取的边缘区域与由边缘增益计算器计算的边 缘增益结合，通过对结合边缘增益的边缘区域调整由边缘阈值计算器计算的边缘阈值以执 行阈值化，并且把应用了阈值化的边缘区域与所述原始图像组合以输出最终图像。根据本发明的另一个方面，提供了用于在图像生成设备中基于图像特性强调边缘 的图像生成方法。图像生成方法包括从输入的原始图像提取边缘区域；对原始图像的多 个图像区域的每一个计算指示用于强调边缘区域的程度的边缘增益；对原始图像的多个图 像区域的每一个计算指示像素之间的复杂度的边缘阈值；把所提取的边缘区域与所计算的 边缘增益结合；通过对结合边缘增益的边缘区域调整所计算的边缘阈值以执行阈值化；把 应用了阈值化的边缘区域与所述原始图像组合；以及输出最终图像。
从下面结合附图进行的详细描述中，本发明的上述和其他方面、特征和优点将变 得更加明显，在附图中图1是根据本发明一实施例的用于基于图像特征强调边缘的图像生成设备的框 图；图2是图解根据本发明一实施例的由图像生成设备基于图像特征强调边缘的过 程的流程图；图3是图解根据本发明一实施例的由边缘增益计算器计算边缘增益的过程的流 程图；图4A和图4B是图解根据本发明一实施例的由边缘增益计算器通过将对比度增益 和复杂度增益结合以计算亮度变化或对比增益以及复杂增益来计算边缘增益的过程的流 程图；图5A和图5B是用于描述根据本发明一实施例的由边缘增益计算器对像素通道区 域中具有特殊尺寸的多个区域的每一个计算平均像素值的过程的图；以及图6是图解根据本发明一实施例的由边缘阈值计算器计算边缘阈值的过程的流 程图。
具体实施例方式下文中，将参考附图详细说明本发明的实施例。在下述说明和附图中，如果已知功 能和结构可能不必要地模糊本发明的主题，则将不详细说明该已知功能和结构。图1是根据本发明一实施例的用于基于图像特性强调边缘的图像生成设备的框 图。参考图1，根据本发明的实施例的图像生成设备包括控制器100、边缘提取器 110、边缘增益计算器120、边缘阈值计算器130，和存储器140。当输入原始图像时，控制器100通过边缘提取器110从输入图像提取边缘区域。控制器100通过边缘增益计算器120从原始图像计算边缘增益，通过边缘阈值 提取器130计算边缘阈值，将所计算的边缘增益乘以所计算的边缘区域，并且去掉具有比 乘以了边缘增益(edge-gain-multiplied)的边缘区域中的边缘阈值小的边缘值的边缘区域。控制器100接着将原始图像与从其中去掉具有比阈值小的边缘值的边缘区域的 边缘区域相结合，从而生成强调了边缘(edge-emphasized)的原始图像并且在存储器140 中存储得到的图像。边缘提取器110从输入的原始图像提取边缘区域。边缘提取器110使用诸如拉普 拉斯滤波器的带通滤波器(BPF)。边缘增益计算器120从原始图像设置任意的像素修补区域，在设置的像素修补区 域中计算亮度变化或对比度以及复杂度，并且将对比度和复杂度结合，从而计算边缘增益。边缘阈值计算器130计算所设置的像素修补区域中的像素之间的复杂度，并且通 过使用所计算的复杂度来计算边缘阈值。存储器140存储输入的原始图像和强调了边缘的图像。这样，对原始图像中具有不同图像特性的各自区域，通过强调考虑了亮度和复杂 度的边缘区域，可以生成在其中基于图像特性强调了边缘的图像。图2是图解根据本发明一实施例的由图像生成设备基于图像特性强调边缘的过 程的流程图。参考图2，当在步骤200中输入原始图像时，在步骤210中控制器100通过边缘提 取器110从输入的原始图像提取边缘区域。在步骤220中，控制器100通过边缘增益计算 器120从原始图像计算边缘增益。参考图3，将详细说明通过边缘增益计算器120计算边缘 增益的过程。图3是图解根据本发明一实施例的由边缘增益计算器120计算边缘增益的过程的 流程图。参考图3，边缘增益计算器120在步骤300中从原始图像提取任意的像素修补区 域。像素修补区域由nXn像素构成，并且可以通过用户或由缺省预置，其中η是正整数的 整数。边缘增益计算器120在步骤310中计算指示所提取的像素修补区域中的对比度的 亮度变化或对比增益，并且在步骤320中计算指示所提取的像素修补区域中的复杂度的复 杂增益。边缘增益计算器120在步骤330中计算作为所计算的对比增益和复杂增益的组合 的边缘增益。参考图4Α和图4Β，将详细说明由边缘增益计算器120计算对比增益和复杂增益以 及通过结合所计算的对比增益和复杂增益来计算边缘增益的方法。图4Α是图解根据本发明一实施例的由边缘增益计算器计算对比增益的过程的流 程图。参考图4Α，边缘增益计算器120在步骤400中计算所提取的像素修补区域的中间 (平均)像素值。例如，假设从原始图像提取包括25个像素的5X5像素修补区域。边缘增益计算器120将第一像素pi的像素值、第二像素ρ2的像素值、第三像素ρ3
的像素值.....第23像素ρ23的像素值、第M像素ρ24的像素值、和第25像素ρ25的像素
值的和除以25，也就是，(pi的像素值+ρ2的像素值+ρ3的像素值+. . . +ρ23的像素值+ρΜ 的像素值+Ρ25的像素值)/25，由此计算5X5像素修补区域的平均像素值。
在步骤410中，边缘增益计算器120计算像素修补区域中的最大亮度值和最小亮度值。在步骤420中，边缘增益计算器120考虑像素修补区域中的噪声，通过使用平均像 素值和最大亮度值来计算平均最大亮度值。例如，边缘增益计算器120考虑5X5像素修补区域中的噪声，通过使用平均像素 值的加权值和最大亮度值的加权值来计算5X5像素修补区域中的平均最大亮度值。可以 通过使用公式(1)来计算平均最大亮度值meanhigh = aXmean+bXM ...............(1),其中M表示5X5像素修补区域中的最大像素亮度值，meanhigh表示5X5像素修 补区域的平均最大亮度值，并且mean表示5X5像素修补区域的平均像素值。在这里，a+b =1并且a和b是非负的数字。边缘增益计算器120可以根据5X5像素修补区域中的图像特征设置a和b以计 算平均最大亮度值。在这里，根据5X5像素修补区域中的噪声程度设置a和b。在步骤430，边缘增益计算器120考虑像素修补区域中的噪声，通过使用平均像素 值和最小亮度值来计算平均最小亮度值。例如，边缘增益计算器120考虑5X5像素修补区域中的噪声，通过使用平均像素 值的加权值和最小亮度值的加权值来计算5X5像素修补区域中的平均最小亮度值。可以 通过公式( 计算平均最小亮度值meanlow = aXmean+bXL ...............(2),其中L表示5X5像素修补区域中的最小像素亮度值，meanlow表示5X5像素修 补区域的平均最小亮度值，并且mean表示5X5像素修补区域的平均像素值。这里，a+b = 1和a和b是非负的数字。边缘增益计算器120可以根据5X5像素修补区域中的图像特征设置a和b以计 算平均最小亮度值。这里，根据5X5像素修补区域中的噪声程度设置a和b。在步骤440，边缘增益计算器120通过使用所计算的平均最大亮度值和平均最小 亮度值来计算对比增益。可以使用公式⑶计算对比增益ContrastGain = (meanhigh-meanlow) X f (mean) ...............(3)，其中函数f()是用于根据亮度以标准化的函数。例如，因为图像中的亮区在边缘 区域中具有大的对比度，并且图像中的暗区在边缘区域中具有小的对比度，所以通过使用 该函数来减少对比度之间的差，从而标准化图像中的对比度。功能f ()是单调性的非递增的函数，其中域是平均亮度值并且范围大于0。可以根 据传感器的特性改变函数f()。图4B是图解根据本发明一实施例的在由边缘增益计算器120计算复杂增益之后， 计算边缘增益的过程的流程图。参考图4B，在步骤450中，该过程继续，其中边缘增益计算器120对像素修补区域 中具有特殊尺寸的多个区域的每一个计算平均像素值，如将参考图5A和图5B详细说明的。例如，如图5A所示，在5X5像素修补区域中，分别设置第一 3X3像素修补区域
Ml、第二 3X3像素修补区域M2.....和第九3X3像素修补区域M9，并且对所设置的3X3
像素修补区域的每一个计算平均像素值。
这样，对各自3X3像素修补区域所计算的平均像素值是Ml的平均像素值=(pi+ p2+p3+p6+p7+p8+p 11+p 12+p 13) /9> M2 的平均像素值=(p2+p3+p4+p7+p8+p9+p 12+p 13+p 14 )/9、M3 的平均像素值=(p3+p4+p5+p8+p9+pl0+pl3+pl4+pl5)/9、M4 的平均像素值=(p6+ p7+p8+p 11+p 12+p 13+p 16+p 17+p 18) /9, M5 的平均像素值=(p7+p8+p9+p 12+p 13+p 14+p 17+p 18+pl9)/9、M6 的平均像素值=(p8+p9+pl0+pl3+pl4+pl5+pl8+pl9+p20)/9、M7 的平均像素 值=(pll+pl2+pl3+pl6+pl7+pl8+p21+p22+p23)/9、M8 的平均像素值=(pl2+pl3+pl4+pl 7+pl8+pl9+p22+p23+p24)/9、和 M9 的平均像素值=(p 13+p 14+p 15+ρ 18+ρ 19+ρ20+ρ23+ρ24+ ρ25)/9。在步骤460中，边缘增益计算器120计算作为对各自修补区域所计算的平均像素 值之间的差的平均值的复杂增益。例如，如图5Β所示，边缘增益计算器120计算Ml的平均像素值、Μ2的平均像素
值、Μ3的平均像素值.....Μ8的平均像素值，和Μ9的平均像素值之间的差的平均值。所计
算的复杂增益(Complexityfeiin)是(|M1的平均像素值-M5的平均像素值| + |M2的平均像 素值-M5的平均像素值I +1M3的平均像素值-M5的平均像素值I +1M4的平均像素值-M5的 平均像素值I + IM6的平均像素值-M5的平均像素值| + |M7的平均像素值-M5的平均像素值
+1M8的平均像素值-M5的平均像素值I +1M9的平均像素值-M5的平均像素值I +1 Ml的平均 像素值-M2的平均像素值| + |M2的平均像素值-M3的平均像素值| + |M3的平均像素值-M6 的平均像素值I +1M6的平均像素值-M9的平均像素值I +1M9的平均像素值-M8的平均像素 值I +1M8的平均像素值-M7的平均像素值I +1M7的平均像素值-M4的平均像素值| +1M4的 平均像素值-Ml的平均像素值I)/16。在步骤470，边缘增益计算器120通过使用所计算的对比增益和所计算的复杂增 益来计算边缘增益。更具体地，边缘增益计算器120通过将所计算的对比增益乘以所计算 的复杂增益来计算边缘增益。回到图2，在步骤230中，控制器100通过边缘阈值计算器130从原始图像计算边 缘阈值。可以将边缘阈值设置为大于根据边缘区域的复杂度而设置的数值以抑制像素修补 区域中的噪声，或可以将边缘阈值设置为小于该数值以允许像素修补区域中的噪声。参考图6，将详细说明由边缘阈值计算器130计算边缘阈值的过程。图6是图解根 据本发明一实施例的由边缘阈值计算器130计算边缘阈值的过程的流程图。参考图6，在步骤600中，边缘阈值计算器130从原始图像提取任意像素修补区域。 在步骤610中，边缘阈值计算器130对所提取的像素修补区域计算平均像素值。例如，5X5 像素修补区域的平均像素值mean可以是(pi的像素值+p2的像素值+p3的像素值+. . . +p23 的像素值+PM的像素值+P25的像素值)/25。边缘阈值计算器130在步骤620中计算像素修补区域的每个像素值和所计算 的平均像素值之间的差，并且在步骤630中通过使用是所计算的差的平均值的变量来计 算边缘阈值。变量(var)是(|pl的像素值-mean| + |p2的像素值-mean | +1 p3的像素 值-mean | +1 p4的像素值-mean | +1 p5的像素值-mean | +1 p6的像素值-mean | +1 p7的像素 值-mean | +1 p8的像素值-mean | +1 p9的像素值-mean | + plO的像素值-mean | +1 pll的像素 值-mean | + pl2的像素值-mean | + pl3的像素值-mean | + pl4的像素值-mean | + pl5的像 素值-mean | + pl6的像素值-mean | + pl7的像素值-mean | + pl8的像素值-mean | + pl9的像素值-mean | +1 p20的像素值-mean | +1 p21的像素值-mean | +1 p22的像素值-mean | +1 p23 的像素值-mean | +1 p24的像素值-mean | +1 p25的像素值-mean |) /25。通过使用变量(var)， 边缘阈值(EdgeThreshold) = G(var)。函数GO是单调性的非递增的函数，其中域是变量(var)，并且范围是非负的实数 或是非负的整数。换句话说，因为原始图像的大的变化意味着复杂的纹理(texture)或边缘区域， 所以将边缘阈值设置为小于预置值以消除边缘区域中少量的噪声，从而允许边缘区域中的 噪声。另一方面，原始图像的小的变化意味着平坦的纹理或非边缘区域，从而将边缘阈值设 置为大于预置值以消除大量的噪声，从而抑制边缘区域中的噪声。在图2的步骤240中，控制器100将所提取的边缘区域与所计算的边缘增益结合。 在步骤250中，控制器100从结合边缘增益的边缘区域去掉具有小于所计算的边缘阈值的 边缘值的边缘以生成最终边缘图像。在步骤沈0中，控制器100将最终图像与原始图像组 合以输出最终图像。这样，本发明适应性地对具有多重图像特征的图像中的需要强调边缘 的部分和其他部分调整边缘增益和边缘阈值，从而同时达到边缘强调和噪声消除。虽然参考本发明实施例已经示出和说明了本发明，但是本领域的技术人员将理 解，在不脱离如所附权利要求限定的本发明的精神和范围的情况下，可以在此做出形式和 细节上的各种变化。因此，本发明的范围应该由所附权利要求及其等效内容来限定，而不是 所公开的实施例。
权利要求
1.一种用于基于图像特征强调边缘的图像生成设备，所述图像生成设备包括边缘提取器(110)，用于从输入的原始图像提取边缘区域；边缘增益计算器(120)，用于对原始图像的多个图像区域的每一个计算指示用于强调 所述边缘区域的程度的边缘增益；边缘阈值计算器(130)，用于对所述原始图像的所述多个图像区域的每一个计算指示 像素之间的复杂度的边缘阈值；以及控制器(100)，用于把由所述边缘提取器提取的所述边缘区域与由所述边缘增益计算 器计算的所述边缘增益结合，通过对结合所述边缘增益的所述边缘区域调整由所述边缘阈 值计算器计算的所述边缘阈值来执行阈值化，并且把应用了阈值化的边缘区域与所述原始 图像组合以输出最终图像。
2.根据权利要求1所述的图像生成设备，其中所述边缘增益计算器(120)对所述多个 图像区域的每一个计算指示对比度的亮度变化或对比增益，对所述多个图像区域的每一个 计算指示复杂度的复杂增益，并且把所计算的对比增益与所计算的复杂增益结合以计算所 述边缘增益。
3.根据权利要求2所述的图像生成设备，其中所述边缘增益计算器(120)对所述多个 图像区域的每一个计算平均像素值、最大亮度值和最小亮度值，通过使用所计算的平均像 素值和所计算的最大亮度值来计算平均最大亮度值，通过使用所述平均像素值和所述最小 亮度值来计算平均最小亮度值，并且通过使用所计算的平均最大亮度值和所计算的平均最 小亮度值来计算所述对比增益。
4.根据权利要求1所述的图像生成设备，其中所述边缘增益计算器(120)对所述多个 图像区域的每一个设置具有预定尺寸的多个修补区域，对所述多个修补区域的每一个计算 平均像素值，并且计算所计算的平均像素值之间的平均值差作为所述复杂增益。
5.根据权利要求4所述的图像生成设备，其中所述边缘阈值计算器(130)对所述多个 图像区域的每一个计算各自像素的像素值和所计算的平均像素值之间的差，以及通过使用 所计算的差的平均值来计算所述边缘阈值。
6.根据权利要求1所述的图像生成设备，其中如果结合所述边缘增益的所述边缘区域 具有高的复杂度，则所述控制器(100)把所述边缘阈值设置为小于预置值以调整噪声允许 程度，而如果结合所述边缘增益的所述边缘区域具有低的复杂度，则所述控制器(100)把 所述边缘阈值设置为大于所述预置值以调整噪声抑制程度。
7.根据权利要求1所述的图像生成设备，其中所述控制器(100)把所提取的边缘区域 乘以所计算的边缘增益，从乘以所述边缘增益的所述边缘区域去掉具有小于所计算的边缘 阈值的边缘值的边缘，并且把从其中去掉了具有小于边缘阈值的边缘值的所述边缘的边缘 区域与所述原始图像组合，从而生成强调边缘的原始图像。
8.一种在图像生成设备中基于图像特征强调边缘的图像生成方法，所述方法包括从输入的原始图像提取边缘区域；对原始图像的多个图像区域的每一个计算指示用于强调所述边缘区域的程度的边缘 增益；对所述原始图像的所述多个图像区域的每一个计算指示像素之间的复杂度的边缘阈值；把所提取的边缘区域与所计算的边缘增益结合；通过对结合所述边缘增益的所述边缘区域调整所计算的边缘阈值来执行阈值化； 把应用了阈值化的边缘区域与所述原始图像组合；以及 输出最终图像。
9.根据权利要求8所述的图像生成方法，其中计算所述边缘增益包括 计算指示所述多个图像区域的每一个的对比度的亮度变化或对比增益； 计算指示所述多个图像区域的每一个的复杂度的复杂增益；以及 把所计算的对比增益与所计算的复杂增益结合以计算所述边缘增益。
10.根据权利要求9所述的图像生成方法，其中计算所述对比增益包括 对所述多个图像区域的每一个计算平均像素值、最大亮度值和最小亮度值；通过使用所计算的平均像素值和所计算的最大亮度值来计算平均最大亮度值，并且通 过使用所述平均像素值和所述最小亮度值来计算平均最小亮度值；以及通过使用所计算的平均最大亮度值和所计算的平均最小亮度值来计算所述对比增益。
11.根据权利要求9所述的图像生成方法，其中计算所述复杂增益包括 对所述多个图像区域的每一个设置具有预定尺寸的多个修补区域； 对所述多个修补区域的每一个计算平均像素值；以及计算所计算的平均像素值之间的平均值差作为所述复杂增益。
12.根据权利要求11所述的图像生成方法，其中计算所述边缘阈值包括对所述多个图像区域的每一个计算各自像素的像素值和所计算的平均像素值之间的 差；以及通过使用所计算的差的平均值来计算所述边缘阈值。
13.根据权利要求8所述的图像生成方法，其中执行阈值化包括如果结合所述边缘增益的所述边缘区域具有高的复杂度，则把所述边缘阈值设置为 小于预置值以调整噪声允许程度，而如果结合所述边缘增益的所述边缘区域具有低的复杂 度，则把所述边缘阈值设置为大于所述预置值以调整噪声抑制程度。
14.根据权利要求8所述的图像生成方法，其中输出所述最终图像包括把所提取的边缘区域乘以所计算的边缘增益，并且从乘以所述边缘增益的所述边缘区 域去掉具有小于所计算的边缘阈值的边缘值的边缘；以及把从其中去掉了具有小于边缘阈值的边缘值的所述边缘的边缘区域与所述原始图像 组合，从而生成强调边缘的原始图像。
全文摘要
本发明提供了用于通过下述步骤而基于图像特征强调边缘的图像生成设备和方法从输入的原始图像提取边缘区域，并且对原始图像的多个图像区域的每一个计算指示强调边缘区域的程度的边缘增益和指示像素之间的复杂度的边缘阈值。将所提取的边缘区域与所计算的边缘增益结合。通过对结合边缘增益的边缘区域调整所计算的边缘阈值来执行阈值化，并且将应用了阈值化的边缘区域与原始图像组合以输出最终图像。这样，通过适应性地对具有多重图像特征的图像中的需要强调边缘的部分和其他部分调整边缘增益和边缘阈值，可以同时达到边缘强调和噪声消除。
文档编号G06T5/50GK102142135SQ20111003241
公开日2011年8月3日 申请日期2011年1月30日 优先权日2010年1月29日
发明者宋汉世, 尹泳权, 朴喜灿, 朴珉奎, 李庸求 申请人:三星电子株式会社