专利名称：用于减少图像去卷积的环状伪影的方法和系统的制作方法
技术领域：
本发明涉及用于 减少图像数据中的环状伪影(ringing artifact)的方法、用于执 行该方法的步骤的计算机程序产品、用于减少图像数据中的环状伪影的系统以及包括用于 环状伪影减少的系统的成像设备。具体地，本发明涉及图像去卷积(deconvolution)的环 状伪影减少。
背景技术：
当图像被摄取时，其可能由于例如手抖动等而被模糊。如果点扩散函数(PSF)是 已知的，则去卷积方法可以应用于被模糊的图像以从模糊的图像恢复原始图像。然而，对于 大多数图像去卷积，特别是如果频域中的点扩散函数具有空值(mill)时，作为副作用产生 环状伪影。不同的方法被执行以减少图像去卷积的环状伪影。一种方法提出图像去卷积使用 自然图像先验(prior)，即图像梯度的稀疏性。除了稀疏性先验，另一方法建议局部图像先 验，即，局部图像变量。通过两种图像先验，可以在平坦区域中避免环状伪影。然而，根据现有技术，存在针对某些类型的图片有很好作用但是对于其他类型的 图片不起作用的方法。例如，存在如下的方法在平坦区域中提供良好结果，但是对于纹理 区域，特别是在纹理和强图像结构共存的区域中就面临问题。
发明内容
因此，本发明的一个目的是减少现有技术的不利。具体地，本发明的一个目的是提 供用于图像去卷积的改进的环状伪影减少的方法和系统。该目的通过独立权利要求的特征来解决。有利特征和实施例是独立权利要求的主题。
现在，将在以下与附图相关联的优选实施例的描述中，更详细地说明本发明，在附 图中图1示出根据本发明优选实施例的环状伪影减少系统的示意性框图，图2示出根据本发明第二实施例的环状伪影减少系统的示意性框图，以及图3示出根据本发明的方法的处理步骤的流程图。
具体实施例方式如已经说明的，在图像去卷积之后，可能出现环状伪影。本发明提议使用边缘缩减 (edge tapering)方法来抑制图像去卷积的环状伪影。然而，为了使用边缘缩减方法，边缘 必须被可靠地检测出。不可能从模糊的图像中可靠地检测出边缘，因为模糊就像低通滤波 器一样起作用从而边缘被平坦化。因此，根据本发明，提出从去模糊后的图像中检测图像边缘。尽管去模糊后的图像通常具有环状伪影，但是它们的幅度小于强图像边缘的幅度。因 此，根据本发明，通过为边缘检测选择相应的大阈值来防止环状伪影影响边缘缩减。以这种 方式，可以抑制图像去卷积的环状伪影。 为了更清楚，本发明提议对原始的模糊图像应用去卷积，以在去卷积后的图像内 检测边缘，并且使用从去卷积后的图像中检测出的边缘来在原始图像内执行边缘缩减。图1示出根据本发明的用于减少环状伪影的系统10的第一实施例。原始的模糊图像50以及点扩散函数(PSF) 55被提交给去卷积单元1。去卷积单元 1适于使用点扩散函数55对原始的模糊图像50或者任意其它提交的图像执行去卷积。作 为去卷积，任何已知的或者将来的去卷积方法都可以使用。去卷积可以是迭代的或非迭代 的。所使用的去卷积的示例有Van Cittert去卷积、Wiener去卷积、Richardson-Lucy去卷 积或任意其它已知的或将来的去卷积方法。然后，去卷积后的图像51被提交给边缘检测器 21。系统10还包括阈值提供器3，阈值提供器3向边缘检测器2提供阈值53。边缘检测器2适于利用通过阈值提供器3接收的阈值53来使用任意已知的或将 来的检测边缘的方法。具体地，边缘检测器2可以计算相邻像素之间的差并且如果差在阈 值53以上，则判定在两个像素之间存在边缘。在优选实施例中，阈值提供器3向边缘检测器2提供总是相同的值，即，不变的阈 值53。在最简单的形式中，阈值提供器3可以仅仅是存储阈值53的存储装置。然后，边缘检测器2将从去卷积后的图像51，即去模糊后的图像中获得的边缘信 息52输出给边缘缩减单元7。点扩散函数55和原始的模糊图像50也将被提交给边缘缩减单元7。边缘缩减单元7将使用从边缘检测器2提交的检测出的边缘信息52来进行缩减， 艮口，衰减原始的模糊图像50内的边缘。在本发明的上下文中，表述“边缘缩减”是指边缘强度衰减(attenuating)。在根 据边缘信息52检测出的边缘周围的在点扩散函数55的大小或多倍大小以内的所有像素用 定义的正加权因子w来衰减，w例如小于1，即，0<w< 1。因此，边缘缩减也可以描述为边 缘衰减。然后，边缘缩减后的图像57被提交给去卷积单元1，去卷积单元1执行去卷积。因此，该去卷积单元1优选与原始的模糊图像50被提交到的去卷积单元1相对 应。所以，优选地，在系统10内仅提供一个去卷积单元1，然而为了完整以及更好地理解，去 卷积单元1在图1中被示出两次。去卷积单元1使用点扩散函数55对边缘缩减后的图像57执行去卷积并且之后输 出环状减少后的图像61。还是为了更清楚，根据本发明，对原始的模糊图像50执行边缘缩减。然而，为了进 行边缘缩减，边缘必须被检测出，所以，对去卷积后从而被去模糊后的图像执行边缘检测本 身。可选地，如图1中所示，可以另外提供多分辨率单元4。利用所提议的多分辨率单 元4，可以克服检测出中等或较弱的边缘的问题。如果背景是均勻的，则即使环状伪影是由中等或较弱的边缘引起的，它们也可以 被观察到。然而，使用大的阈值53不能检测出中等或较弱的边缘。为了克服此问题，提议使用多分辨率单元4以不同的分辨率水平来检测边缘。用于此目的的多分辨率单元4包括低通滤波器5和下采样单元6。因此，去卷积后 的图像51被提交给多分辨率单元，此处，其通过低通滤波器5被低通滤波并且之后通过下 采样单元 6被下采样。具有不同分辨率的相应图像54之后又被提交给边缘检测器2。通 过向边缘检测器2提供具有不同分辨率的图像，边缘检测器2可以总是使用由阈值提供器 3提供的相同阈值53但是能够检测甚至中等或较弱的边缘。当然，也可以重复多分辨率单元4中的处理若干次以实现具有不同分辨率的不同 图像，进而使得能够检测不同强度的边缘。因此，通过多分辨率处理，中等或甚至较弱的边缘也可以被检测出，尽管所选择的 阈值53比较高。在多分辨率的上下文中，参考文献US2007/0189610A1，其全部内容通过引 用被结合于此。图2示出根据本发明的用于减少环状伪影的系统10的第二实施例。还是应当注意，尽管为了清楚起见，具有相同标号的组件在图2中被示出若干次， 但是在优选实施例中，这些组件不是分离的组件而是可以被实现到一个组件中，并且仅仅 是为了清楚起见才在附图中被示出为分离的组件。从原始的模糊图像50的接收开始直到环状减少后的图像61的输出为止的组件和 处理都与图1中示出的以及参考图1说明的组件和处理相同。在根据本发明的第二实施例中，提供了去卷积的级联，从而去卷积可以相同或不 同并且可以是迭代的或非迭代的。在该第二实施例中，环状减少后的图像61被用来检测边缘以避免从环状伪影进 行错误边缘检测。为了此目的，环状减少后的图像61被提交给边缘检测器2。边缘检测器 2又从阈值提供器3接收阈值63，该第二级中的阈值63可以与第一级中的阈值53不同。然 后，边缘检测器2对环状减少后的图像61执行边缘检测并且将边缘信息62输出给边缘缩 减单元7。边缘缩减单元7进而接收原始的模糊图像50和点扩散函数并且使用从环状减少 后的图像61获得的边缘信息62来对原始的模糊图像50执行边缘缩减。可选地并且另外地，在第二实施例中，也可以提供多分辨率单元4，其使得能够向 边缘检测器2提供具有不同分辨率的图像64。然后，边缘缩减单元7将边缘缩减后的图像67输出给去卷积单元1，去卷积单元1 之后基于接收到的点扩散函数55执行去卷积并最后输出环状抑制后的图像。为了更清楚，边缘缩减单元7总是使用点扩散函数55来对原始的模糊图像50执 行边缘缩减。然而，根据本发明，提供获得边缘信息52和62的不同可能性。在第一实施例中， 边缘信息或者是单从去卷积后的图像51获得，或者在去卷积后的图像51以外还从具有不 同分辨率的一个或多个图像获得。在第二实施例中，边缘信息62从已经被执行过边缘缩减 的环状减少后的图像获得。在第二实施例中，也可以另外提供了多分辨率。当然，还可以提供甚至更多的去卷积级联，并且本发明不限于参考图2所说明的 去卷积数。现在，将根据图3中示出的流程图来再次更详细地描述本发明的方法。该处理开始于步骤SO。在步骤Sl中，点扩散函数PSF 55被提供，并且在步骤S2中，原始的模糊图像50被提供。之后，在步骤S3中，点扩散函数和原始的模糊图像被用来对原始的模糊图像应用 去卷积。在提供了多分辨率的情况中，步骤S3的结果(即，去卷积后的图像51)在步骤S4 中被进行低通滤波并且在步骤S5中被进行下采样。在步骤S6中，检查是否达到迭代标准。 如果未达到，则再次进行步骤S4中的低通滤波和步骤S5中的下采样，以实现具有不同分辨 率的图像。否则，如果达到迭代标准，则具有不同分辨率的相应的一个或多个图像在步骤S7 中经历边缘检测。为此目的，点扩散函数也被提供给边缘检测器。在没有提供多分辨率的情况中，去卷积后的图像51被直接提交给边缘检测器2， 边缘检测器2在步骤S7中执行边缘检测。原始的模糊图像被提供给边缘缩减单元7，边缘缩减单元7然后在步骤S8中基于 由边缘检测器2提交的边缘信息52来对原始的模糊图像50执行边缘缩减。在下一步骤S9中，去卷积被应用于边缘缩减后的图像57。在步骤SlO中，环状减 少后的图像被输出。在步骤Sll中，检查是否提供了去卷积的级联。如果不是这种情况，则处理在步骤 S14中结束。否则，在步骤S12中环状减少后的图像被用于如前所述的边缘检测，并且在相应 处理之后，在步骤S13中环状抑制后的图像被输出。然后，在任何情况中，该处理都在步骤 S14中结束。本方法和系统可以在使得可以处理以及可选地显示静止或运动图像的任意设备 中被实现，例如，照相机、录像机、TV、PC等。具体地，本系统、方法和计算机程序产品可以在在非频闪显示设备中显示图像时 被使用，这样的显示设备具体有液晶显示面板(LCD)、薄膜晶体管显示器(TFT)、色序显示 器、等离子显示面板(PDP)、数字微镜设备或有机发光二极管(OLED)显示器。已经为了图解和描述的目的提供了本发明的优选实施例的以上描述。不意在是排 他性的或将本发明限制于所公开的具体形式。许多修改例和变形例对于本领域的技术人员 将是显而易见的。实施例被选择和描述以最好地描述本发明的基本原理及其实际应用，从 而使得本领域技术人员能够理解本发明、构想到的适于具体使用的各种实施例和各种修改 例。尽管已经以结构特征和/或方法步骤特定的语言描述了本发明，但是应当理解， 所附权利要求中所限定的本发明不一定局限于所描述的特定特征或步骤。而是，这些特定 特征和步骤被公开作为实现所要求保护的发明的优选形式。利用本发明，通过缩减从去模糊后的图像检测出的边缘和/或使用多分辨率方法 并缩减从环状减少后的图像检测出的边缘和/或使用多分辨率处理方法，强有力地减少了 图像去卷积的环状伪影。权利要求
1.一种用于减少图像去卷积的环状伪影的方法，包括以下步骤 对原始的模糊图像(50)应用去卷积，在去卷积后的图像(51)内检测边缘，以及基于所检测出的边缘来对所述原始的模糊图像(50)执行边缘缩减。
2.根据权利要求1所述的方法，还包括以下步骤 对所述去卷积后的图像(51)进行低通滤波，对滤波后的图像进行下采样，以及另外还将下采样后的经滤波的图像(54)用于边缘检测。
3.根据权利要求1所述的方法，还包括以下步骤重复所述低通滤波和下采样至少一次来获得具有不同分辨率的下采样后的经滤波的 图像(54)以用于边缘检测。
4.根据权利要求1、2或3所述的方法，其中，检测边缘的步骤包括 计算相邻像素之间的像素差，以及如果所述像素差超过预定阈值(53)，则判定边缘存在。
5.根据前述权利要求中任一项所述的方法，包括以下步骤对边缘缩减后的图像(57)应用第二去卷积，从而获得环状减少后的图像(61)。
6.根据权利要求5所述的方法，包括以下步骤通过在所述环状减少后的图像(61)内检测边缘来重复边缘检测的步骤，并且基于在 所述环状减少后的图像(61)内检测出的边缘来重复对所述原始的模糊图像(50)应用边缘 缩减的步骤。
7.根据前述权利要求中任一项所述的方法， 其中，所述去卷积是迭代的或非迭代的。
8.根据前述权利要求中任一项所述的方法，其中，边缘缩减的步骤包括衰减在所检测出的边缘周围的在点扩散函数的大小或多倍 大小以内的像素。
9.根据权利要求8所述的方法，其中，所述衰减是通过将所述像素乘以正的分数加权因子w来完成的，其中，0 < w < 1。
10.一种用于减少图像去卷积的环状伪影的系统，包括 去卷积单元(1)，用于对原始的模糊图像(50)应用去卷积， 边缘检测器O)，用于在去卷积后的图像(51)内检测边缘，以及边缘缩减单元(7)，用于基于检测出的边缘对所述原始的模糊图像(50)执行边缘缩减。
11.根据权利要求10所述的系统，还包括多分辨率单元G)，所述多分辨率单元(4)包 括用于对所述去卷积后的图像(51)进行低通滤波的低通滤波器(5)和用于对滤波后的图 像进行下采样的下采样单元(6)，其中，所述边缘检测器( 适于另外还将下采样后的经滤 波的图像(54)用于边缘检测。
12.根据权利要求11所述的系统，其中，所述多分辨率单元(4)适于重复所述低通滤波和下采样至少一次来获得具有不同分辨率的下采样后的经滤波的图像(54)以用于边缘检测。
13.根据权利要求11、12或13所述的系统，其中，所述边缘检测器(2)适于计算相邻像素之间的像素差，以及如果所述像素差超过预定阈值(53)，则判定边缘存在。
14.根据前述权利要求中任一项所述的系统，其中，所述去卷积单元(1)适于对边缘缩减后的图像(57)应用第二去卷积，从而获得 环状减少后的图像(61)。
15.根据权利要求14所述的系统，其中，所述边缘检测器(2)适于通过在所述环状减少后的图像(61)内检测边缘来重复 边缘检测的步骤，并且基于在所述环状减少后的图像(61)内检测出的边缘来重复对所述 原始的模糊图像(50)应用边缘缩减的步骤。
16.根据前述权利要求中任一项所述的系统，其中，所述去卷积是迭代的或非迭代的。
17.根据前述权利要求中任一项所述的系统，其中，所述边缘缩减单元(7)适于衰减在所检测出的边缘周围的在点扩散函数的大小 或多倍大小以内的像素。
18.根据权利要求17所述的系统，其中，所述边缘缩减单元(7)适于通过将所述像素乘以正的分数加权因子w来完成衰 减，其中，0 < w < 1。
19.包括根据权利要求10至18中任一项所述的系统的设备，所述设备优选是照相机、 录像机或显示器。
20.一种用于减少图像去卷积的环状伪影的系统，包括用于对原始的模糊图像(50)应用去卷积的装置，用于在去卷积后的图像(51)内检测边缘的装置，以及用于基于所检测出的边缘来对所述原始的模糊图像(50)执行边缘缩减的装置。
21.一种存储在计算机可读介质上的计算机程序产品，使得计算机执行以下步骤对原始的模糊图像(50)应用去卷积，在去卷积后的图像(51)内检测边缘，以及基于所检测出的边缘来对所述原始的模糊图像(50)执行边缘缩减。
22.一种包括根据权利要求21所述的计算机程序产品的计算机可读存储介质。
全文摘要
本发明公开了用于减少图像去卷积的环状伪影的方法和系统。对原始的模糊图像(50)应用去卷积，并且在去卷积后的图像(51)内检测边缘。然后，基于所检测出的边缘来对原始的模糊图像(50)执行边缘缩减。本发明还涉及用于减少图像去卷积的环状伪影的计算机程序产品。
文档编号G06T5/00GK102044067SQ20101052497
公开日2011年5月4日 申请日期2010年10月13日 优先权日2009年10月13日
发明者克劳斯·齐默曼恩, 雷志春 申请人:索尼公司