专利名称：用于产生输出图像数据的方法和系统的制作方法
技术领域：
本发明涉及用于产生输出图像数据的方法和系统。
背景技术：
我们在许多地方遇到形式Ax 的方程组。其中，数的nXm矩阵A已知为nXl矢量b，并且我们对于使得近似值尽可能接近地成立(在某种意义上)的矢量X求解。作为具体例子，我们可尝试并预测2006年的月份温度作为前5年的月份温度的线性组合。从而，这里A为12X5并且b为12X1，并且我们对于5X1矢量X求解。存在许多的对于x求解的方式，但是在本文中，我们关心健壮解。例如假定我们具有两个方程组:Ax b和Ay b+c。其中，c表示非常小的数的矢量；即，两组的方程有效地相同。如果我们对于X和y求解时它们的解相互不同，那么我们会感到奇怪。但是，如果我们单纯地求解方程，那么事实会是如此。健壮解策略会返回X y。
发明内容
根据本发明的一个方面，提供一种产生输出图像数据的方法，该方法包括:获得与基准图像有关的导数数据；获得输出图像数据的约束；和根据约束从与基准图像有关的导数数据产生输出图像数据。根据本发明的一个方面，提供一种图像处理系统，该图像处理系统包括:被配置为获得与基准图像有关的导数数据的第一部件；被配置为获得输出图像数据的约束的第二部件；和可操作为从第一部件接收与基准图像有关的导数数据并从第二部件接收约束并根据约束从与基准图像有关的导数数据产生输出图像数据的第三部件。根据本发明的一个方面，提供一种用于存储当被处理器执行时使处理器实现产生输出图像数据的方法的机器可执行指令的计算机可读存储介质，包括:获得与基准图像有关的导数数据；获得输出图像数据的约束；和根据约束从与基准图像有关的导数数据产生输出图像数据。根据本发明的一个方面，提供一种用于从输入图像的导数恢复健壮输出图像的方法。在本说明书中，使用术语“图像”和“图像数据”。一般地，使用“图像”以表示图像自身或从中呈现视觉图像的数据，从而以直接的方式描述它，例如不是描述图像的函数或导数。但是，“图像数据”可直接或间接地表示图像，它可例如指的是图像的函数或导数。根据本发明一个方面，提供一种处理图像的方法，该方法包括获得图像的导数并然后从中恢复处理的图像。该方法具有能够产生健壮图像的优点。在优选的方法中，处理或恢复的图像的平均值被设为等于原始图像的平均值；这具有避免由积分的未知常数导致的问题的优点。根据本发明的一个方面，提供用于处理图像的设备，该设备包括用于获得图像的导数的装置和用于从导数恢复处理的图像的装置。
优选地，从基准图像的导数恢复基准图像的健壮版本以形成输出图像。虽然描述一般涉及图像的产生或处理，但是本发明的方面也适用于例如音频信号的输入信号的任何形式。可以在本发明的实施例中使用任何次数的导数。可通过均方根度量或从最大和最小输出图像值之间的差值计算输出图像数据的函数的大小。
现在参照附图仅作为例子描述优选实施例，其中:图1是根据本发明的实施例的系统的示意图；图2:a)是原始图像，b)是根据本发明的实施例的健壮方法的一次应用之后的图像，以及d)是两次应用之后的图像。2c)与2b)比较原始强度(图像的断面)，以及2e)表示单次和双重应用的亮度；图3是本发明的实施例的针对图像大小的拟合误差的两个示图；以及图4:a)是原始图像，b)是健壮对应物，c)是效果得到减弱的健壮对应物，d)是较大的λ的健壮图像，以及e)是c)与d)的平均值。
具体实施例方式图1是用于产生与希望的健壮性的图像有关的输出图像数据的系统100的示意图。在示出的实施例中，系统100是图像压缩系统，但是对于诸如以下描述的应用，系统可被用于产生希望的健壮性的图像。图像捕获装置110在本实施例中是可操作为捕获场景的图像的数字照相机。第一部件120可操作为获得与由图像捕获装置110捕获的基准图像有关的数据。但是，第一部件120可替代性地通过其它的手段、诸如从数据存储器获得与基准图像有关的图像数据。在本实施例中，第一部件120可操作为产生与基准图像有关的导数数据。但是，在其它的实施例中，由第一部件120接收的与基准图像有关的数据是与基准图像有关的导数数据。第一部件120可操作为向与基准图像有关的导数数据应用函数，诸如阈值或削波到零函数。第二部件130可操作为根据产生哪种输出图像数据获得规则化约束。在示出的实施例中，约束包含使以下的项的和最小化的要求:输出图像数据的导数与基准图像的导数数据之间的差异；和正罚项。在后面更详细地描述可能的约束。第三部件140从第一部件120获得对于基准图像的导数数据并从第二部件130获得规则化约束，并且根据约束从与基准图像有关的导数数据产生输出图像数据。在示出的实施例中，由输出图像数据表现的输出图像是由于规则化约束中的正罚项压缩动态范围的健壮图像。如上面解释的那样，如果导数取自输出图像并然后轻微地改变，那么它们仍合并成接近输出图像的图像。因此，输出图像被称为健壮。但是，基准图像的细节不丢失，并且可通过使用输出图像作为系统100的基准图像但使用规则化约束中的适当的负罚项被恢复。这可使得图像不健壮并且延长压缩的动态范围。第三部件140也可操作为向输出图像数据施加通过第一部件120向与基准图像有关的导数数据施加的函数的反函数。当然，第一、第二和第三部件120、130和140不需要是单独的物理部件，而可以是诸如适当编程的处理器的单个部件。另外，如上面解释的那样，系统不限于描述的图像压缩应用，而是可被用于需要预定的健壮性的图像的许多其它应用。对于它们中的许多，使用不同的规则化约束，并且在后面详细描述它们。为了理解我们的方法，进一步检查我们如何求解方程组是有用的。假定我们具有nX2矩阵A= [b C1]并且我们尝试求解Ay^ b+c2。推荐c表示非常小的数的矢量，很显然，好的解会是X= [I OJt0但是，同样地，假定IOOOc1 ^ 0，则X= [I ΙΟΟΟΟΓ是可能的。我们如何在这两个解之间区分？那么，可论证地，由于第2系数较小(O与10000相比)，因此，X= [I 0ΓΚχ=[1 ΙΟΟΟΟΓ简单。事实上，我们会说，方程组的好的解具有I IAx^bI且I Ixl I较小的性能(其中，11.11是大小的一些度量，例如，平方和的均方根)。在数学上，我们可以通过最小化下式找到这些解:1=| Αχ-b | + λ I |χ| I(I)其中，λ是用户定义的罚标量。关于我们的例子，很显然，解X = [I (^会是优选的。因此，该导言如何帮助我们考虑健壮图像？那么，假定我们具有表示为矢量Q的图像J(x，y):作为数的长矢量伸出的图像 J。使q表示与Q相关的X和y导数。众所周知，图像的导数是图像自身的对偶表示(dual representation) [7]:给定图像导数,我们可通过积分(直到积分的单个未知常数)来恢复图像。为了进一步考虑这些思想，我们将微分写为矩阵式:DQ=q(2)位置(i，j)上的图像J的X导数可被写为J(i+1，j)_J(i，j)。类似地，y导数等于J(i，j+l)-J(i，j)。如果J为nXm,那么Q是数的nm矢量。微分算子矩阵D是2nmXnm矩阵(由于每个像素存在X和y导数，因此为2nm行)。除了为I和-1的两个条目，D的给定行均为0，如果J(i+1，j)和J(i，j+1)被映射到Q的第u行和第V行，那么我们将I置于列u并且将-1置于V。为了求解(2)，我们会单纯地和错误地如原来那样写为:Q = D_1q(3)错误的是，由于微分算子矩阵均是非平方的(通过非逆定义)和缺少秩的。我们可通过在我们计算导数图像时仔细规定在图像的边界上出现什么使其为全秩(nm维)。例如，我们会假定:在图像的边界外面，图像信号为O (有效地，我们用O扩充原始图像)。这是Dirichlet边界条件的一个例子(我们假定我们知道什么在图像外面)。作为替代方案，我们会假定同类Newmann边界条件:图像的边缘上的导数为O。但是，我们仍不能直接将D求逆(它仍然不是平方)。而是，我们在最小平方的意义上对Q求解:Q = DVQ=[DtD]-1Dtq (4)其中，D+是伪倒数[3](有时称为Moore-Penrose倒数)。很显然,将DQ代入(4)中的q导致Q = Q的结论(即，我们正确地重新积分导数，以恢复开始的图像:我们已示出图像的对偶性和它们的导数)。现在考虑给定方程DQ1 q并且DQ2 ^ q+c。很显然，给定类似的导数，我们会喜欢％ ^ q2。一种实现这一点的方式是使下式中的误差最小化:Err=| |DR_q| | + 入 I |R| I (5)S卩，给定导数q，我们恢复大小在一些意义上处于边界的图像R (罚项λ越大，则恢复图像的大小越小，正如式I那样)。我们说，以这种方式恢复的图像(从其自身的导数)是健壮的。这是由本发明的实施例提供的有用的优点。我们这里观察恢复具有希望的性能的图像的规则化的思想不是全新的。Hurlbert[6]将亮度恢复(反射率和照度的分离)公式化为规则化问题。其中，尽管对于使输入图像与具有希望性能的有关图像相关对于最小化求解(在Hurlbert的论文中，具有比方说强度梯度的图像与去除了梯度的对应物有关)。在本发明的实施例中，不给出解的“右手”部分(不是经典的回归)。并且，在Hurlbert的方法中，中心误差函数在原始(非导数)域中使误差最小化。(5)的解等于:R=D^HAir1Dtq(6)其中，I表示nmXnm单位矩阵(identity matrix)。注意，q = DQ,我们将(6)重与为:R=Q^HXir1DtDQ(7)关于(7)，是值得多说几点的。首先，与(4)不同，恢复图像的导数一般不等于开始的导数:DQ古q。但是这是我们想要:通过式(6)，常常不健壮的输入图像被转变成健壮。第二，由于在矩阵求逆中不包含单位矩阵I，因此很显然，[DtD+λ ΙΓ1总是可逆的。即使当我们关于边界条件宽松时，这也保持成立。这是相当重要的一点。它意味着例如我们可用导数中的第二个、第三个(或者，事实上，任意序号或序号的组合)替换D中的导数运算，并且我们仍具有很好地形成的最小化。我们可在不进行强的边界假定的情况下从其导数恢复图像以及我们可用任意序号的导数工作是本发明的实施例的两个优点。可通过使用包括Jacobi迭代和Gauss-Seidel方法[8]的标准矩阵求逆技术求解式(7)。在某些条件下(例如，假定同类的Neumann边界条件)，(7)的矩阵计算可被写为卷积算子。关于同类的Neumann边界条件，可对于给定的λ表示它，(7)的结果可近似为:
权利要求
1.一种产生输出图像数据的方法，包括: 获得与基准图像有关的导数数据； 获得输出图像数据的约束；和 根据约束从与基准图像有关的导数数据产生输出图像数据。
2.根据权利要求1所述的方法，其中，所述约束包含要求输出图像是一组平滑函数的线性组合、优选离散余弦基的前M个项的线性组合。
3.根据权利要求1所述的方法，其中，所述约束包含使以下项的和最小化: 输出图像数据的导数和基准图像的导数数据之间的差值；和 罚项。
4.根据权利要求3所述的方法,其中,通过使用选自包含Gauss-Seidel方法和Jacobi方法的组的方法计算和的最小值。
5.根据权利要求3或4所述的方法，其中，所述罚项是常数与输出图像数据的函数的大小的积。
6.根据权利要求5所述的方法，其中，输出图像数据的函数是输出图像数据。
7.根据权利要求5或6所述的方法，其中，所述常数被选择为使输出图像数据的函数的目标大小最小化。
8.根据权利要求2 6中任一项所述的方法，其中，所述常数被选择为提供给定尺度的输出图像。
9.根据权利要求5或6所述的方法，其中，所述罚顶被选择为优化常数和输出图像数据的函数的大小。
10.根据权利要求5 9中任一项所述的方法，其中，所述常数为正以使得与输出图像数据对应的输出图像健壮。
11.根据权利要求10所述的方法，其中，基准图像的导数数据和罚项被选择，使得可通过特定的卷积求解使和最小化的步骤。
12.根据权利要求11所述的方法，其中，通过二维、一维可分离卷积近似卷积。
13.根据权利要求5 9中任一项所述的方法，其中，所述常数为负以使得与输出图像数据对应的输出图像不健壮。
14.根据任何前述权利要求所述的方法，还包括接收基准图像和从基准图像计算与基准图像有关的导数数据。
15.根据任何前述权利要求所述的方法，其中，与基准图像有关的导数数据包含基准图像数据的导数的第一函数，其中，基准图像数据包含基准图像的第二函数。
16.根据权利要求15所述的方法，其中，第一函数选自包含阈值函数、衰减函数和削波函数的组。
17.根据权利要求15或16中任一项所述的方法，其中，基准图像数据的导数的第一函数是基准图像数据的导数。
18.根据权利要求15 17中任一项所述的方法，还包括将输出图像数据的平均值设为等于基准图像数据的平均值。
19.根据权利要求15 18中任一项所述的方法，其中，第二函数是同态函数，优选为对数函数。
20.根据权利要求15 19中任一项所述的方法，还包括向输出图像数据应用第二函数的逆以产生输出图像。
21.根据权利要求15 18中任一项所述的方法，其中，基准图像的第二函数是基准图像，并且输出图像数据是输出图像。
22.根据权利要求20或21所述的方法，还包括在用于求解计算机视觉问题的图像处理方法中使用输出图像。
23.根据权利要求22所述的方法，其中，所述图像处理方法选自包含动态范围压缩、跟踪、导航和目标识别的组。
24.—种图像处理系统,包括: 被配置为获得与基准图像有关的导数数据的第一部件； 被配置为获得输出图像数据的约束的第二部件；和 可操作为从第一部件接收与基准图像有关的导数数据并从第二部件接收约束并根据约束从与基准图像有关的导数数据产生输出图像数据的第三部件。
25.根据权利要求24所述的图像处理系统，还包括可操作为捕获基准图像的图像捕获装置，所述第一部件可操作为从图像捕获装置接收基准图像并从基准图像计算与基准图像有关的导数数据。
26.一种用于存储当被处理器执行时使处理器实现产生输出图像数据的方法的机器可执行指令的计算机可读存储介质，包括: 获得与基准图像有关的导数数据； 获得输出图像数据的约束；和 根据约束从与基准图像有关的导数数据产生输出图像数据。
27.一种用于从输入图像的导数恢复健壮输出图像的方法。
28.根据权利要求27所述的方法，其中，所述约束被强加于输出图像上使得输出图像健壮。
29.根据权利要求28所述的方法，其中，输出图像是一组平滑函数的线性组合、优选离散余弦基的前M个项的线性组合。
30.根据权利要求28所述的方法，其中，所述约束是罚项。
31.根据权利要求30所述的方法，其中，所述导数和罚项被选择，使得产生输出图像的计算是输入图像的特定卷积。
32.根据权利要求31所述的方法，其中，可通过二维、一维可分离卷积近似卷积。
全文摘要
本发明涉及用于产生输出图像数据的方法和系统。产生输出图像数据的方法包括获得与基准图像有关的导数数据；获得输出图像数据的约束；和根据约束从与基准图像有关的导数数据产生输出图像数据。该方法可被用于从输入图像的导数恢复健壮的输出图像。
文档编号G06T5/00GK103140874SQ201180031630
公开日2013年6月5日 申请日期2011年5月6日 优先权日2010年5月6日
发明者格雷汉姆·芬利森 申请人:苹果公司