减少场景图像模糊的方法和场景图像去模糊方法

专利名称：减少场景图像模糊的方法和场景图像去模糊方法
技术领域：
本发明总体上涉及图像处理，更具体地涉及使用优化的时间编码码 型对图像进行去模糊。
背景技术：
运动是对人类视觉感知的重要帮助。它有助于我们观察、解释和更 好地理解我们的环境。尽管它对人类观察者是有用的，运动常常不利于 摄影。最清晰和最细腻的图像要求完全静止的相机和场景。这对于自然 设置下的业余摄影来说是极其困难的。常规的相机包括多个手动或自动控制，用于处理各种相机参数和场景参数，例如焦深(focus depth)和曝光时间。然而，处理场景中的运动 的解决方案有限。典型地，曝光时间随着运动量的增加而减小。当前的成像实践一般遵循"瞬时的"理想(ideal)、无需计算的零阶模 型运动选择。理想地，使曝光时间尽可能最长，从而使运动对象看起来 仍然基本上不动。期望提供一种改进的感测(sensing)方法，该方法将能够使数字相 机使用一阶运动模型。运动模糊是在获取图像时的积分或"曝光时间"过程中相机与场景之 间的相对运动引起。可以通过图像解巻积而将运动模糊图像恢复到丢失 的空间频率，只要运动是平移不变的(至少是局部地平移不变的)，并且 也称为点扩散函数(PSF)的导致模糊的模糊函数是已知的。然而，图像解巻积属于一类不适定(ill-posed)的逆问题，该问题的 解的唯一性无法建立，并且该解对输入数据中的摄动(perturbation)过 于敏感。已知多种运动去模糊和再模糊的技术。曝光时间解决方案縮短曝光时间是常用的解决方案。然而，短曝光时间增加了噪声， 并且不必要地对图像的静止区域带来损失。高速相机可以捕捉快速运动， 但其就感测、带宽和存储而言是昂贵的。高速相机也无法利用帧间的相关性(coherence)。通常，高速相机要求明亮的光。借助适度曝光时间且 持续时间极其短暂的闪光能够获得高速对象的视觉震撼结果。然而，在 户外或远距离场景中闪光灯(strobed flash)通常不切实际。此外，闪光 仅仅捕捉了瞬间的动作，而无法表示场景中的整体(general)运动。 智能相机为了克服相机运动，使用对相机运动进行补偿的惯性传感器，自适 应光学器件能够被物理地稳定。另选地， 一些CMOS相机在正常曝光时 间内执行高速帧捕捉，使得能够去除基于多个图像的运动模糊。给定合 理的曝光时间，这些技术就能够产生清晰和鲜明的图像。混合成像系统可使用辅助低分辨率高帧率传感器来估计PSF。即使 长时间曝光，精确的PSF也能够使去模糊成为可能。这些方法对相机运 动进行了补偿，但没有对场景内的对象运动做出响应。视频分析可以将部分信息合并以便基于由摄像机捕捉到的连续帧或者根据由 具有重叠曝光时间的多个协同定位的相机捕捉到的帧来对视频进行估计 和去模糊。后处理解决方案给定模糊PSF，主要有两类对图像去模糊的方法。第一类方法在频 域中能够使用维纳滤波器或正则求逆(regularized inversion),并且需要 计算去模糊图像的傅立叶(余弦)变换。第二类方法包括迭代更新法。它们 包括Lucy-Richardson算法和基于图像统计而对丢失指数(loss indices) 进行迭代优化的其它更新。通过使用在曝光较长的照片中观察到的色彩限制也能够改善有噪声 的短曝光的图像。基于应用到PSF的各种假设，广泛地采用盲解巻积来 增强单个模糊图像。对于任意运动，PSF估计仍然是具有挑战性的问题。 并且即使PSF已知，去模糊图像也由于放大的噪声、重采样和量化问题的缘故而通常显著劣于原始图像。通常是只可能对小的运动进行去模糊。 编码采样在信号处理中普遍使用二进制码和连续码来调制具有宽带响应的信号。这些码包括"啁啾"(chirp),这些啁啾在脉冲间隔期间对宽频带上的 载波进行扫描。最大长度序列(m序列)和修正均一冗余阵列(MURA)是用 于通过循环巻积(circular convolution)来编码和解码的常用选择。编码 孔径天文成像使用MURA码来改进信噪比，同时捕捉不适于常规透镜的 X射线波长和伽玛射线波长。宽带信号在许多技术中都有应用，例如用于抗噪声通信的扩频编码 和码分复用(CDMA)，用于减小与其它信道的干扰。声学家使用m序列 来设计展现了最小声音衍射的二维面板。考虑经由解巻积来对一维信号进行去模糊的问题。目标是估计由线 性系统的点扩散函数尸(x)模糊的信号5^)。然后，已知测得图像信号/(;c) 为(1)其中*表示巻积。在理想情况下，经由解巻积滤波器P+(x)能够恢复图像的良好估计S'(X)，从而(2)在带限点扩散函数或具有不完全覆盖的傅立叶域的点扩散函数情况下，信息丢失并且无法解巻积。例如，在曝光持续时间T内捕捉图像等 效于在时域中借助箱形滤波器进行的巻积。所得到的改变是平坦模糊。 在频域中，信号乘以带限的同步函数，该同步函数在2/T的间隔处为零 并且在其它在大多数频率处具有显著的衰减。为了克服此问题，多种方法利用迭代最大似然估计法根据可能解的 范围选择其重建。 一类公知的技术使用基于贝叶斯公式的统计模型来形 成图像。Lucy-Richardson算法是基于非线性比的方法，该方法产生非负 灰度级值。迭代解巻积技术可应用于整体图像模糊，并且假设整个信号 I(x)可用。但迭代解巻积无法处理其中场景的几个部分具有不同PSF的情 况，例如运动对象位于静止有纹理背景前面的情况。当运动对象的一部分被遮挡时，无法观察到I(x)的一些值。 发明内容常规相机在曝光时间期间使快门打开，并且试图利用图像稳定和/或 解巻积技术来对图像去模糊。这种技术可减少由于相机运动而引起的整体图像模糊，但无法校正运动遮光板(occluder)引起的模糊。此外，解 巻积会产生强噪声伪影。本发明的实施方式最小化了相机所获取的场景图像中的运动模糊。 在整个曝光时间期间不是保持快门打开，而是使快门快速地"闪动" (fluttei0。即，快门以不规则时序打开和关闭，以便产生编码图像。然后可以对编码图像进行解码，以便改进运动对象的图像中的细节。 解码使用了线性代数来将编码后的模糊图像分为锐利、静止的前景和背 景图像。本发明的实施方式可对具有极大运动、纹理背景和局部遮光板的图 像去模糊。应当注意此处描述的调制、采样和解码技术也可与其它能量领域 例如超声和声纳感测一起使用。在该领域中，由于装置的限制或因为声 纳装置的运动，所感测到的信号被低通滤波。通过使用时间采样码，可 以减少高频分量的衰减。高频采样技术也可用于导致图像拖影(smear)的其它装置。例如， 透镜的焦距不准导致散焦d模糊图像。通过将高频图案(pattern)放置 在透镜前面，可以对像素模糊进行编码，从而在稍后的解码过程中能够 恢复聚焦的锐利图像。应当注意调制和编码可以在相机外部或内部实现，并且可以包括 幅度、频率、相位、脉宽、不透明度(opadty)或快门的偏振调制(polarization modulation )。发明效果经由闪动曝光序列进行的去模糊具有多个优点。编码成像方法，例 如在航天或断层成像术中使用的这些方法，典型地对原始图像进行感测，这些原始图像对人类观察者是无意义的。幸运的是，在本发明中，编码 后的曝光图像既使未成功地解码也是有用的。与平坦模糊相比，图像在 最坏的情况下以一半的强度模糊了一半。编码后的序列容易实现，因为 与更复杂的连续不透明度控制相反，其需要二进制不透明度的交换(toggling)。在数字相机中，可以直接利用快门实现二进制切换过程或者 在感测芯片自身上实现二进制切换过程。


图1A为根据本发明实施方式的去模糊相机的示意图； 图1B为根据本发明实施方式的去模糊相机的示意图； 图1C为根据本发明实施方式的去模糊相机的示意图； 图1D为根据本发明一个实施方式的图像去模糊方法的流程图； 图2为随时间运动的对象的示意图和所得到的强度轮廓； 图3为根据本发明一个实施方式的用于将未知图像变换为模糊图像 的线性系统的示意图；图4A为根据本发明一个实施方式的模糊图像； 图4B为与图4A中的图像对应的去模糊图像；图4C为根据本发明一个实施方式的具有边界框(bounding box)的图像；图4D为根据本发明一个实施方式的具有切空部位(cut-out)的图像; 图4E为根据本发明一个实施方式的具有散景(Bokeh)效果的图像; 图5为根据本发明一个实施方式的具有重叠的运动对象的图像； 图6A为具有遮挡对象的图像；以及 图6B为将图6A中的遮挡对象去掉后的图像。
具体实施方式
图1A、 1B和1C示出了根据本发明实施方式的去模糊相机的简化示 意图。相机包括透镜110、固态图像传感器120、快门130和快门控制器 140。在一个优选实施方式中，该相机为数字相机，并且传感器包括像素阵列。这些像素可以包括在Bayer网格中交织的RGB像素。该相机可以 是单个的光传感器。该相机也可以是产生图像序列或帧序列的数字摄相 机。在线150上产生输入图像作为数字信号。
在图IB所示的实施方式中，通过传感器控制器141来实现图1A中 的快门功能，传感器控制器141可以瞬时地开闭(onandoff)传感器120， 同时获得输入能量场101并进行积分。该能量场可以是任何类型的电磁 辐射(例如可见光或红外光)或者声学辐射(例如超声和声纳)。在图1C所示的实施方式中，在获取图像的同时，闪光灯单元175"闪 动"或频闪(strobed)。
所有实施方式基本上都根据二进制开闭序列对传感器120获取的光 场在时间上进行调制，从而在曝光时间期间产生积分模糊输入图像150。并非在曝光时间的全部持续时间期间使快门保持打开，而是我们使 快门"闪动"，即以快速的不规则的二进制序列或时间码型使快门打开和 关闭。不同的二进制序列可用于图像序列中的不同图像。还应当注意 二进制序列可以为任意的开闭序列，或者为伪随机序列。即，不像在常 规相机中那样仅具有单个开(打开)并紧随着单个闭(关闭)，而是快门打开 和关闭多次，并且快门打开和关闭的次数在曝光持续时间内是变化的。我们将所得到的图像称为编码模糊图像/(x)。闪动以如下方式交替打 开和关闭运动积分，该方式为所得到的点扩散函数(PSF)P(x)在傅立叶域 中具有最大覆盖范围。换句话说，利用二进制开闭序列进行的调制导致 了所得到的点扩散函数的适定的(well-posed)可逆傅立叶变换。在没有 快门的相机实施方式中，可以通过在曝光时间结束时对传感器积分和采 样的同时开闭传感器而实现闪动。也可以通过快速地幵闭闪光灯单元而 实现"闪动"或调制。传感器的闪动还可以与闪光灯的频闪相结合以实现 特殊效果。
开/闭切换时间可以小于100毫秒。典型地，总曝光时间大约为200 毫秒，并且编码曝光时间包括例如大约52次切换。所观察到的模糊图像是经调制的光场的时间积分与空间对象运动之 间的巻积。虽然对象运动事先是未知的，但可以选择时间码型，从而使巻积(模糊)图像/(》保持相对较高的运动对象空间频率，并且使我们能够使用解码过程160来恢复空间频率。如图所示，该解码过程可以是在相 机内部，在这种情况下输出图像152是一去模糊图像。另选地，过程160 可外部地应用于模糊输入图像。图1D示出了根据本发明一个实施方式的输入图像去模糊方法。使用 开闭编码码型183由闪动控制器182对场景的光场101进行调制和编码 (181)，从而产生编码后的和模糊的输入图像184。编码图像被解码(185)， 从而产生去模糊的输出图像186。图4A和4B示出了运动出租车前后的图像。运动模型更一般地，如图2和图3示意性地示出的那样，我们使用线性代数 来描述巻积。令B表示模糊的输入图像像素值。图像B的每个像素是所 期望的未模糊图像的强度的线性组合X,并可以写作-矩阵A表示拖影矩阵。拖影矩阵描述了输入图像与点扩散函数户(;c) 的巻积，而ri代表由于噪声、量化误差及模型不精确度所导致的测量不 确定性。对于二维PSF，矩阵A为循环(circulant)分块矩阵，而对于一维 PSF来说，矩阵A为循环矩阵。为简明起见，我们将针对一维PSF情况 描述编码和解码过程，该一维PSF情况可容易地扩展到二维的情况。给定T秒有限曝光时间，我们将积分或曝光时间划分为m个时间片 段(称为时块)，从而每个时块为T/m秒长。开闭时块码型是长度为m 的二进制序列183。运动模糊过程为时间201到空间203投影，其中在一 维运动情况下，T秒内的运动导致了k个像素的线性模糊。因此，在单个 时块的持续时间内，拖影覆盖了k/m个像素。如图2示意性地所示，考虑对象随时间在黑色背景的前面在空间上 向上运动并沿着垂直扫描线评价(evaluate)的简单情况。如果PSF在图 像像素坐标下长度为k，则在第一时块内位置("，v)处的像素被线性地拖 影直到像素("，v+^-l)。如果对象沿着运动方向的长度为"个像素，贝U总的模糊宽度为m;，其中w=("+/U)。我的目标是根据观察到的"+H个像 素来确定"个像素的最佳估计。拖影矩阵A可如下获得。未知图像X中的每个像素都对拖影之后的 总共A个像素有贡献。循环矩阵A的第一列是后面紧接着n-l个零的长 度为&的PSF向量。通过循环地单步向前对条目进行置换(permute)而 从前一列获得每个后续列。因此，在黑色背景的情况下，与尸(x)的线形 巻积或者乘以循环矩阵A等效于与填充有"-l个零的长度为A:的PSF向 量的循环巻积。在实践中，由于X沿拖影方向仅具有"个未知的值，因此可以通过 将矩阵A截取到前"列而创建过约束的最小二乘系统。因此，矩阵A的 大小变为("+zt-l)XM。在平坦模糊的情况下，具有恒定值的长度为《的输 入信号的时空投影产生了具有梯形强度轮廓的响应。轮廓中的每个斜边 (ramp)跨越&个像素，并且平坦段为wi-l个像素。对于编码后的模糊 来说，强度轮廓的整体形状仍然是梯形，但快门的快速闪动使斜边变为 更呈锯齿状的形状210，如图2所示。码选择我们的目标是选择改善成像过程可逆性的时间码(temporal code)。 我们通过研究编码矩阵的条件数及码的频谱的方差来分析可逆性。在存在不确定性和噪声的情况下，可通过标准矩阵条件分析来判定 扩散矩阵A的可逆性。条件数为最大奇异(singular)值与最小奇异值的 比，并且表示解X对输入图像B中的噪声;/的灵敏度。我们注意到循 环矩阵的特征值包括循环矩阵的第一列的离散傅立叶变换(DFT)的幅度， 并且矩阵A中的每一列为填充了零的PSF向量。基于该观察，我们选择 具有宽带频率响应的码序列，从而使拖影矩阵的对应条件数尽可能地大。理论上讲，我们可以例如使用类啁啾函数连续地随时间对所得到的 滤波器的不透明度进行调制，从而获得宽带频率响应。然而在实践中， 具有固定时块持续时间的二进制(开闭)不透明度切换更容易实现。对宽带二进制码的选择包括Walsh-Hadamard码、最大长度序列和修 正均一随机排列(MURA)码。MURA序列看起来是明显的选择，因为其离散傅立叶变换是平坦的。然而对于运动模糊来说，与填充有"-l个零的长度为A的PSF向量进行循环巻积，其中"是沿着运动方向的以像素为 单位的对象的长度。如下所述，MURA对于填充有零的码型而言不是最 优的，从而促使我们寻找可能最好的码。没有填充零的MURA码型的DFT是平坦的。然而，DFT仅能够精 确地求解离散频率。对于落在DFT线之间的分量存在谱泄漏。零填充导 致频率分量的更大分辨率，并且揭示了MURA码型的弱点。由于解码涉及到频谱的反转(inversion),我们还将光滑度约束添加 到我们的对最佳二进制时块码型的搜索中。频率响应应当具有低方差， 从而在解码期间不正确的PSF估计不会导致不正确的空间频率的放大。 箱形滤波器序列和填充MURA序列的频率响应包括深降(deep dip)或 零，从而产生两者的高方差。频域中的尖峰(spike)导致了伪(spurious) 放大。为了找到具有低方差和宽带响应的码，我们对长度为m的二进制码 202执行穷尽搜索。寻找最平坦响应的线性搜索涉及寻找具有最大频率幅 度与最小频率幅度之间的最小比的码。此外，我们通过解的标准偏差对 解进行加权。最后，我们确定序列长度183的长度m。如稍后所述，理想的时块 数等于模糊大小L根据本发明的实施方式的相机理想地具有自动闪动模 式(一种类似于自动聚焦特征的运动自适应形式)，以基于感测到的光流自 行(on the fly)确定长度m。可通过实验确定折衷值。我们选择m=52个时块的序列。我们使用穷尽性搜索而找到的最优码序列为1010000111000001010000110011110111010111001001100111运动解码 线性解给定估计出的PSF，我们可以使用已知的图像解巻积过程来对模糊图像去模糊。然而在下述几种情况下，我们发现难以经由解巻积添加更 多约束，而是，线性代数过程法更切实际并且是更优选的。我们使用最 小二乘估计将去模糊的图像i求解为(4)其中在最小二乘的意义上，A+是矩阵A的伪逆(pseudo-inverse)阵。由 于输入图像可具有不同于w的运动模糊t我们首先通过因子m/t来扩大 /縮小给定的模糊图像。然后，我们对X进行估计，并且通过^n将X縮 放回其原始大小。在以下部分中，我们侧重于一维的PSF。现实世界中的对象在帧内 的运动由于能量和惯性约束的缘故而趋向于一维运动。我们将运动的一 维线状路径称为运动线。注意给定运动线上的场景特征仅对该运动线 上的像素有贡献，因此运动线是独立的。可独立于其它运动线而确定每个运动线的解。在以下描述中，不失 一般性，假设运动线为朝着水平扫描线。然而在例如相机抖动的例子中， PSF通常是二维下的一维流形(manifold)的集合。我们的方法也可以扩 展到这些PSF。通常，去模糊过程160需要知道哪些像素属于图像的模糊运动前景 区域，哪些属于未模糊的静止背景区域。分类错误可能导致解码错误， 其中，未模糊的背景像素损害了沿着整个运动线的结果。可以使用任何已知的方法将区域分类为模糊区域和未模糊区域。在 静止相机的情况下，经由帧差分或通过对运动对象在两个连续帧内的位 置进行比较可以获得运动对象的"切空部位"或侧影(silhouette)。在交互 式去模糊过程中，如图4C所示，用户可以指定围绕模糊对象的轴向对齐 的边界框400。对图像中的运动对象进行定位的许多技术是已知的。边界框的宽度w通常比模糊宽度w-("+M滩大。用户指定模糊长 度A:，该模糊长度&表示对象的形状为"'-v^-A:+l。值n'可以认为是n的 逼近值。如果长度沿着每个运动线不同，则用户指定切空部位401，如图 4D所示，而不是指定边界框。背景估计我们现在解决由于静止非模糊背景前面的不透明对象运动而导致的 运动模糊问题。这是常见但又困难的情况，因为运动对象趋向于与背景 "混"(blend)在一起。获知运动对象的PSF以对图像去模糊是不够的。我们探讨该问题，对情况进行分类，并且发现在某些情形下，在模糊对 象的边界处可见的未知背景能够在去模糊过程期间恢复。 模糊图像由下式给出其中X是运动前景对象，Xg是静止背景，Ag是背景衰减矩阵，其元素对静止背景进行衰减。矩阵Ag可以书写为<formula>formula see original document page 14</formula>( 6 )其中/,xl是全1且长度为《的向量，diag(v)是通过将向量v置于主对角 上而返回的方矩阵。对背景估计进行的分析是基于对模糊区域有贡献的像素背景数量g。 在大小为(w+H)的模糊区域内，当"^时，背景仅在边缘附近可见，并 且仅对2&个像素有贡献。然而，当iKk时，对象拖影比其长度更长，并且在所有模糊像素中 背景局部地可见。因此，g=min(2A:， w+A-l)。给定在("+肛l)个像素处的观 察值，我们对最少w+2A个值进行估计。可通对对象运动和与背景图像对 应的纹理复杂性添加约束而估计另外的&1个未知数。我们考虑以下情况来估计前景X和背景Xg:1. 具有已知形状和纹理背景的宽对象2. 具有未知形状的宽对象":^并且i. 恒定背景；ii. 纹理背景但纹理的边缘位于模糊区域之外；iii. 纹理背景，且纹理边缘穿过模糊区域；及3. 在大于其长度的距离上被模糊的窄对象在情况1中，我们限定长度为^"的指定模糊区域，从而指定的切 空部位精确地标出了模糊对象的形状。由于我们知道背景像素的梯形部 分的斜边的精确位置，因此我们可以创建背景衰减矩阵Ag。我们可以通 过做出背景具有频率这一简化假设而从背景的2A个可能值中估计出多达 [1个值。在情况2(i)中，对象形状未知。在背景恒定时，我们可以将背景当作产生了"拖影"值的运动对象的一部分。剩下的问题仅是对单个未知背景 色彩进行估计。由于每个运动线是独立的，我们可以恢复每个运动线的 不同背景。这种估计是可能的，仅仅因为我们的编码曝光方法提供了拖影矩阵A的相当多的条件数。对于箱形滤波的或平坦的模糊而言，条件数较低，并且试图找到该相同估计是非常不稳定的。拖影矩阵的多个奇异值对于箱形滤波的PSF来说相对较小，并且随着未知数的数量增加， 线性解变得病态(ill-conditioned)。在情况2(ii)中，背景不是恒定的，但在背景的边缘位于模糊区域之 外时我们仍然可以恢复前景。我们使用梯度域方法来消除背景的变化。 前景中的最高可能梯度由PSF衰减了2/m的因子或者更多。因此，沿着 运动线的所有幅度大于2/m的梯度可能是背景边缘，并且将这些梯度设 置为零。通过对从前景区域起向外的变更梯度进行积分而重建出了运动 线。在情况2(iii)中，背景边缘与前景模糊混在一起，并且被高度地衰减。 在这种情况下我们仅可以合成背景纹理。在情况3中，每个模糊像素具有来自背景的贡献。注意这种情况不具有唯一解。因为背景衰减对所有像素而言都是非零的，我们可以获得导致相同模糊图像的X和Xg二者的多个解。具体地说，给定解X,和Xgl，我们总是能够找到另一个解X2，并且对背景进行修正，使得 竭+^4^ =必( 7 )然后值Xg2由下式给出& = (4广(顺 -义2) +仏)注意在":^的其它情况下，由于完全没有看到背景，并且背景贡 献矩阵Ag不可逆。虽然我们侧重于物理值的线性或迭代估计，但也可以获得其它视觉 上结果令人愉快的解。这些技术包括纹理合成、图像修复(inpainting)、 结构传播、或者未遮挡背景或"远方背景(cleanplate)"图像的捕捉。简单运动推广通过应用图像弯折(warping)，我们能够使我们的方法160与沿着与消失点交汇的线的立体运动同样地对,绕固定中心的平面旋转中的、 投影为仿射变换的简单运动的更广泛的集合进行解码。虽然编码模糊的 PSF最初是非线性的和位置相关的，但是可以对大多数线性运动进行弯 折，从而产生具有与图像扫描线对齐的空间不变均一长度位移向量的图 像。由于运动模糊跟随着该相同的位移向量场，弯折图像提供了现在适 于解码的均一宽度编码模糊区域。为了产生最终结果，我们只是应用反 弯折，以使解码图像返回到其原始的几何形式。在立体弯折的情况下，可以在对运动线的消失点进行估计之后应用纠正(rectification)。在纠正 之后，所有的弯折运动线在相机图像空间内平行。面内转动(例如旋转的风扇或摆动的钟摆)产生了形成围绕转动中 心的同心圆的运动线。可通过在极坐标下去模糊来对此处理。再合成去模糊的结果对广范的应用是有益的。我们描述了再造(recreate) 艺术性模糊的例子，并且在以下段落中描述其它应用。 运动散景我们可从单个模糊图像中产生任意运动模糊。散景是日文术语，其 通常用来描述图像中变化的、艺术地控制的聚焦或眩光效果。通过使用 针孔或具有可变形状的孔径，摄影师可以使明亮的点状对象当这些点位 于焦外时看起来像盘形、三角形、星形和其它形式。焦外区域的色彩和 亮度有助于感知特定质量的光线和户外感觉。我们通过使用艺术家选择的时块贡献而在时间模糊中产生散景。由 箱形滤波而导致的平坦模糊产生了图像，该图像中丢失了大多数可见细 节。卡通艺术家或汽车广告商通过生成小的条纹(streak)而不是通过利 用箱形滤波器使整个图像形成拖影来表示运动。我们可以通过不对沿着运动线的具有高梯度的像素进行解码而从去 模糊像素产生该图像。我们使这种局部高梯度的图像形成拖影。注意 背景适当地"突出于(peak)"这些条纹。然后，我们将该拖影图像重叠在 适度模糊的结果上，如图4E所示。运动粘贴如图5所示，我们可以将新对象叠加在恢复后的运动对象与由于运 动引起而适当地混合了三个元素的背景之间。为此，我们将目标图像在 时间上划分为具有A:个独立时块图像的序列。对于每个时块，我们利用 针对该时块而线性插值的位移来定位原始汽车和插入的汽车。这三层定 义了遮挡关系。然后，我们使用所期望的PSF对所产生的A个图像进行 混合。应用相机运动通常使用基于陀螺的光学器件物理稳定来解决相机运动。还能够从 相机摇动导致的模糊图像来恢复相机运动。在这种情况下，PSF比较复 杂，并且可能需要单独的方法来对二维PSF进行估计。这可以经由嵌入 到相机中的加速度计或陀螺仪或者利用辅助低分辨率高帧率相机来实 现。因为我们假设平移不变，即所有的点共享相同的PSF，因此只需要 对单个特征进行跟踪。例如，可以将点光源(例如发光二极管)放置在 视场中。将光线的拖影用作我们的PSF。局部遮挡移除运动模糊将运动对象的的色彩沿着其运动线广泛分散。如果运动对 象被狭窄且静止的前景对象局部地遮挡，则我们仍然可以恢复运动对象 的所有局部遮挡区域的色彩。诸如图像修复的技术"幻化(hallucinate)" 了可能的像素值，但编码模糊能够使我们包围完全观察到的系统。在一维PSF的情况下，如果模糊宽度的大小为w，并且局部遮光板 的长度为A则在所记录的"+ll个像素中，只有"+WW个像素可用来 重建"个像素。如果模糊大小A大于遮光板长度A则可以恢复所有的丢 失的^个像素。图6B示出了从图6A中以一个杆作为遮光板的模糊图像 恢复的汽车图像。我们可以在离散频域中通过矩阵条件分析来分析编码后的曝光。然 而，各种要素码序列、码长度、模糊长度和解码之后对应的噪声它们 之间的关系也可以为连续域。我们对二进制码进行优化，以便通过分析 离散傅立叶变换来改善拖影矩阵A的特征值。我们相信，根据本发明实施方式的码可应用于其中在解码过程中将线性混合模型反转的其它领 域。我们通过穷尽性的线性搜索而获得了我们的码。然而，也可以使用 其它搜索技术。通过编码后的曝光进行的解巻积展现了与单个通信信道的码分复用及解复用的相似性。如此处所述，CDMA领域和带有背景噪声的同步正 交码或信道接收中的进展能够改进并拓展编码模糊摄影中的结果。编码 和重建与断层扫描术及编码孔径成像具有几个相似性，并且利用这种关 系可以在时间图像处理中产生进一步的益处。 效果对摄像机和运动视频的扩展通过利用帧对帧的相关性而可以改善运 动估计。两个或多个相机的重叠时块能够产生非常精细的时间分辨率。 类似地，用于从多于一个对象的重叠运动中对模糊进行解码的方法能够 产生另外的复杂的遮挡效果。通过处理一般的三维运动，正如我们针对局部遮挡情况描述的一样， 当存在运动模糊时，单个图像分片(patch)的不完全采样可以用于慢速 运动的"动作回放"序列。聚焦和深度也影响二维下的模糊大小。将编码后的聚焦与编码后的 曝光组合起来可以产生基于图像中的最大局部方差的可解码深度图。超声和声纳应当注意我们的调制、采样和解码技术还用于其它领域，例如超 声和声纳感测。其中，感测信号由于装置限制或因为声纳装置的移动而 被低通滤波。通过使用时间采样码，可以减少高频分量的衰减。聚焦我们的高频采样技术也可用于导致输入图像中的拖影的其它装置。例如，透镜的焦距不准导致散焦(defocus)模糊图像。通过将高频图案放置在透镜前面，可以对像素模糊进行编码，以便在稍后的解码过程中 恢复聚焦的锐利图像。PSF计算编码后的曝光可以使PSF估计更容易实现。由于平坦模糊的原因，在单帧内进行运动估计相对困难。因为编码后的曝光保留了更多的高频 分量，因此可应用帧间光流处理。已知用于根据图像序列和视频来分析运动的多种技术。编码曝光摄相机可以极大地改善光流、PSF估计和图像稳定的结果。通过利用连续帧内的相关性，还能够实现新的渲染效果。 相关性可用来改进背景建模，从而在解码操作期间减少背景场景中的干 扰。相机在一个实现中，我们使用了外部触发的快门。内部实施可以根据全 局分布的时块信号在传感器的像素级幵始和停止入射光的积分。在这种情况下，R、 G和B像素可以使用利用了 Bayer网格(即色彩 传感器交织)的不同二进制码，以获得更精细的时空分辨率。这些码可 以保持恒定，或者码长度可以基于帧间运动而自适应地选择。这些码还 可以用来控制频闪发光闪光灯。因此，此处描述的技术可用于其中对象 高速运动的应用中。频闪预闪光灯对场景分析和减少红眼可能是有效的。 极短的闪光持续时间通常用来定格场景运动，但编码闪光序列提供了更 强大的控制运动感测的能力。然而，周围光线的存在改变了具有编码闪光序列的运动的PSF。结 果是两个PSF的线性组合由环境光引起的平坦模糊，以及由频闪光引 起的编码模糊。如果PSF是正交编码的，则变得能够分别恢复平坦模糊 和编码模糊。类似地，多相机、多照明结构中的编码闪光与编码曝光的 组合可用于恢复运动侧影、自身阴影效果(self-shadowing)及遮挡次序。图1A、 1B和1C中的相机上可装备有用于手动控制的"运动旋 钮"170。与自动聚焦系统类似，相机也可具有"自动闪动"装置，其中相机 电子器件可以自行确定最佳码序列长度和持续时间。对于图1C所示的本 发明实施方式来说，旋钮170可用来手动控制闪光灯控制器142，以便设 置编码闪光序列。超声传感器或辅助低分辨率相机可通过检测和测量对 象运动来触发闪动。分析有益的是可以对根据本发明的实施方式的解巻积输出与常规方法进行比较。 噪声我们的解码过程中的噪声主要是由高频分量放大引起的。保留编码后的PSF，但适度地衰减除了最低频率分量之外的所有频率分量。对于 线性系统Ax-b，假设噪声和方差c^独立同分布，则x的协方差阵C;由 下式给出-C,-oV^)—i (8)对于52个时块的序列183，所得到的矩阵C-接近于对角阵，并且对 于范围从100到1000个像素的对象大小，最大对角项等于77。因此，噪 声放大大约为18db。相比较而言，对于平坦模糊，C-的最大值为1474.9， 其噪声放大为41.6 db。我们的方法可以将图像去模糊到单个时块内的运动的程度。与利用 单个时块(即T/m秒)的曝光捕捉到的图像进行比较。由于编码曝光的 累积曝光时间大约为T/2，因此模糊区域中的SNR可能要好w/2那么多。 然而，对于短暂曝光成像，关键性的优点是区域内没有运动模糊，因此 其不需要去模糊。我们的系统可以记录具有减少的噪声的锐利图像。分辨率二进制码选择对系统性能具有较大影响。长码(即w较大)精细地 对曝光时间进行细分，并且能够对大量模糊进行解码，但对少量模糊则 效率很低。相反，短码具有每时块的更长持续时间，并且无法解决单个 时块内的模糊。我们希望使比值A/w保持比每时块一个像素稍大，以实 现对模糊的可能最好的采样。发明效果经由闪动曝光序列进行的去模糊具有多个优点。诸如在航天或断层 成像术中使用的编码成像方法通常感测对人类观察者来说无意义的原始 图像。幸运的是，在本发明的情况下，编码后的曝光图像即使未成功地 解码也是有用的。与平坦模糊相比，图像在最坏的情况下以一半的强度 模糊了一半。编码序列容易实现，因为与更复杂的连续不透明度控制相 反，其需要二进制不透明度的交换。在数字相机中，可以利用快门或者在传感芯片自身上直接实现二进制切换处理。本发明的实施方式提供了对相机的积分的时间码型的改变，从而能 够实际上将图像去模糊。对于运动对象，在时域中所选择的闪动序列在 空间域中保持了更高的频率。尽管以优选实施方式为例描述了发明，但应当理解，可在本发明的 精神和范围内做出各种其它变更和修正。因此，所附权利要求的目的是 涵盖落入本发明的真实精神和范围内的所有这种变型和修正。
权利要求
1、一种用于减少由相机获取的场景的图像中的模糊的方法，该方法包括以下步骤选择最优的时间编码码型；在曝光时间期间根据所述时间编码码型对相机图像传感器获取并积分的场景的光线进行时间调制，以生成编码后的输入图像；以及根据所述编码码型的反转码型对所述编码后的输入图像进行解码，以产生模糊减少的解码后的输出图像。
2、 根据权利要求1所述的方法，其中，所述码型为二进制的，并且 在傅立叶域中具有最大覆盖范围。
3、 根据权利要求1所述的方法，其中，所述时间编码码型是最优二 进制码。
4、 根据权利要求1所述的方法，其中，所述曝光时间为大约200毫 秒，并且在所述曝光时间期间所述调制使相机快门打开和关闭大约52次。
5、 根据权利要求1所述的方法，其中，所述曝光时间具有任意持续 时间，并且所述时间编码码型是具有任意长度的二进制开闭序列。
6、 根据权利要求1所述的方法，其中，所述调制是根据在所述场景 中感测到的光流而自适应地被选择。
7、 根据权利要求6所述的方法，其中，所述光流是在所述相机中感 测到的。
8、 根据权利要求6所述的方法，其中，所述光流是使用超声传感器 感测到的。
9、 根据权利要求6所述的方法，其中，所述相机的运动是利用惯性 传感器或陀螺仪感测到的。
10、 根据权利要求1所述的方法，其中，所述时间编码码型根据以 下二进制序列来打开和关闭所述相机的快门，该二进制序列为1010000111000001010000110011110111010111001001100111。
11、 根据权利要求1所述的方法，该方法进一步包括以下步骤-通过因子m/fe来縮放所述输入图像； 确定估计出的输出图像；以及通过因子A/^来縮放所述估计出的输出图像，以获得输出图像，其 中777是所述二进制序列中的开闭数量，ir是点扩散函数向量的长度，其 等于所述相机图像传感器的扫描线中的像素数量。
12、 根据权利要求1所述的方法，该方法进一步包括以下步骤-自动地确定所述输入图像中的背景区域的色彩和运动对象的色彩。
13、 根据权利要求1所述的方法，该方法进一步包括以下步骤 确定所述输入图像中的静止背景区域；以及 确定所述输入图像中的包含运动对象的前景区域。
14、 根据权利要求13所述的方法，其中，所述前景区域由矩形边界 框指定。
15、 根据权利要求13所述的方法，其中，所述前景区域由不规则形 状的切空部位指定。
16、 根据权利要求13所述的方法，该方法进一步包括以下步骤 通过将所述输入图像中沿着具有相对高梯度的运动线的像素排除而减少所述静止背景的影响。
17、 根据权利要求1所述的方法，该方法进一步包括以下步骤 将遮挡了模糊运动对象的静止对象从所述输入图像中去除。
18、 根据权利要求1所述的方法，其中，在后处理步骤期间对所述 输入图像中的时间模糊进行修正，以实现新的合成效果。
19、 一种对由相机获取的包含运动对象的场景的图像进行去模糊的方法，该方法包括以下步骤对包含运动对象的场景的光场，根据所述光场的由多个开和多个闭构成的序列进行时间调制；在曝光时间期间通过相机的传感器对所述时间调制的光场进行积 分，以生成编码后的输入图像；以及根据拖影矩阵的伪逆矩阵而对所述编码后的输入图像进行解码，以 产生模糊减少的解码后的输出图像。
全文摘要
一种对相机获取的场景的图像去模糊的方法和系统。根据开闭序列对获取的场景的光场进行时间调制。选择最优编码码型。在曝光时间期间通过相机的传感器对调制的光场进行积分，以生成编码后的输入图像。根据拖影矩阵的伪逆矩阵对编码后的输入图像进行解码，以产生模糊减少的解码后的输出图像。
文档编号H04N5/232GK101406041SQ20078001013
公开日2009年4月8日 申请日期2007年5月2日 优先权日2006年5月8日
发明者拉梅什·拉什卡尔, 杰克·图布林, 阿米特·阿格拉瓦尔 申请人:三菱电机株式会社