专利名称：一种基于精准图像拼接的摄像机镜头去污方法
技术领域：
本发明涉及数字图像与视频的修复和图像匹配与拼接，属于数字图像处理领域。
背景技术：
在拍摄数字视频或图像时，机头表面存在的污迹会对拍摄图像质量造成较大的影 响。尤其是在户外拍摄时，更容易出现这种状况。在得到有污迹的数字视频或图像后，解决 问题的一个有效的方法是利用图像复原技术对有损的图像区域进行复原。然而照相设备镜 头污迹引起的图像噪音和一般的图像噪音有很大的不同。首先，其噪音分布无规律，不同污 迹对图像造成的影响也不同，无法用简单的数学方法描述。其次，由污迹引起的噪音一般较 集中，经常集中在一个或几个范围内。鉴于以上原因，现今的图像去污方法主要有两种一种方法是利用图像修描、纹理 合成等技术，对图像的污迹范围进行填充。这种方法最大的问题就是还原的图像与真实图 像有较大偏差。另一种方法是通过建立污迹引起图像噪音的数学模型，模拟噪声，进一步去 除噪音。这种方法的相比前一种方法，效果和效率较差，但是保证了和真实图像的相近性。近年来，在图像修描、纹理合成等技术方面在"CRIMINISI，A.，PEREZ,P.，AND Τ0ΥΑΜΑ, K. 2003. Object removal byexemplar-based inpainting. In In IEEE Conference on Computer Vision and PatternRecognition”中，Criminisi等人公开了一种基于纹理模型的图像复原方法。该方 法结合了纹理合成与图像修描的技术。该方法可以填补图像中一定区域，但是填补区域需 要事先指定，而且复原图像不能保证与真实图像完全一致。因此无法很好的解决因摄像头 污迹引起的图像受损问题。在"LIU,Y.，BELKINA, T.，HAYS, J. H.，AND LUBLINERMAN, R. 2008. Imagede-fencing.In IEEE Conference on Computer Vision and Pattern Recognition (CVPR). ”中，LIU等人公开了一种自动寻找并修描结构化物体的方法。该方法 通过图像统计和聚类的方法，自动找出图像中成结构化的物体，之后通过纹理合成的方法 进行去除。但是此方法要求被去除物体有较强的结构上的重复性，如类似栅栏的物体。因 此该方法无法实用于去除形状随机的物体的情况。在"SUN，J.，YUAN,L.，JIA, J.，AND SHUM, H. -Y. 2005. Image completion withstructure propagation. ACM Transactions on Graphics(SIGGRAPH)24,3,861-868.，， 中，SUN等人公开了一种利用结构传播修描图像的方法。该方法利用修描区域周围的物体 的结构信息修复图像。该方法对修描区域周围的图像信息有一定的要求，要求修描区域周 围对修描区域内部提供一定的结构信息。因此在要求修描区域周围无结构信息的情况下， 不能很好的填充被修描区域。在模型化污迹图像方面在‘‘TALVALA，Ε.-V.，ADAMS, Α.，HOROWITZ, Μ.，AND LEVOY, Μ. 2007. Veilingglare in high dynamic range imaging. ACM Transactions on Graphics (SIGGRAPH)26,3,37 1-37 10. ”中，TALVALA等人公开了一种模型化的方法，用于解决强光引起的图像对比度不 足。但是该方法无法给不确定区域的摄像头污迹引起的图像受损建立模型。在"J Gu, R Ramamoorthi, P Belhumeur, S Nayar.2009. Removing Image ArtifactsDue to Dirty Camera Lenses and Thin Occluders-ACM Transactions on Graphics (SIGGRAPH). ”中，Gu等人对照相机镜头污迹引起的图像伪影做了模型化处理。该 方法利用图像统计方法，计算模型的参数。但该方法在进行图像统计时需要极大量的图像， 因此比较耗时，而且每次利用模型修复图像时需要人工指定一些参数来优化效果。
发明内容
本发明解决的技术问题是克服现有技术的不足，提供一种基于精准图像拼接的 摄像机镜头去污方法，该方法可以自动发现需要修复的区域，并且去污过程的耗时要远小 于利用图像统计建立模型的方法，最终所得的复原图像的与真实图像的吻合度相比其他方
法要尚O本发明的技术解决方案一种基于精准图像拼接的摄像机镜头去污方法，包括以 下步骤(1)对于一个镜头表面存在污迹的照相设备，采用此镜头表面存在污迹的照相设 备拍摄的一组图像或一段视频；(2)该有污渍的一组图像或视频中的每一帧组成的输入图像序列为I1;I2，. . .,In, 其中Ik(l<k<n)为上述有污渍的一组图像中的一幅图像或视频中的一帧图像，η为图像 序列中的图像总数。对于输入图像序列，分RGB三通道逐像素点计算输入图像序列的方差， 得到方差矩阵D (x, y，ρ)，其中x，y为坐标位置，ρ为通道数(1彡ρ彡3)；(3)采用步骤( 求得的RGB三通道的输入图像序列的方差为每一个图像坐标位 置Px, y建立一个三维的描述向量。对所有的坐标位置进行聚类，找出污迹范围礼。其中污 迹范围Rtl用与输入图像等大的二值矩阵表示，用1表示不存在污迹，0表示存在污迹；(4)对步骤(3)求得的污迹范围Rtl进行放大，确保Rtl大于真实污迹范围；(5)提取输入图像序列I1, 12，. . .，In的特征，然后对提取的输入图像序列的特征 进行匹配，之后建立输入图像间的匹配关系，即任意两幅图像是否匹配；(6)根据步骤( 所得的输入图像间的匹配关系，计算每两幅图像间的3x3透视变 换矩阵(单应性矩阵)；(7)利用步骤⑷得到的放大后的污迹范围Rtl,剔除掉图像序列中的污迹部分，得 到新的图像序列I' I' 2，...，Γ 共11幅图像，其中图像Γ k(l<k<n)为图像Ik 根据污迹范围将有污迹区域剪裁掉所得；(8)对步骤(7)得到的一幅图像Γ k(l < k < η)，根据步骤(5)所得的输入图像 间的匹配关系，可以找到与图像Ik匹配的图像所有图像，共m幅。将这些图像记为Ikl，Ik2,
Ik3，......Ikm，其中(1 < ki < n，1 < i < m)。将 Ikl，Ik2, Ik3,......Ikm 所对应的利用步骤
(7)所得到的图像记为I' kl, I' k2, I' k3，......Γ km。利用步骤(6)得到的Ik与Ikl，
Ik2，Ik3，......！km 间的变换矩阵将图像Γ kl，i k2，I k3，......I km 变换到Γ k所在
平面，然后利用图像Γ kl，I' k2, I' k3，……I' km中的图像区域填补r k的被剔除部 分，即可得到图像Ik的复原图像；
(9)对每幅要进行去污工作的图像执行步骤(8)，即可得到相应的复原图像。所述的步骤O)的逐点计算图像序列的方差D(x，y, ρ)的过程为对图像序列的某一坐标点(Xl，yi)，分别计算其三通道的图像序列方差D(Xl，yi，p)
权利要求
1.一种基于精准图像拼接的摄像机镜头去污方法，其特征在于实现步骤如下(1)对于一个镜头表面存在污迹的照相设备，采用此镜头表面存在污迹的照相设备拍 摄的一组图像或一段视频；(2)该有污渍的一组图像或视频中的每一帧组成的输入图像序列为I1;I2，.. .，In，其中 Ik(l <k<n)为上述有污渍的一组图像中的一幅图像或视频中的一帧图像，η为图像序列 中的图像总数；对于输入图像序列，分RGB三通道逐像素点计算输入图像序列的方差，得到 方差矩阵D (x, y，ρ)，其中x，y为坐标位置，ρ为通道数，1彡ρ彡3 ；(3)采用步骤( 求得的RGB三通道的输入图像序列的方差矩阵为每一个图像坐标位 置Px,y建立一个三维的描述向量；对所有的坐标位置进行聚类，找出污迹范围Rtl ；(4)对步骤(3)求得的污迹范围Rtl进行放大，确保Rtl大于真实污迹范围；(5)提取输入图像序列I1,I2, ...,In的特征，然后对提取的输入图像序列的特征进行 匹配，之后建立输入图像间的匹配关系，即任意两幅图像是否匹配；(6)根据步骤(4)所得的输入图像间的匹配关系，计算每两幅图像间的3X3透视变换 矩阵，即单应性矩阵；(7)利用步骤(4)得到的放大后的污迹范围Rtl，剔除掉图像序列中的污迹部分，得到新 的图像序列Γ2，...，Γ 共11幅图像，其中图像Γ k(l <k<n)为图像Ik根据 污迹范围将有污迹区域剪裁掉所得；(8)对步骤(6)得到的一幅图像Γk(l <k<n)，根据步骤(5)所得的输入图像 间的匹配关系，找到与图像Ik匹配的图像所有图像，共m幅，将这些图像记为Ikl，Ik2,Ik3，......Ikm，其中(1 < ki < n，1 < i < m)；将 Ikl，Ik2, Ik3,......Ikm 所对应的利用步骤(7)所得到的图像记为I' kl，I' k2,I' k3，......Γ km，利用步骤(6)得到的Ik与Ikl，Ik2，Ik3,......Ikm间的变换矩阵将图像Γ kl, I' k2，Γ k3，......Γ km变换到Γ k所在平面，然后利用图像Γ kl，I' k2，I' k3，……I' km中的图像区域填补Γ k的被剔除部分， 即可得到图像Ik的复原图像；(9)对每幅要进行去污工作的图像执行步骤(7)，即可得到相应的复原图像。
2.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在 于所述步骤O)的逐点计算图像序列的方差D(x，y, ρ)的过程为对图像序列的某一坐标点(Xl，yi)，分别计算其三通道的图像序列方差D(Xl，Yl, p)，1 ^ ρ ^ 3, ^1^1'^) = Σ'^))2，其中7为图像序列的像素平均值，k 1l^k^ n，对图像序列逐点求取方差，可以得到三通道的方差矩阵D。
3.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在 于所述步骤(3)的聚类实现过程为根据步骤( 所计算的方差，为图像序列的每个位置 Px, y建立一个三维描述向量(D (x, y，1)，D (χ, y，2)，D (χ, y，3))，然后使用k-means方法，对 输入图像序列中的位置进行聚类，其中k-means的中心点个数取2，最终将输入图像序列中 的位置分为两类，比较两类位置点的中心点的方差值，其中方差值较小的一组位置为有污 迹位置，以得到的污迹位置范围建立一个污迹分布的二值图Rtl，用1表示不存在污迹，0表 示存在污迹。
4.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在于所述步骤中对污迹范围Rtl进行图像膨胀操作即可实现放大。
5.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在 于所述步骤(5)提取输入图像序列的特征，进行匹配，之后建立图像间的匹配关系的实现 过程如下首先提取输入图像序列的尺度不变特征，然后利用多维检索树型结构kd-tree 对每两幅图像间的特征进行拼配，可得到特征间的匹配关系，根据两幅图像特征之间的匹 配关系以确定图像之间匹配关系的有无。
6.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在 于所述的步骤(6)的每两幅图像间的3X3透视变换矩阵的计算公式如下；记两幅图像Ip Ik之间的透视变换矩阵为Hjk
7.根据权利要求1所述的一种基于精准图像拼接的摄像机镜头去污方法，其特征在 于所述的步骤(8)的修补污迹图像中的填补过程为利用变换到图像Γ k平面的图像 块，填补图像Γ k中的被剔除区域，优先以和Γ k匹配程度高的图像中的图像块填补图 像Γ k，在利用图像&，修补图像Γ k时，在图像&中找出处于图像Γ k被剔除区域里的 图像块，用之填补图像Γ k，图像Γ k的被剔除范围缩小，&是与Γ k匹配的图像变换到 I' k所在平面后所得的图像；重复以上步骤，直到图像Γ k的被剔除范围全部被填充，得 到复原图像Γ k的图像。
全文摘要
一种基于精准图像拼接的摄像机镜头去污方法。摄像机镜头存在污迹会对拍摄图像质量造成很大影响，且摄像机如视频监控设备等很容易在镜头表面附着污渍。手动方法去除这些污渍有可能比较的费力，而且也无法改变已经拍摄好的视频和图像。本发明提出了一种利用精准全景图像拼接的方法去除污迹的方法。对于一个镜头有污迹的摄像机，和用该镜头拍摄的一段视频(连续图像)。为了去除拍摄视频或图像中的污渍，本方法首先利用图像累加的方法找出污迹范围，然后用高精度匹配方法利用污渍图像前后帧的相关信息填补污渍区域，从而得到没有污迹的图像。通过本方法得到的复原图像或视频和真实图像无污染原始图像有最大的相似度，实验效果表现优异，算法耗时不高。
文档编号G06T5/50GK102096915SQ20111003503
公开日2011年6月15日 申请日期2011年2月9日 优先权日2011年2月9日
发明者百晓, 郑肖 申请人:北京航空航天大学