用于去除附着噪声的方法和系统与流程

本发明涉及图像处理领域，更具体地涉及用于去除附着噪声的方法和系统。

背景技术：
目前，监控系统被广泛应用于各种公共场所中。在户外环境下，附着在相机保护镜上的噪声，如雨滴或泥点等，对监控视频的质量会产生极大的影响。在附着噪声的影响下，被观测场景很难被监测。通常，附着噪声的去除都是通过清理相机保护镜来实现的。但是，绝大多数监控系统的相机保护镜都不能自动完成清理，并且都很难被人工清理。另一种去除附着噪声的通用方法是避免附着噪声的产生。一般，专业的相机都具有镜头保护镜或者专用的防附着油。然而，这也不能完全避免附着噪声的产生。所以，通过数字处理技术对附着噪声进行处理是必要的。当然，在去除附着噪声之前，需要通过某些方法检测附着噪声。目前已有的噪声检测方法并不适用于上述情况，原因如下：1)大部分附着噪声检测方法都是针对固定形状或者纹理的噪声的，而由复杂的户外环境造成的附着噪声并不都具有固定的形状与纹理。2)一些附着噪声检测方法是专门针对正在下的雨或者雪的，但是这些方法都是基于噪声是恒运动的假设的，而实际上附着噪声相对于相机有可能是静止的。3)一些附着噪声检测方法是基于已知相机的准确运动的假设或者是在规定相机的运动与成像平面水平的条件下对附着噪声进行检测的，而对于实际情况来说相机的运动通常是复杂并不可知的。

技术实现要素：
鉴于以上所述的问题，本发明提供了一种去除附着噪声的方法和系 统。根据本发明实施例的附着噪声检测方法，用于对待检测视频进行附着噪声检测，其中，待检测视频中的所有帧被按照时间顺序排列以得到三维时空图像I(x，y，t)，该附着噪声检测方法包括：选择三维时空图像I(x，y，t)中的任意一帧作为参考帧，对三维时空图像I(x，y，t)中的其他帧进行透视变换，以得到变换后的三维时空图像I’(x，y，t)；利用变换后的三维时空图像I’(x，y，t)对静态背景图像进行建模，并将变换后的三维时空图像I’(x，y，t)与建模得出的静态背景图像相减以得到三维差值图像Id(x，y，t)；对三维差值图像Id(x，y，t)进行二值化处理以得到二值化的三维差值图像Id’(x，y，t)，其中，在二值化的三维差值图像Id’(x，y，t)中建模误差已经被去除；以及通过将二值化的三维差值图像Id’(x，y，t)进行反透视变换去除运动目标的影响，从而检测出待检测视频中的附着噪声。根据本发明实施例的附着噪声检测系统，用于对待检测视频进行附着噪声检测，其中，待检测视频中的所有帧被按照时间顺序排列以得到三维时空图像I(x，y，t)，该附着噪声检测系统包括：透视变换单元，用于选择三维时空图像I(x，y，t)中的任意一帧作为参考帧，对三维时空图像I(x，y，t)中的其他帧进行透视变换，以得到变换后的三维时空图像I’(x，y，t)；静态背景建模单元，用于利用变换后的三维时空图像I’(x，y，t)对静态背景图像进行建模，并将变换后的三维时空图像I’(x，y，t)与建模得出的静态背景图像相减以得到三维差值图像Id(x，y，t)；建模误差去除单元，用于对三维差值图像Id(x，y，t)进行二值化处理以得到二值化的三维差值图像Id’(x，y，t)，其中，在二值化的三维差值图像Id’(x，y，t)中建模误差被去除；以及运动目标去除单元，用于通过将二值化的三维差值图像Id’(x，y，t)进行反透视变换去除运动目标的影响，从而检测出待检测视频中的附着噪声。根据本发明实施例的附着噪声检测方法和系统可以在无规则的相机运动条件下自动的检测附着在相机上的噪声，十分地适用于户外监控系统。附图说明从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本 发明，其中：图1是示出根据本发明实施例的附着噪声检测系统的框图；图2是示出根据本发明实施例的附着噪声检测方法的流程图。具体实施方式下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。对于相机的保护镜上的附着噪声，当相机的方向改变时噪声在图像中的位置并不改变。这是因为，噪声被附着在了相机的保护镜的表面上，并且与相机一起移动。另一方面，当相机移动时，静态背景的位置和运动目标的位置会发生改变。根据本发明实施例的附着噪声检测系统和方法试图利用附着噪声、静态背景、运动目标的以上特点，对待检测视频进行附着噪声检测。图1示出了根据本发明实施例的附着噪声检测系统的框图。图2示出了根据本发明实施例的附着噪声检测方法的流程图。下面结合图1和图2，详细描述根据本发明实施例的附着噪声检测系统和方法。需要说明的是，在根据本发明实施例的附着噪声检测方法和系统工作之前，需要按照时间顺序对待检测视频中的每一帧F(x，y)进行排列，以得到一个三维时空图像I(x，y，t)，作为根据本发明实施例的附着噪声检测方法和系统的输入。如图1中所示，根据本发明实施例的附着噪声检测系统包括透视变换单元102、静态背景建模单元104、建模误差去除单元106、以及运动目标去除单元108。其中，透视变换单元102选择三维时空图像I(x，y，t)中的任意一帧作为参考帧，对三维时空图像I(x，y，t)中的其他帧进行透视变换，以 得到变换后的三维时空图像I’(x，y，t)(即，执行步骤S202)。静态背景建模单元104利用变换后的三维时空图像I’(x，y，t)对静态背景图像进行建模，并将变换后的三维时空图像I’(x，y，t)与建模得出的静态背景图像相减以得到三维差值图像Id(x，y，t)(即，执行步骤S204)。建模误差去除单元106对三维差值图像Id(x，y，t)进行二值化处理以得到二值化的三维差值图像Id’(x，y，t)，其中，在二值化的三维差值图像Id’(x，y，t)中建模误差被去除(即，执行步骤S206)。运动目标去除单元108通过对二值化的三维差值图像Id’(x，y，t)进行反透视变换，去除运动目标的影响，从而检测出待检测视频中的附着噪声(即，执行步骤S208)。下面，具体描述附着噪声检测过程。透视变换在待检测视频中选择任意一帧作为参考帧(以下也称为R帧)，并将该帧的成像平面作为参考成像平面。然后，对待检测视频中的其他帧进行透视变换，以将其他帧投影在参考成像平面上。对于待检测视频中的除参考帧以外的任意一个目标帧(以下也称为i帧)，透视变换可以通过将目标帧和参考帧之间的透视射影矩阵和目标帧的原始坐标平面相乘来实现。其中，当目标帧和参考帧为三维时空图像I(x，y，t)中相邻的两帧时，目标帧和参考帧之间的透视射影矩阵可以通过一种自动图像校正方法估计得到，具体步骤如下：首先通过加速稳健特征(SpeededUpRobustFeatures，SURF)分别找到目标帧和参考帧中的静态点，用K最近邻(k-NearestNeighbor，KNN)匹配算法将这些静态点进行匹配(即，找出静态点中的匹配点)，并用随机抽样一致算法(RANSAC)优化匹配点；然后通过最优化后向投影误差得到目标帧和参考帧之间的透视射影矩阵。当目标帧与参考帧为三维时空图像I(x，y，t)中相距较远的两帧时，很难找到匹配点。所以，这里提出一种间接的透视射影矩阵估计方法，即通过局部透视射影矩阵(时间上相邻的两帧之间的透视射影矩阵)得到全局透视射影矩阵(任意两帧之间的透视射影矩阵)。计算方法如下式所示：Ri=R]]>其中，是单位矩阵，Hi_R是目标帧i和参考帧R之间的全局透视射影矩阵，Hj_(j+1)是在三维时空图像I(x，y，t)中位于目标帧i和参考帧R之间的j帧和(j+1)帧之间的局部透视摄影矩阵，和Hj_(j-1)是在三维时空图像I(x，y，t)中位于目标帧i和参考帧R之间的j帧和(j-1)帧之间的局部透视射影矩阵。在对三维时空图像I(x，y，t)中的每个帧进行透视变换后，可以得到变换后的三维时空图像I’(x，y，t)。静态背景建模接下来，对静态背景进行建模。根据附着噪声的特点(即，附着在相机的保护镜上，其运动轨迹与相机的运动轨迹一致)可知，经过透视变换后，所有的静态背景沿时间轴对齐了，而附着噪声的运动轨迹则变成了一条空间曲线。所以，根据真实的静态背景与变换后的三维时空图像I’(x，y，t)的差值即可以检测到附着噪声。静态背景的建模过程如下：首先将变换后的三维时空图像I’(x，y，t)视为由一系列沿时间轴的像素序列组成，这些序列可以分为两类——单模态序列与多模态序列。单模态序列是指像素的灰度值变化幅度不大的序列，如天空、地面等；而多模态序列指像素的灰度值变化幅度剧烈且频繁的序列，如运动目标经过的区域或者树冠等。这里，一个像素序列的变化幅度衡量为σ是该像素序列的灰度值的方差，μ是该像素序列的灰度值的均值。可以使用无监督K-means聚类方法将组成变换后的三维时空图像I’(x，y，t)的像素序列分为两类。对于单模态序列，可以认为其灰度值中值即为真实的静态背景值；对于多模态序列，则可以通过基于混合高斯模型的背景建模方法对其建模。在得到静态背景图像后，令变换后的三维时空图像I’(x，y，t)减去静态背景图像可以得到三维差值图像Id(x，y，t)。显而易见，这些差值是由建模误差、运动目标和附着噪声造成的。为了检测附着噪声，需要分别去除建模 误差和运动目标造成的差值。去除建模误差通过对三维差值图像Id(x，y，t)进行二值化处理可以去除建模误差。具体操作为：首先将三维差值图像Id(x，y，t)视为沿时间轴排列的多帧图像；然后，对每一帧图像，进行基于自适应的阈值二值化。自适应阈值的策略为：每帧的运动目标与附着噪声所占面积不足整帧面积的15％。去除建模误差后，剩下的区域成为潜在附着噪声区域。去除运动目标将二值化后的三维差值图像Id’(x，y，t)进行反透视变换，即将每帧图像投影到其原始的成像平面上。这时可知所有的附着噪声已经沿着时间轴对齐了。那么沿时间轴，通过潜在附着噪声出现的概率进行投票，就可以得到附着噪声的区域。投票的策略为：附着噪声所占面积不足10％。根据本发明实施例的附着噪声检测系统和方法可以在无规则的相机运动的条件下自动检测附着在相机上的噪声，十分适用于户外监控系统。以上已经参考本发明的具体实施例来描述了本发明，但是本领域技术人员均了解，可以对这些具体实施例进行各种修改、组合和变更，而不会脱离由所附权利要求或其等同物限定的本发明的精神和范围。根据需要可以用硬件或软件来执行步骤。注意，在不脱离本发明范围的前提下，可向本说明书中给出的流程图添加步骤、从中去除步骤或修改其中的步骤。一般来说，流程图只是用来指示用于实现功能的基本操作的一种可能的序列。本发明的实施例可利用编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光的、化学的、生物的、量子的或纳米工程的系统、组件和机构来实现。一般来说，本发明的功能可由本领域已知的任何手段来实现。可以使用分布式或联网系统、组件和电路。数据的通信或传送可以是有线的、无线的或者通过任何其他手段。还将意识到，根据特定应用的需要，附图中示出的要素中的一个或多个可以按更分离或更集成的方式来实现，或者甚至在某些情况下被去除或被停用。实现可存储在机器可读介质中的程序或代码以允许计算机执行上 述任何方法，也在本发明的精神和范围之内。此外，附图中的任何信号箭头应当被认为仅是示例性的，而不是限制性的，除非另有具体指示。当术语被预见为使分离或组合的能力不清楚时，组件或者步骤的组合也将被认为是已经记载了。