一种基于固定场景的视频降噪处理方法及装置与流程

本发明涉及视频监控领域，具体而言，涉及一种基于固定场景的视频降噪处理方法及装置。

背景技术：
目前，在视频监控系统中，一般要求全天24小时进行监控，但是在实际应用中，传感器采集的视频不可避免地存在着噪声，尤其在夜间或者傍晚的低照度环境下，视频中将会出现大量噪声。这些噪声的来源比较多，总结起来主要有：1、前端用以采集视频的传感器引入的噪声；2、在视频传输过程中由于电磁干扰而引入的噪声；3、视频压缩时，量化过程引入的噪声，等。这些噪声的引入，不仅严重降低了视频的主观质量，还会降低编码过程中运动估计中块匹配的精度，从而增加编码码流，不利于视频的传输和存储。通常，在编码前做降噪处理，不仅可以改善图像的质量，还可以提高运动估计中块匹配的精度，从而降低编码码流，是一种必要的前处理操作。视频噪声一般近似为加性高斯噪声，目前，视频降噪算法可以借鉴单幅图像的降噪算法，但是这类算法没有考虑到相邻帧值之间的信息，且同一位置的噪声在连续时间中是随机分布的，所以使用单帧图像的降噪算法将会导致降噪后的视频出现闪烁现象，这类算法称之为空间域降噪，或者帧内降噪。在采用多帧视频图像的降噪算法中，虽可以避免闪烁现象，但需要对运动像素和静止像素分别进行处理，否则对于运动的目标，容易造成运动拖影，而静止像素和运动像素的区分一直是一个难点。同时，这类算法在具体实现中需要存储多帧图像的信息，增加了存储需求，这类算法称之为时间域降噪，或者帧间降噪。除此之外，还有一些基于图像变换的方法，将图像转换到变换域中，如小波、频率域等，这类方法包含大量的浮点运算，实现代价比较高。在中国公开号为CN101540834A，发明名称为“去除视频图像噪声的方法和视频编码装置”的专利方案中，其使用一个门限值来判断每个像素是否需要进行降噪处理，凡是大于此门限值的像素才参与降噪处理，否则不做处理，然而其用于判断像素是否降噪的门限值是一个固定的经验值，在具体实施中，由于需要处理在场景多变、光照不同情况下的视频，从而采用该方法会存在降噪误判。同时，在正常光照情况下的视频，如果存在快速运动的目标，也容易被判断为需要进行降噪，从而造成拖影现象。在中国公开号为CN101448077，发明名称为“一种自适应视频图像3D降噪方法”的专利方案中，其提出了一种分块的噪声功率估计方法。首先将图像划分为M×M大小的块，分别计算方差，然后取最小的方差值作为该帧的噪声方差。然而该方法需要首先确定块的大小，如果视频场景中存在大量运动像素时，该估计算法将失效。同时，这种基于块划分的处理方法中，会将静止和运动像素划分到同一个块中，从而不利于后续处理。

技术实现要素：
为了克服现有的降噪方法其存在的降噪误判的缺陷，本发明的目的在于提供一种基于固定场景的视频降噪处理方法及装置。为了达到本发明的目的，本发明采用以下技术方案实现：一种基于固定场景的视频降噪处理方法，包括：获取一帧视频数据；提取该帧视频数据中的关键分量视频数据，并对该关键分量视频数据进行下采样处理；对下采样后的关键分量视频数据进行背景建模以提取前景区域和背景区域；依据背景区域的当前像素值与前一次背景区域的像素值的差值估算背景区域当前的噪声功率值，如果噪声功率值小于预先设置的降噪处理判断阈值，则不对该关键分量视频数据进行降噪处理；如果噪声功率值大于降噪处理判断阈值，则对该关键分量视频数据的前景区域和背景区域分别进行降噪处理。一种优选实施方式下，对下采样后的关键分量视频数据进行背景建模以提取前景区域和背景区域的方法包括：各个像素点在第n帧中的状态用单高斯分布模型η(Xn,μn,∑n)来表示，其中，μn为像素点在第n帧时的均值，∑n为像素点在第n帧时的协方差，若特征因子大于预先设置的判断阈值T，则判断该像素点为前景像素点；否则认为该像素点的特征值与高斯分布匹配，判断该像素点为背景像素点，其中，所述dn＝In-μn，In为当前像素点的灰度值。一种更为优选地实施方式下，像素点的单高斯分布模型η(Xn,μn,∑n)参照以下数学式进行更新：μn+1=(1-α)μn+αIn；其中，μn为高斯分布的均值，In为当前背景区域中像素点的灰度值，μn+1为更新后背景区域图像的灰度值，α为学习率。一种更为优选地实施方式下，依据背景区域的当前像素值与前一次背景区域的像素值的差值估算背景区域当前的噪声功率值的方法包括：获取背景区域中面积最大的一块矩形背景区域；计算该矩形背景区域的当前像素值与前一次该相同区域的像素值的差值，并依据该差值估算背景区域当前的噪声功率值。一种更为优选地实施方式下，依据矩形背景区域的当前像素值与前一次该相同区域的像素值的差值估算背景区域当前的噪声功率值的方法为：背景区域当前的噪声功率值等于当前像素值与前一次像素值的差值的方差其中，所述差值的方差采用以下数学式进行计算：其中，Y(x,y,k)为M×N大小矩形背景区域第k帧和第k-1帧在点(x,y)处像素值的差值，M和N是矩形背景区域的长和宽，(x，y)是像素的坐标。一种更为优选地实施方式下，当噪声功率值大于降噪处理判断阈值时，则对该关键分量视频数据的前景区域的像素采用时间域的帧间降噪算法进行降噪处理，对该关键分量视频数据的背景区域的像素采用均值滤波算法、双边滤波算法、三维块匹配算法BM3D或数字图像非局部均值算法Non-LocalMeans进行降噪处理。一种基于固定场景的视频降噪处理装置，包括：获取模块，用于获取一帧视频数据；提取与采样模块，用于提取该帧视频数据中的关键分量视频数据，并对该关键分量视频数据进行下采样处理；处理模块，用于对下采样后的关键分量视频数据进行背景建模以提取前景区域和背景区域，以及进一步用于依据背景区域的当前像素值与前一次背景区域的像素值的差值估算背景区域当前的噪声功率值，如果噪声功率值小于预先设置的降噪处理判断阈值，则不对该关键分量视频数据进行降噪处理；如果噪声功率值大于降噪处理判断阈值，则对该关键分量视频数据的前景区域和背景区域分别进行降噪处理。一种优选实施方式下，处理模块对下采样后的关键分量视频数据进行背景建模以提取前景区域和背景区域的方法包括：各个像素点在第n帧中的状态用单高斯分布模型η(Xn,μn,∑n)来表示，其中，μn为像素点在第n帧时的均值，∑n为像素点在第n帧时的协方差，若特征因子大于预先设置的判断阈值T，则判断该像素点为前景像素点；否则认为该像素点的特征值与高斯分布匹配，判断该像素点为背景像素点，其中，所述dn＝In-μn，In为当前像素点的灰度值。一种更为优选地实施方式下，处理模块参照以下数学式对像素点的单高斯分布模型η(Xn,μn,∑n)进行更新：μn+1=(1-α)μn+αIn；其中，μn为高斯分布的均值，In为当前背景区域中像素点的灰度值，μn+1为更新后背景区域图像的灰度值，α为学习率。一种更为优选地实施方式下，处理模块依据背景区域的当前像素值与前一次背景区域的像素值的差值估算背景区域当前的噪声功率值的方法包括：获取背景区域中面积最大的一块矩形背景区域；计算该矩形背景区域的当前像素值与前一次该相同区域的像素值的差值，并依据该差值估算背景区域当前的噪声功率值。一种更为优选地实施方式下，处理模块依据矩形背景区域的当前像素值与前一次该相同区域的像素值的差值估算背景区域当前的噪声功率值的方法为：背景区域当前的噪声功率值等于当前像素值与前一次像素值的差值的方差其中，所述差值的方差采用以下数学式进行计算：其中，Y(x,y,k)为M×N大小矩形背景区域第k帧和第k-1帧在点(x,y)处像素值的差值，M和N是矩形背景区域的长和宽，(x，y)是像素的坐标。一种更为优选地实施方式下，当噪声功率值大于降噪处理判断阈值时，则处理模块对该关键分量视频数据的前景区域的像素采用时间域的帧间降噪算法进行降噪处理，对该关键分量视频数据的背景区域的像素采用均值滤波算法、双边滤波算法、三维块匹配算法BM3D或数字图像非局部均值算法Non-LocalMeans进行降噪处理。通过上述本发明的技术方案可以看出，在本发明中，充分利用固定场景的特点，对视频数据中静止像素和运动像素进行区分，并依据静止像素估算噪声，能去除视频数据中的大多数噪声。采用本发明，能够准确地划分视频中的运动像素和静止像素，从而更准确地估计出噪声功率值，提高了视频图像的主观质量，而且运算量和存储资源较低，降低了编码码流，并易于硬件实现。附图说明图1是本发明实施例提供的基于固定场景的视频降噪处理方法降噪流程示意图。图2是本发明实施例提供的以背景像素估计噪声功率的流程示意图。图3是本发明实施例提供的基于固定场景的视频降噪处理装置结构示意图。本发明目的的实现、功能特点及优异效果，下面将结合具体实施例以及附图做进一步的说明。具体实施方式下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。本发明的发明人想到，在视频监控领域中，最常见的情况是固定摄像头下的固定场景监控，此时采集的视频中含有大量的静止像素，这些像素的集合称之为背景，因此可以在降噪过程中利用静止像素的信息，从而准确地估计噪声功率的大小，进而为后续的噪声滤除提供有力的依据。在具体实施时，采用本发明实施例提供的基于固定场景的视频降噪处理方法可以处理多种格式的视频数据，例如YUV格式、RGB格式等，例如以采集的视频数据为YUV格式为例，本发明实施例提供的基于固定场景的视频降噪处理方法包括如下步骤：步骤一、首先提取出YUV视频数据的Y分量，对其进行下采样，降低数据量。其中，Y分量为YUV视频数据的关键分量，这是因为其数据采样比较多，且噪声相对较多。步骤二、然后对下采样后的数据使用背景建模技术，将整个场景划分为前景区域和背景区域。步骤三、接着根据背景区域的像素值来估计出当前时间内的噪声状况。如果噪声功率比较小，说明视频质量较好，不需要进行视频降噪，直接输出原始的视频流；如果噪声功率大于一定的阈值，则对前景区域和背景区域分别进行降噪处理。更为具体地，本发明实施例的具体实现过程如下：1、获取当前帧YUV图像，记为Fn；2、提取出Y分量数据，并对其进行下采样，得到Y’，以降低数据量；3、对Y’进行单高斯背景建模，提取出Y’的前景和背景，并用当Y’更新单高斯模型的各个参数；4、根据Y’的前景和背景，找到原Y分量数据是属于前景还是背景。找到背景中最大的一块矩形区域，记其大小为M×N；5、计算前一帧Fn-1和当前帧Fn在对应块M×N的差值，并根据该差值估计噪声的功率δ2；6、如果噪声功率δ2小于阈值T，说明视频中噪声较小，此时不需要进行降噪，转入步骤1，处理下一帧图像；否则转入步骤7；7、根据背景检测的结果，将当前帧Fn的每个像素划分为前景或者背景，并分别处理。其中属于背景的像素，使用时间域的帧间降噪；属于前景的像素，由于运动目标的存在，则使用帧内降噪法，比如均值滤波算法、双边滤波算法、三维块匹配算法BM3D或者数字图像非局部均值算法Non-LocalMeans等方法进行降噪处理。下面，结合附图所示，对本发明实施例的具体实施步骤做详细说明。如图1所示，图1是本发明实施例提供的基于固定场景的视频降噪处理方法降噪流程示意图，其具体处理步骤如下：步骤1、提取出YUV通道中的Y分量，并对其进行下采样，以降低数据量。然后对下采样后的数据进行自适应单高斯背景建模，区分前景和背景像素。其中，单高斯背景模型适合对固定场景进行背景建模，用于区分前景和背景像素。在本发明实施例中，由于对Y分量进行了下采样，故该部分的数据比较少，提高了计算速度。在固定场景中，每个像素点在第n帧的状态用单高斯分布η(Xn,μn,∑n)来表示，其中μn、∑n分别为像素在第n帧时的均值和协方差。设像素当前的像素值In，记dn=In-μn，若特征因子大于一定的判断阈值T，则该像素点为前景像素点，否则，认为该像素点的特征值与高斯分布匹配，是场景的背景像素点。在实际应用中，单高斯背景建模的背景需要实时进行更新，设学习率α，其用以表示参数的更新速度，则像素点的高斯分布参数按照下面的等式进行更新：μn+1=(1-α)μn+αIn；其中dn=(In-μn)，μn为当前背景图像中像素点的灰度值，也是高斯分布的均值，In为当前像素的灰度值，μn+1为为更新后背景图像的灰度值，α为学习率。步骤2、根据背景像素估计噪声功率。背景建模后，首先将得到下采样后图像的二值化掩码，其中掩码的每个像素的取值为0或者1。如果为0，则表示该像素点属于背景像素；否则，属于前景像素。对该二值化的掩码进行连通操作后，可以得到背景区域。然后选择一块最大的背景区域，用于估计当前的噪声功率。由于选择的是背景区域，故运动的目标对噪声功率的估计就减少到了最低程度。同时选择的背景像素足够多，因此对功率的估计更加准确。如图2所示，具体噪声功率计算流程为：步骤2.1、计算前后两帧之间的差值Y(x,y，k)。步骤2.2、根据背景检测提取一块最大的矩形背景区域，估计该背景区域的均值和方差：由于相邻两帧的图像中，背景像素的像素值近似相等，故上式的均值接近于0。此时噪声信号的功率近似等于帧差信号的方差，即：其中，Y(x,y,k)为M×N大小矩形背景区域第k帧和第k-1帧在点(x,y)处像素值的差值，M和N是矩形背景区域的长和宽，(x,y)是像素的坐标。步骤3、根据噪声功率的大小进行降噪处理步骤3.1、如果噪声功率较低，此时说明视频中噪声较低。此时不需要进行视频降噪，一方面可以节省计算资源，另一方面外可以保护图像的细节信息。步骤3.2、如果噪声功率较大，则需要对视频进行降噪。其中前景像素和背景像素分别进行处理。其中，对于背景像素，采用帧间降噪的方式，以保护背景的边缘信息。对于前景像素，则采用帧内降噪的方法，以减少拖影现象的发生。采用本发明，不仅可以去除视频中多数的噪声，提升了视频的主观质量，而且运算量和存储资源较低，非常易于硬件实现，是一种有效的降噪方法。相应地，如图3所示，本发明实施例还提供了一种基于固定场景的视频降噪处理装置，包括：获取模块100，用于获取一帧视频数据；提取与采样模块200，用于提取该帧视频数据中的关键分量视频数据，并对该关键分量视频数据进行下采样处理；处理模块300，用于对下采样后的关键分量视频数据进行背景建模以提取前景区域和背景区域，以及进一步用于依据背景区域的当前像素值与前一次背景区域的像素值的差值估算背景区域当前的噪声功率值，如果噪声功率值小于预先设置的降噪处理判断阈值，则不对该关键分量视频数据进行降噪处理；如果噪声功率值大于降噪处理判断阈值，则对该关键分量视频数据的前景区域和背景区域分别进行降噪处理。一种优选实施方式下，处理模块300对下采样后的关键分量视频数据进行背景建模以提取前景区域和背景区域的方法包括：各个像素点在第n帧中的状态用单高斯分布模型η(Xn,μn,∑n)来表示，其中，μn为像素点在第n帧时的均值，∑n为像素点在第n帧时的协方差，若特征因子大于预先设置的判断阈值T，则判断该像素点为前景像素点；否则认为该像素点的特征值与高斯分布匹配，判断该像素点为背景像素点，其中，所述dn＝In-μn，In为当前像素点的灰度值。一种更为优选地实施方式下，处理模块300参照以下数学式对像素点的单高斯分布模型η(Xn,μn,∑n)进行更新：μn+1=(1-α)μn+αIn；其中，μn为高斯分布的均值，In为当前背景区域中像素点的灰度值，μn+1为更新后背景区域图像的灰度值，α为学习率。一种更为优选地实施方式下，处理模块300依据背景区域的当前像素值与前一次背景区域的像素值的差值估算背景区域当前的噪声功率值的方法包括：获取背景区域中面积最大的一块矩形背景区域；计算该矩形背景区域的当前像素值与前一次该相同区域的像素值的差值，并依据该差值估算背景区域当前的噪声功率值。一种更为优选地实施方式下，处理模块300依据矩形背景区域的当前像素值与前一次该相同区域的像素值的差值估算背景区域当前的噪声功率值的方法为：采用以下数学式计算该矩形背景区域的均值和方差；由于相邻两帧的图像中，背景像素的像素值近似相等，均值接近于0，故背景区域当前的噪声功率值为当前像素值与前一次像素值的差值的方差其采用以下数学式进行计算：其中，Y(x,y,k)为M×N大小矩形背景区域第k帧和第k-1帧在点(x,y)处像素值的差值，M和N是矩形背景区域的长和宽，(x，y)是像素的坐标。一种更为优选地实施方式下，当噪声功率值大于降噪处理判断阈值时，则处理模块300对该关键分量视频数据的前景区域的像素采用时间域的帧间降噪算法进行降噪处理，对该关键分量视频数据的背景区域的像素采用均值滤波算法、双边滤波算法、三维块匹配算法BM3D或数字图像非局部均值算法Non-LocalMeans进行降噪处理。在实际应用中，可以将本发明实施例提供的基于固定场景的视频降噪处理装置灵活地嵌入到编码前端，或者解码后端的视频显示部分，以实现视频数据的降噪处理。以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。