专利名称：图像序列帧间闪烁噪声消除方法
技术领域：
本发明提供一种能减小图像序列帧间闪烁噪声的消除方法，尤其是用于滤除多帧图像序列帧间闪烁噪声的方法。
背景技术：
图像传感器在拍摄多帧序列图像时，由于随机噪声的影响，序列图像在连续播放时，画面充满了严重的闪烁噪声，极大地影响了视频序列的质量。
而目前对图像噪声有的不做任何处理，有的只做空间域上的噪声抑制(即只在同一帧内利用空间上相邻的图像像素点间的关系进行处理)，空间域上的噪声表现为，对着均匀的物体拍出来的一张图像却有类似麻点的不均匀像素点存在。对空间域上噪声的抑制，可以采用均值滤波、中值滤波等方法。另外，对于图像噪声的处理还包括图像叠加平均技术，此技术多用于获取高信噪比的单帧图像，多为对同一静态场景拍摄多帧图像然后叠加，叠加平均后获得的单帧图像拥有很高的“信噪比”，但该方法不适用于序列图像处理，尤其是存在图像间运动的序列图像的处理。
发明内容
本发明要解决的技术问题是提供一种图像序列帧间闪烁噪声消除的方法。
为了解决上述问题，本发明提供的用于图像序列帧间闪烁噪声消除的方法包括以下步骤(a)设置叠加平均处理的帧数为N，保存输入或输出图像序列的前N-1帧图像，N≥2；(b)对于输入图像序列的第i帧，i＝N，N+1，……，先提取出保存的第i-1帧、第i-2帧……第i-N+1帧图像，并根据提取的该N-1帧图像，逐点判断第i帧图像的各像素点属于背景还是属于运动目标，对属于背景的像素点进行多帧叠加平均，属于运动目标的像素点保持不变，得到输出图像序列的第i帧，并保存输入或输出图像序列的第i帧；(c)按步骤(b)的方法对输入图像序列进行逐帧处理，得到消除了输入图像序列帧间闪烁噪声的输出图像序列。
进一步地，上述方法还可具有以下特点所述步骤(b)中，是将输入图像序列第i帧的每一像素点和提取出的第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果和某帧对应像素点比较时判断第i帧的该像素点属于背景，则记录下该帧，最后将第i帧和记录下来的所有帧的该像素点进行叠加平均，如果没有记录下任何一帧，则保持第i帧的该像素点不变，在处理完所有像素点后，得到输出图像序列的第i帧。
进一步地，上述方法还可具有以下特点所述步骤(b)中，是将输入图像序列第i帧的每一像素点，依次和提取出的第i-1帧、第i-2帧、……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果比较结果均属于背景，则将该N帧的该像素点进行叠加平均，如果和第i-2帧及之后的某一帧比较时判断该像素点属于运动目标，则将在该帧之前比较过的所有帧和第i帧的该像素点进行叠加平均，如果和第i-1帧比较时判断该像素点属于运动目标，则保持第i帧的该像素点不变，在处理完所有像素点后，得到输出图像序列的第i帧。
进一步地，上述方法还可具有以下特点所述步骤(b)中，将第i帧的像素点和另一帧图像对应像素点比较，判断该像素点属于背景还是属于运动目标的方法为在所有颜色通道上对该两帧图像的对应像素点求差，如果在所有通道上得到的差值的绝对值都小于相应通道设定的阈值，则判断该像素点属于背景，反之判断该像素点属于运动目标。
进一步地，上述方法还可具有以下特点所述步骤(b)中，对多帧图像的对应像素点进行叠加平均时，是在所有颜色通道上对多帧图像的该像素点进行算术平均。
进一步地，上述方法还可具有以下特点所述N值为2～5。
进一步地，上述方法还可具有以下特点对于图像序列第N帧以前的各帧，也是提取出该帧之前的所有帧，逐点判断各像素点属于背景还是属于运动目标，对属于背景的像素点进行叠加平均，属于运动目标的像素点保持不变，得到输出图像序列的该帧。
进一步地，上述方法还可具有以下特点所述N值在图像序列的处理过程中是固定的，或者，该N值在图像序列的处理过程中是可变的。
进一步地，上述方法还可具有以下特点所述步骤(b)中，得到输出图像序列的第i帧后，还删除保存的第i-N+1帧图像。
与现有技术相比，本发明使用逐点自适应的多帧叠加平均技术，分别针对运动像素点和静止像素点进行不叠加与叠加的操作，避免了运动部分直接叠加会严重影响图像质量的缺陷和不足。除了可以提高每一帧图像的信噪比，同时还可以极大地滤除序列图像的帧间闪烁噪声。具有良好的可实施性和扩展性。
图1是本发明实施例方法的流程图。
具体实施例方式
本发明对时间域上的噪声进行处理的方法，是将逐点自适应的多帧叠加平均技术用于滤除拍摄多帧序列图像时画面上的闪烁噪声。由于人眼对图像运动部分的噪声闪烁远不如静态部分敏感，而运动部分直接叠加会严重影响图像质量，所以我们采用逐点运动自适应的多帧叠加方法。具体来说，存在运动的像素点不叠加，而静止的像素点叠加。
第一实施例下面以叠加平均处理的帧数等于3时为例，对本发明方法进行说明，如图1所示，该流程包括以下步骤
步骤110，对于图像传感器拍摄的输入图像序列的第1帧，保存该帧并直接作为输出图像序列的第1帧；步骤120，对于输入图像序列的第2帧，提取出保存的第1帧图像，将其中的各像素点逐一和第1帧的对应像素点进行比较，判断该点属于背景还是属于运动目标，对属于背景的像素点进行两帧叠加平均，对属于运动目标的像素点保持不变，得到输出图像序列第2帧，并保存该第2帧图像；根据两帧图像上的对应像素点判断像素点属于背景还是属于运动目标的方法如下在彩色空间多个颜色通道上进行两帧对应像素点求差，如果图像在多个颜色通道(RGB或者YUV、YIQ等)上同时满足此差值的绝对值小于该通道的阈值，则判断其属于背景，反之判断其属于运动目标。
以RGB通道为例，即判断第i帧和第j帧两个对应像素点之间是否同时满足以下不等式abs(fi(x，y)-fj(x，y))R＜ThresRabs(fi(x，y)-fi(x，y))G＜ThresGabs(fi(x，y)-fj(x，y))B＜ThresB其中，fi(x，y)和fj(x，y)分别表示输入图像序列第i帧和第j帧的对应像素点，ThresR、ThresG、ThresB分别表示在R、G、B通道上设定的阈值，各个通道的Thres可以相同，也可以不同。如果上述三个不等式都满足，则该像素点属于背景，否则，该像素点属于运动目标。
步骤130，对于输入图像序列第i帧，i＝3，4，……，先提取出此前保存的第i-1帧和第i-2帧图像，将第i帧的各像素点逐一和第i-1帧和第i-2帧的对应像素点进行比较，判断该点属于背景还是属于运动目标，对属于背景的像素点进行叠加平均，属于运动目标的像素点则保持不变，得到输出图像序列的第i帧，同时保存输入图像序列的第i帧图像，并删除原先保存的i-2帧图像；如此逐帧处理，即可得到消除了输入图像序列帧间闪烁噪声的输出图像序列。
具体地，对于输入图像序列的第i帧中的每一像素点，逐一和第i-1帧、第i-2帧图像的对应像素点比较，判断其是否属于背景，如果和第i-1帧、第i-2帧比较时该点都属于背景，则将该三帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点；如果和第i-1帧或第i-2帧比较时该点属于背景，则将该二帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点；如果和第i-1帧、第i-2帧比较时该点都不属于背景，则直接将第i帧的像素点作为输出图像序列第i帧的该像素点。叠加平均应在所有颜色通道上进行，较佳采用算术平均，也可以用加权平均。
类似地，采用N帧叠加平均时(N≥2，如为2～5)，对输入图像序列第i帧的每一像素点，和第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果和某帧对应像素点比较时判断第i帧的该像素点属于背景，则记录下该帧，最后将第i帧和记录下来的所有帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点，如果没有记录下任何一帧，则保持第i帧的该像素点不变，在处理完所有像素点后，得到输出图像序列的第i帧。
可以看出，本发明采用了逐点自适应的多帧叠加平均技术，根据是否运动决定是否叠加，并可在判断过程中根据实际情况选择不同帧数进行叠加平均，即在对图像序列进行处理的过程中N值是可变的。因为本发明采用了背景像素叠加平均，运动目标像素保持不变的原则，避免了运动部分直接叠加会严重影响图像质量的缺陷和不足。除了可以提高每一帧图像的信噪比，同时还可以极大地滤除序列图像的帧间闪烁噪声。具有良好的可实施性和扩展性。
在上述实施例的基础上，本发明还可以有其它的变换。
例如，另一实施例中，在进行叠加平均时，可以限定在连续的多帧之间进行。即采用N帧叠加时，是将输入图像序列第i帧的每一像素点，依次和第i-1帧、第i-2帧、……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果比较结果均属于背景，则将该N帧的该像素点进行叠加平均，如果和第i-2帧及之后的某一帧比较时判断该像素点属于运动目标，则将在该帧之前比较过的所有帧和第i帧的该像素点进行叠加平均，如果和第i-1帧比较时判断该像素点属于运动目标，则保持第i帧的该像素点不变，在处理完所有像素点后，得到输出图像序列的第i帧。
对于3帧的情况，对第i帧的各像素点，先和第i-1帧的对应像素点比较，判断该点是否属于背景，如果不属于，将第i帧的该像素点作为输出图像序列第i帧的对应像素点；如果属于，再和第i-2帧图像的对应像素点比较，判断该点是否属于背景，如果属于，将该3帧图像的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点；否则，只将第i帧和第i-1帧图像的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点。和上述实施例的差别在于即使第i帧的像素点和第i-2帧对应像素点比较属于背景，也不进行这两帧该像素点的叠加。这样可以简化运算，不过在效果上要稍差一些。
又如，在另一实施例中，也可以将输出图像序列的帧保存到存储单元，在对下一帧图像进行叠加平均时，再提取出该帧进行比较和叠加平均处理，即采用输出图像序列的第i-1帧、第i-2帧……第i-N+1帧和输入图像序列第i帧进行叠加平均，这样也是可以的。
又如，对输入图像序列第N帧以前的帧可以按相同的方式进行叠加平均，如实施例中采用3帧叠加平均时，对第2帧也和第1帧(实施例是输入图像序列的，但也可以是输出图像序列的)一起进行了叠加平均，相当于采用的N值不同。但也可以从第N帧才开始处理，对之前的N-1帧图像直接输出，N值较小时甚至可以不输出之前的N-1帧图像。
权利要求
1.一种用于图像序列帧间闪烁噪声消除的方法，所述的方法包括以下步骤(a)设置叠加平均处理的帧数为N，保存输入或输出图像序列的前N-1帧图像，N≥2；(b)对于输入图像序列的第i帧，i＝N，N+1，……，先提取出保存的第i-1帧、第i-2帧……第i-N+1帧图像，并根据提取的该N-1帧图像，逐点判断第i帧图像的各像素点属于背景还是属于运动目标，对属于背景的像素点进行多帧叠加平均，属于运动目标的像素点保持不变，得到输出图像序列的第i帧，并保存输入或输出图像序列的第i帧；(c)按步骤(b)的方法对输入图像序列进行逐帧处理，得到消除了输入图像序列帧间闪烁噪声的输出图像序列。
2.如权利要求1所述的方法，其特征在于所述步骤(b)中，是将输入图像序列第i帧的每一像素点和提取出的第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果和某帧对应像素点比较时判断第i帧的该像素点属于背景，则记录下该帧，最后将第i帧和记录下来的所有帧的该像素点进行叠加平均，如果没有记录下任何一帧，则保持第i帧的该像素点不变，在处理完所有像素点后，得到输出图像序列的第i帧。
3.如权利要求1所述的方法，其特征在于所述步骤(b)中，是将输入图像序列第i帧的每一像素点，依次和提取出的第i-1帧、第i-2帧、……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果比较结果均属于背景，则将该N帧的该像素点进行叠加平均，如果和第i-2帧及之后的某一帧比较时判断该像素点属于运动目标，则将在该帧之前比较过的所有帧和第i帧的该像素点进行叠加平均，如果和第i-1帧比较时判断该像素点属于运动目标，则保持第i帧的该像素点不变，在处理完所有像素点后，得到输出图像序列的第i帧。
4.如权利要求2或3所述的方法，其特征在于所述步骤(b)中，将第i帧的像素点和另一帧图像对应像素点比较，判断该像素点属于背景还是属于运动目标的方法为在所有颜色通道上对该两帧图像的对应像素点求差，如果在所有通道上得到的差值的绝对值都小于相应通道设定的阈值，则判断该像素点属于背景，反之判断该像素点属于运动目标。
5.如权利要求1所述的方法，其特征在于所述步骤(b)中，对多帧图像的对应像素点进行叠加平均时，是在所有颜色通道上对多帧图像的该像素点进行算术平均。
6.如权利要求1所述的方法，其特征在于所述N值为2～5。
7.如权利要求1所述的方法，其特征在于对于图像序列第N帧以前的各帧，也是提取出该帧之前的所有帧，逐点判断各像素点属于背景还是属于运动目标，对属于背景的像素点进行叠加平均，属于运动目标的像素点保持不变，得到输出图像序列的该帧。
8.如权利要求1所述的方法，其特征在于所述N值在图像序列的处理过程中是固定的，或者，该N值在图像序列的处理过程中是可变的。
9.如权利要求1所述的方法，其特征在于所述步骤(b)中，得到输出图像序列的第i帧后，还删除保存的第i-N+1帧图像。
全文摘要
一种图像序列帧间闪烁噪声消除的方法，先设置叠加平均处理的帧数为N，保存输入图像序列的前N－1帧图像，N≥2；对于输入图像序列的第i帧，i＝N，N+1，……，先提取出保存的第i－1帧、第i－2帧……第i－N+1帧图像，并根据提取的该N－1帧图像，逐点判断第i帧图像的各像素点属于背景还是属于运动目标；对第i帧图像上属于背景的像素点进行多帧叠加平均，属于运动目标的像素点保持不变，得到输出图像序列的第i帧，同时保存第i帧、第i－1帧……第i－N+2帧图像；如此逐帧处理，即得到消除了输入图像序列帧间闪烁噪声的输出图像序列。本发明可提高每一帧图像的信噪比，还可极大地滤除序列图像的帧间闪烁噪声。
文档编号H04N5/217GK1874420SQ20061001223
公开日2006年12月6日 申请日期2006年6月13日 优先权日2006年6月13日
发明者孙余顺, 李昕彤 申请人:北京中星微电子有限公司