专利名称：一种监控视频的自适应增强方法及其装置的制作方法
技术领域：
本发明属于视频图像处理领域，特别涉及一种自适应地识别监控系统受到的各种干扰，进而改善监控视频图像质量的方法及装置。
背景技术：
视频监控系统广泛分布于社会的各个角落，监控获得的视频图像的好坏将直接决定监控系统的效果。视频监控系统需要长时间不间断地在各种复杂场景中工作，所以视频图像容易受到各种因素的干扰和影响，例如噪声、低照度以及雨、雪、雾、霾等天气等，这些因素都会影响视频图像的质量。视频增强在视频监控中有着重要的作用，现有的视频增强方法与装置一般是针对特定的干扰因素对视频图像进行优化，例如，公开号为CN 101340510A的专利申请所公开的“一种视频增强的方法及其装置”，仅针对低照度视频图像进行改善，公开号为CN 101001317A的专利申请所公开的“一种视频降噪的方法和装置”，主要是对视频图像进行降噪，因而普适性差，不能自适应地应用于各种复杂的视频监控场景。而在监控系统中，为了获得更好的监控视频效果，需要使得系统自适应地分析并处理各种不同的场景。
发明内容
本发明的目的是提供一种监控视频的自适应增强方法及装置，以适应视频监控系统工作应用场景复杂，容易受到各种外界因素影响的特点，自适应地识别监控系统受到的各种干扰，进而改善监控视频图像的质量，优化监控视频的效果。本发明所述监控视频的自适应增强方法，包括以下步骤亮度判断步骤，用于判断原始输入图像的亮度均值是否小于所设定阈值，如果原始输入图像的亮度均值小于设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理；雾霾判断步骤，用于判断原始输入图像的色饱和度分量的均值是否小于所设定阈值，如果原始输入图像的色饱和分量的均值小于设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；噪声判断步骤，用于判断原始输入图像索贝尔边缘检测后的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理；所述原始输入图像的目标是指原始输入图像二值化后灰度值为255的连通区域；亮度处理步骤，用于通过伽马变换修改原始输入图像像素点的灰度值，使被监控视频曝光正常；雾霾处理步骤，通过均衡原始输入图像所对应的灰度直方图得到一个新的亮度映射表，并根据所述新的亮度映射表修改原始图像的灰度值，去除雾霾；噪声处理步骤，用于修改原始输入图像像素点的亮度分量，去除噪声。本发明所述的监控视频的自适应增强方法，其亮度判断包括以下步骤亮度均值计算步骤，用于根据原始输入图像的亮度分量计算所述图像的亮度均值；亮度处理判断步骤，用于判断计算出的亮度均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理。本发明所述监控视频的自适应增强方法，其雾霾判断包括以下步骤第一色度空间转换步骤，用于将原始输入图像从YUV色度空间转换到RGB色度空间；色饱和度计算步骤，用于根据转换后的RGB色度空间，计算原始输入图像每个像素点的色饱和度；色饱和度分量均值计算步骤，用于根据每个像素点的色饱和度计算出原始输入图像的色饱和度分量均值；雾霾处理判断步骤，用于判断计算出的色饱和度分量均值是否小于所设定阈值， 如果小于所设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；第二色度空间转换步骤，用于将转换后的图像从RGB色度空间反转回YUV色度空间。本发明所述的监控视频的自适应增强方法，其噪声判断包括以下步骤边缘检测步骤，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；二值化步骤，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；目标统计计算步骤，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；噪声处理判断步骤，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。本发明所述监控视频的自适应增强方法，能够自动地分析监控视频的图像质量， 判断所输入的视频图像亮度是否需要处理，若判断出需要亮度处理，则自动进行亮度处理， 亮度处理完毕后，自动对该视频图像进行是否需要去噪声处理判断，若需要进行去噪声处理，则将视频图像进行去噪声处理后输出，若不需要进行去噪声处理，则直接将视频输出； 若判断出不需要亮度处理，则对该视频图像自动进行是否需要去雾霾处理判断，若判断结果为需要去雾霾处理，则进行去雾霾处理，去雾霾处理完毕后，自动对该视频图像进行是否需要去噪声处理判断，若需要进行去噪声处理，则将视频图像进行去噪声处理后输出，若不需要进行去噪声处理，则直接将视频输出；若判断结果为不需要去雾霾处理，则自动进行是否需要噪声处理判断，若需要进行噪声处理，则将视频图像进行去噪声处理后输出，若不需要进行去噪声处理，则直接将视频输出。本发明所述监控视频的自适应增强方法，通过计算机软件实现。本发明所述监控视频的自适应增强装置，包括以下模块亮度判断模块，用于判断原始输入图像的亮度均值是否小于所设定阈值，如果原始输入图像的亮度均值小于设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理；雾霾判断模块，用于判断原始输入图像的色饱和度分量的均值是否小于所设定阈值，如果原始输入图像的色饱和度分量的均值小于设定阈值，则被监控视频受到雾霾影响， 需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；噪声判断模块，用于判断原始输入图像索贝尔边缘检测后的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理；所述原始输入图像的目标是指原始输入图像二值化后灰度值为255的连通区域；亮度处理模块，用于通过伽马变换修改原始输入图像像素点的灰度值，使被监控视频曝光正常；雾霾处理模块，通过均衡原始输入图像所对应的灰度直方图得到一个新的亮度映射表，并根据所述新的亮度映射表修改原始图像的灰度值，去除雾霾；噪声处理模块，用于修改原始输入图像像素点的亮度分量，去除噪声。本发明所述监控视频的自适应增强装置，其亮度判断模块包括以下单元亮度均值计算单元，用于根据原始输入图像的亮度分量计算所述图像的亮度均值；亮度处理判断单元，用于判断计算出的所述亮度均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常， 不需要进行亮度处理。本发明所述的监控视频的自适应增强装置，其雾霾判断模块包括以下单元第一色度空间转换单元，用于将原始输入图像从YUV色度空间转换到RGB色度空间；色饱和度计算单元，用于根据转换后的RGB色度空间，计算原始输入图像每个像素点的色饱和度；色饱和度分量均值计算单元，用于根据每个像素点的色饱和度计算出原始输入图像的色饱和度分量均值；雾霾处理判断单元，用于判断计算出的色饱和度分量均值是否小于所设定阈值， 如果小于所设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；
第二色度空间转换单元，用于将转换后的图像从RGB色度空间反转回YUV色度空间。本发明所述监控视频的自适应增强装置，其噪声判断模块包括以下单元边缘检测单元，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；二值化单元，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；目标统计计算单元，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；噪声处理判断单元，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。本发明的有益效果实现了监控视频的自适应增强，能够自动地分析视频图像的质量，判断出图像受到何种干扰和影响，并且针对性地自动进行图像增强、优化处理，使监控视频的图像质量得到提高，使视频监控系统能够在复杂、多变的应用场景下良好、稳定、 持续地工作。
图1是本发明所述监控视频的自适应增强装置在监控系统中的位置图
图2是本发明所述监控视频的自适应增强装置的结构图3是图2中亮度判断模块的单元结构图4是图2中雾霾判断模块的单元结构图5是图2中噪声判断模块的单元结构图6是图2中亮度增强处理模块的单元结构图7是图6中亮度映射表计算单元的子单元结构图8图2中雾霾处理模块的单元结构图9是图2中噪声处理模块的单元结构图10是本发明所述监控视频的自适应增强方法的总体流程图11是亮度判断步骤的流程图12是雾霾判断步骤的流程图13是噪声判断步骤的流程图14是亮度处理步骤的流程图15是雾霾处理步骤的流程图16是噪声处理步骤的流程图，图中是进行的四帧视频序列平均处理。
具体实施方式
下面结合附图对本发明所述监控视频的自适应增强方法及装置进行详细说明。实施例1本发明所述监控视频的自适应增强装置在系统中的位置如图1所示，该自适应增强装置对摄像头输出的原始图像数据进行自适应判断，并进行相应处理，然后将处理后的目标图像数据输出到监视器。本实施例的原始图像为YUV格式。本发明所述监控视频的自适应增强装置的结构如图2所示，由亮度判断模块21、 雾霾判断模块22、噪声判断模块23、亮度处理模块M、雾霾处理模块25和噪声处理模块沈组成。亮度判断模块21的结构如图3所示，由亮度均值计算单元211和亮度处理判断单元212组成。亮度均值计算单元211用于根据原始输入图像的亮度分量(Y通道分量)计算所述图像的亮度均值(Y通道分量均值)，定义该Y通道分量图像为MXN的二维灰度图像X，
代表坐标为(i，j)处的像素值(以下均这样定义)，则该亮度均值为亮度处理判断单元212用于判断计算出的亮度均值是否小于所设定阈值T(阈值T 根据需要与经验确定，一般为50 70，本实施例设为60)，如果小于所设定阈值，则被监控视频判断为曝光不足，需要进行亮度处理，否则被监控视频判断为曝光正常，不需要进行亮度处理。雾霾判断模块22的结构如图4所示，由第一色度空间转换单元221、色饱和度计算单元222、色饱和度分量均值计算单元223、雾霾处理判断单元2M和第二色度空间转换单元225组成。第一色度空间转换单元221用于将原始输入图像从YUV色度空间转换到RGB色度空间；色饱和度计算单元222根据转换后的RGB色度空间的三个分量R、G、B,计算原始输入图像每个像素点的色饱和度，计算公式如下 色饱和度分量均值计算单元223，用于根据每个像素点的色饱和度计算出原始输入图像的色饱和度分量均值，计算公式如下式中Sij代表坐标为(i，j)处的像素的色饱和度；雾霾处理判断单元224，用于判断计算出的色饱和分量均值是否小于所设定阈值 St (阈值ST根据需要与经验确定，一般为0. 09 0. 11，本实施例设为0. 10)，如果小于所设定阈值，则被监控视频判断为受到雾霾影响，需要进行去雾霾处理，否则被监控视频判断为未受雾霾影响，不需要进行去雾霾处理；第二色度空间转换单元225，用于将图像从RGB色度空间反转回YUV色度空间。噪声判断模块23的结构如图5所示，由边缘检测单元231、二值化单元232、目标 亮度均值評醒=Σ Σ A /MV ； 色饱和度A
权利要求
1.一种监控视频的自适应增强方法，其特征在于包括以下步骤亮度判断步骤，用于判断原始输入图像的亮度均值是否小于所设定阈值，如果原始输入图像的亮度均值小于设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理；雾霾判断步骤，用于判断原始输入图像的色饱和度分量的均值是否小于所设定阈值， 如果原始输入图像的色饱和度分量的均值小于设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；噪声判断步骤，用于判断原始输入图像索贝尔边缘检测后的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理；所述原始输入图像的目标是指原始输入图像二值化后灰度值为255的连通区域；亮度处理步骤，用于通过伽马变换修改原始输入图像像素点的灰度值，使被监控视频曝光正常；雾霾处理步骤，通过均衡原始输入图像所对应的灰度直方图得到一个新的亮度映射表，并根据所述新的亮度映射表修改原始图像的灰度值，去除雾霾；噪声处理步骤，用于修改原始输入图像像素点的亮度分量，去除噪声。
2.根据权利要求1所述的监控视频的自适应增强方法，其特征在于亮度判断包括以下步骤亮度均值计算步骤，用于根据原始输入图像的亮度分量计算所述图像的亮度均值； 亮度处理判断步骤，用于判断计算出的所述亮度均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理。
3.根据权利要求1或2所述的监控视频的自适应增强方法，其特征在于雾霾判断包括以下步骤第一色度空间转换步骤，用于将原始输入图像从YUV色度空间转换到RGB色度空间； 色饱和度计算步骤，用于根据转换后的RGB色度空间，计算原始输入图像每个像素点的色饱和度；色饱和度分量均值计算步骤，用于根据每个像素点的色饱和度计算出原始输入图像的色饱和度分量均值；雾霾处理判断步骤，用于判断计算出的色饱和度分量均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；第二色度空间转换步骤，用于将转换后的图像从RGB色度空间反转回YUV色度空间。
4.根据权利要求1或2所述的监控视频的自适应增强方法，其特征在于噪声判断包括以下步骤边缘检测步骤，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；二值化步骤，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；目标统计计算步骤，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；噪声处理判断步骤，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。
5.根据权利要求3所述的监控视频的自适应增强方法，其特征在于噪声判断包括以下步骤边缘检测步骤，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；二值化步骤，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；目标统计计算步骤，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；噪声处理判断步骤，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。
6.一种监控视频的自适应增强装置，其特征在于包括以下模块亮度判断模块，用于判断原始输入图像的亮度均值是否小于所设定阈值，如果原始输入图像的亮度均值小于设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理；雾霾判断模块，用于判断原始输入图像的色饱和度分量的均值是否小于所设定阈值， 如果原始输入图像的色饱和度分量的均值小于设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；噪声判断模块，用于判断原始输入图像索贝尔边缘检测后的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理；所述原始输入图像的目标是指原始输入图像二值化后灰度值为255的连通区域；亮度处理模块，用于通过伽马变换修改原始输入图像像素点的灰度值，使被监控视频曝光正常；雾霾处理模块，通过均衡原始输入图像所对应的灰度直方图得到一个新的亮度映射表，并根据所述新的亮度映射表修改原始图像的灰度值，去除雾霾；噪声处理模块，用于修改原始输入图像像素点的亮度分量，去除噪声。
7.根据权利要求6所述的监控视频的自适应增强装置，其特征在于亮度判断模块包括以下单元亮度均值计算单元，用于根据原始输入图像的亮度分量计算所述图像的亮度均值； 亮度处理判断单元，用于判断计算出的所述亮度均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理。
8.根据权利要求6或7所述的监控视频的自适应增强装置，其特征在于雾霾判断模块包括以下单元第一色度空间转换单元，用于将原始输入图像从YUV色度空间转换到RGB色度空间； 色饱和度计算单元，用于根据转换后的RGB色度空间，计算原始输入图像每个像素点的色饱和度；色饱和度分量均值计算单元，用于根据每个像素点的色饱和度计算出原始输入图像的色饱和度分量均值；雾霾处理判断单元，用于判断计算出的色饱和度分量均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；第二色度空间转换单元，用于将转换后的图像从RGB色度空间反转回YUV色度空间。
9.根据权利要求6或7所述的监控视频的自适应增强装置，其特征在于噪声判断模块包括以下单元边缘检测单元，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；二值化单元，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；目标统计计算单元，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；噪声处理判断单元，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。
10.根据权利要求8所述的监控视频的自适应增强装置，其特征在于噪声判断模块包括以下单元边缘检测单元，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；二值化单元，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；目标统计计算单元，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；噪声处理判断单元，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。
全文摘要
一种监控视频的自适应增强方法，包括亮度判断步骤、雾霾判断步骤、噪声判断步骤、亮度处理步骤、雾霾处理步骤和噪声处理步骤。一种监控视频的自适应增强装置，包括亮度判断模块、雾霾判断模块、噪声判断模块、亮度处理模块、雾霾处理步骤和噪声处理模块。亮度判断模块包括亮度均值计算单元和亮度处理判断单元；雾霾判断模块包括第一色度空间转换单元、色饱和度计算单元、色饱和度分量均值计算单元、雾霾处理判断单元和第二色度空间转换单元；噪声判断模块包括边缘检测单元、二值化单元、目标统计计算单元和噪声处理判断单元。
文档编号H04N5/21GK102202163SQ20111012318
公开日2011年9月28日 申请日期2011年5月13日 优先权日2011年5月13日
发明者付光荣, 何海波, 何艳, 苏力思, 雷翔, 黄晓强 申请人:成都西图科技有限公司