专利名称：一种雾天连续视频图像实时性增强处理系统的制作方法
技术领域：
本发明涉及一种视频图像增强技术，具体地涉及一种基于分块处理和模糊算法的雾天连续视频图像实时性增强处理系统，属于图像复原及图像增强技术领域。
背景技术：
图像的质量直接影响到后期的图像分析，因此人们常用数字图像处理的方式对图像的质量进行改善。雾天时，弥漫在空中的雾霾大幅度降低了景物的能见度，使得景物的细节无法辨认，交管部门无法获得清晰地实时图像信息，治安监控不能达到理想的效果等等， 给人们的生产生活带来严重的影响。因此，提高雾天视频图像的能见度，增强雾天连续视频图像的清晰度成为了户外实时图像处理系统中亟待解决的问题之一。目前，雾天视频图像处理系统中经常采用基于整幅图像确定变换或转移函数对图像进行全局处理的方法，如全局直方图，曲波、小波变换，同态滤波等等。对于图像的全局处理通常其算法较简单，但是会因为所选参数对局部区域的不适应性而造成部分区域成像质量恶化的情况。模糊算法是分析和解决不确定性问题的一种有力工具，在图像处理系统领域中得到了成功的运用，尤其是在对比度模糊图像的增强的运用中，得到了比全局直方图、 曲波、小波变换、同态滤波等等全局处理方法更好的处理效果。
发明内容
本发明的目的正是为了克服现有视频图像处理系统中所存在的缺陷和不足，而提供一种基于分块处理和模糊算法的雾天连续视频图像实时性增强处理系统。本发明提供的处理系统是将图像按照不同的特征划分为不同的局部区域，再根据局部区域的特征来计算变换或转移函数，并将这些函数用于所对应的局部区域，以得到全局处理不能实现的增强效果；突出图像细节的同时，减少图像的失真；以改善在雾天条件下连续视频图像的视觉效果，增强图像画面对比度，提高图像实时性增强效果。为实现上述目的，本发明采用以下技术措施构成的技术方案来实现的。本发明的雾天连续视频图像实时性增强处理系统其基本原理是将视频图像分为基础帧和后续帧两类，且处理系统将自动更新基础帧和后续帧；然后对基础帧进行自适应分块处理，对分出的每个子块再自适应匹配渡越点，并计算每个子块的隶属度函数，即模糊算法的具体运算；再将要处理的图像从空域变换到模糊域，然后在模糊域上进行非线性变换，最后再反变换回空域；即得到每个子块的R、G、B三个通道图像增强前后的颜色通道映射表。根据所述颜色通道映射表对基础帧进行增强为基础的去雾处理，对后续帧先判断图像亮度均值与基础帧的亮度均值之差来决定是否更新基础帧；如果后续帧亮度均值与基础帧亮度均值之差大于5则需要将后续帧作为更新基础帧而对基础帧进行重新分块，并自适应匹配渡越点计算颜色通道映射表，匹配新的映射表。如果后续帧亮度均值与基础帧亮度均值之差小于5或等于5，则不需要将后续帧作为更新基础帧，此时根据像素点所处的位置判断像素点属于哪个子块，只需要根据计算好的该子块的颜色通道映射表进行查表处理即可。而后续帧子块通过和基础帧的子块比较，再进行R、G、B三个颜色通道的映射或者对像素进行均值处理。通过上述方法对视频图像进行处理后，既减少了视频图像处理的运算量，且大幅度地提高了视频图像处理速度；同时还保证了视频图像的质量，完全能满足获得实时清晰图像信息及监控效果的需要；与传统视频去雾方法相比大大提高了图像增强实时性。本发明提供的一种基于分块处理和模糊算法的雾天连续视频图像实时性增强处理系统，包括以下操作步骤(I)将视频图像进行分帧首先将要处理视频图像划分为基础帧和后续帧两类；(2)设定渡越点数目，建立颜色通道映射表库将视频图像灰度值在40-80范围内每间隔10设定一个渡越点，共为5个，图像灰度值在80-120范围内每间隔5设定一个渡越点，共为8个，图像灰度值在120-255范围内每间隔10设定一个渡越点，共为13个；总共设定26个渡越点，每个渡越点对应一个隶属度函数和颜色通道映射表，并构成颜色通道映射表库；(3)对基础帧自适应分块及匹配渡越点根据视频图像的像素亮度方差的大小，将视频图像所述基础帧自适应分成1-64 个子块图像，对每个子块进行自适应匹配渡越点，然后对每个子块进行模糊算法处理，计算每个子块的隶属度函数，以分别获得基础帧各子块的R、G、B三个通道图像增强前后的颜色通道映射表；(4)增强基础帧子块图像对步骤(3)确定的基础帧的每个子块图像，根据视频图像的统计特性，即视频图像的平均灰度值，自适应匹配基础帧子块的渡越点及隶属度函数；将视频图像从空域变换到模糊域，然后在模糊域上进行非线性变换，再匹配每个所述子块对应的R、G、B三个颜色通道的映射表，根据所匹配的颜色通道映射表对基础帧子块进行增强处理；最后再反变换回空域；(5)对后续帧进行自适应处理首先以要处理的当前后续帧的亮度均值与基础帧的亮度均值之差作判断，如果它们的亮度均值差小于或者等于5确定为后续帧，再判断其像素点处在相对于基础帧的哪个子块，如果不处于基础帧相邻子块的重叠区，利用步骤(3)得到的映射表进行R、G、B三个颜色通道分量的映射；如果处于基础帧相邻子块重叠区，根据其相邻子块的通道映射表，对重叠区域内的像素进行均值处理即可，如果它们亮度均值差大于5，则以当前后续帧为更新的基础帧重复步骤(3)-(4)即可。上述技术方案中，所述基础帧相邻子块的重叠区，是在划分的子块与子块之间的连接区域选取边长的十分之一个像素为基础帧相邻子块的重叠区域。上述技术方案中，所述对基础帧进行分块，首先以整个视频图像像素的亮度方差值作判断，如果亮度方差小于20就不进行分块处理，如果亮度方差大于或等于20则进行第一次分块；第一次将图像分成四块；然后分别判断各个子块的像素亮度方差值，依照第一次分块的方式决定是否再次分块。本发明的视频图像实时性增强处理系统具有以下特点及有益技术效果
I、本发明的图像处理系统，采用了对图像分成基础帧和后续帧，自适应分块处理的方式，图像的自适应分块处理将图像按照不同的特征划分为不同的区域；然后根据所关心的局部区域的特性来计算变换或转移函数，并将这些函数用于所对应的区域，以得到相对于目前常用的基于整幅图像以确定变换或转移函数对图像进行全局处理方法所不能实现的增强效果；本发明方法对场景丰富的图像效果尤佳。2、采用本发明的图像处理系统进行雾天连续视频图像增强，实现了雾天条件下， 户外监控以及户外视频拍摄的实时清晰化处理，增强了图像画面对比度，丰富了图像细节， 突出图像细节的同时，减少图像的失真，提高了图像质量。3、本发明的图像处理系统无论是PAL制还是NTSC制视频，该处理系统都能达到实时处理，能够恢复出画面大部分的细节信息，效率高，效果好。
图I是本发明系统数据流程中雾天视频图像增强装置103的位置示意图；图2是本发明图I中雾天视频图像增强装置103的模块结构示意图；也是雾天视频图像增强算法的原理示意图；图3是本发明图I中雾天连续视频图像增强装置103模块的算法流程图；图4是本发明图3中算法流程图中渡越点求解单元302的算法流程图；图5是本发明雾天连续视频图像实时性增强处理系统的软件整体流程示意图；图6去雾处理之前视频图像原图；图7采用本发明处理系统去雾处理之后的视频图像效果图。
具体实施例方式下面结合具体实施例对本发明进行详细说明，但不应理解为是对本发明保护范围的任何限定。图I中，对输入数据缓冲101单元进行色彩空间转换，将源图像从101单元的YUV 数据格式转至102输入数据缓冲RGB图像单元的RGB数据格式，转换公式如下(I)式所示；R=L 164* (Y-16) +1. 596* (V-128)G=L 164* (Y-16) -0. 813* (V-128) -0. 392* (U-128)--------(I)B=L 164* (Y-16) +2. 017* (U-128)雾天视频图像增强装置103单元模块对102单元输出的源图像数据进行增强处理，然后输出到104输出数据缓冲单元，此时目标图像为RGB格式，再将104单元的目标图像数据转换成105输出数据缓冲单元的YUV格式进行输出，转换公式如下(2)式所示；Y = O. 257*R+0. 504*G+0. 098*B+16U = -0. 148*R_0. 291*G+0. 439*B+12--------(2)V = O. 439*R_0. 368*G_0. 071*B+128式⑴和式⑵中，RGB加色混合色彩模型，颜色的一种表示模型，所述R、G、B分别代表红色、绿色和蓝色；YUV颜色的另外一种表不模型,应用于电视传播系统的彩色模型,所述Y、U、V分别代表亮度、色度和色差。
参考书目《图像通信》何小海滕奇志等等2005年西安电子科大出版社。图2中，视频图像增强装置103的模块结构图，该模块图主要包括基础帧重叠分块模块201、空域转模糊域模块202、模糊域增强模块203、模糊域转空域模块204。201单元对原图像数据进行自适应分块处理，将图像分成1-64个子块，并且相邻两个子块之间均有个数为相邻边长的1/10的像素作为重叠区域；202单元将每个子块的颜色分量数据，如R通道的值进行空域转模糊域处理，将图像从空域转换到模糊域，得到图像的模糊域特征平面； 203单元对图像的每个子块进行模糊域增强处理，得到增强后的模糊特征平面；再通过204 单元，将每个子块图像从模糊域反转回空域，得到增强后的子块目标图像数据；205单元组合子块图像，按照分块之前子块的位置重新组合在一起，构成处理完成之后新的整幅图像， 实现了雾天视频图像增强处理的目的。图3是图I中雾天视频图像增强装置103的算法流程图，包括以下步骤步骤301，判断是否为基础帧，如果是，转至步骤302，如果不是，转至步骤312 ；步骤302，如果是基础帧，并对图像进行自适应分块处理，分成1-64个子块，其相邻子块之间均有个数为相邻边长的1/10的像素作为重叠区域；步骤303，自适应匹配每个子块的渡越点，匹配隶属度函数和R、G、B三颜色通道映射表；步骤304，计算基础帧每个子块的倒数模糊因子，公式(7)步骤305，计算基础帧每个子块的隶属度函数，根据隶属度函数将图像从空域变换到模糊域，公式(6)；步骤306，对于基础帧每个子块，在模糊域上进行非线性变换，更新隶属度；步骤307，将基础帧每个子块从模糊域反变换回空域，由公式(6)进行逆变换；步骤308，选取基础帧每个子块图像增强后的颜色通道映射表；步骤309，判断是否为重叠区域如果不是，转至步骤310，如果是，转至步骤311 ；步骤310，根据步骤308得到的各子块的映射表对基础帧非重叠部分图像进行增强处理；步骤311，根据步骤308得到的各子块图像增强后映射表，对每个子块R、G、B三颜色的映射值进行均值处理，组成新的映射表对基础帧的重叠部分进行增强处理；步骤312，如果是后续帧，判断是否为重叠区域如果是，转至步骤313，如果不是， 转至步骤314 ；步骤313，根据步骤308得到的基础帧子块映射表，对后续帧非重叠部分图像进行增强处理；步骤314，根据步骤308得到的基础帧各子块映射表，对每个子块的映射值进行均值处理，建立新的映射表对后续帧的重叠部分进行增强处理。图4为渡越点求解单元303的算法流程图，包括以下步骤步骤401，计算视频帧各子块的灰度均值，公式(3)；步骤402，计算基础帧各子块的标准差，公式(4)，根据标准差选取渡越点匹配函数参数值k2 ；步骤403，选取各子块的渡越点X，公式(5)。实施例
以下实施例根据本发明图5的软件整体流程示意图，对雾天连续视频图像作实时性增强处理，包括以下操作步骤第一步将视频图像进行分帧首先将要处理的视频图像划分为基础帧和后续帧；第二步设定渡越点数目，建立颜色通道映射表库将视频图像灰度值在40-80范围内每间隔10设定一个渡越点，共为5个，图像灰度值在80-120范围内每间隔5设定一个渡越点，共为8个，图像灰度值在120-255范围内每间隔10设定一个渡越点，共为13个；总共设定26个渡越点，每个渡越点对应一个隶属度函数和颜色通道映射表；各颜色通道映射表构成为颜色通道映射表库；第三步基础帧自适应分块根据视频图像的像素亮度方差的大小，对第一步确定的基础帧进行自适应重叠分块处理，将基础帧分成1-64子块，为避免处理后的视频图像出现块效应，在基础帧相邻子块连接区域处选取有相邻边长的1/10个像素作为其重叠区域；第四步增强基础帧子块图像对第三步确定的基础帧的每个子块，进行模糊变换，以获得每个子块的R、G、B颜色通道映射表，再增强基础帧子块，具体步骤如下I)根据基础帧各子块的统计特性，自适应的配对每个子块的渡越点X，由以下公
式(5)确定，提供由多个渡越点组成的渡越点库共26个渡越点；每个渡越点代表一个灰
度处理的分界点，通过模糊处理降低渡越点X以下的灰度，而提高渡越点X以上的灰度，以
此达到提高对比度的目的；目前传统的渡越点一般通过直方图波谷法或OTSU法自适应选
取，其缺点是计算出的值不准确或者计算量大；而本发明通过公式(3)均值和公式(4)标
准差匹配渡越点，不仅准确率高，而且计算量也较小；首先计算当前基础帧各子块的均值
mean和标准差stdard w H
权利要求
1.一种基于分块处理和模糊算法的雾天连续视频图像实时性增强处理系统，其特征在于包括以下操作步骤(1)将视频图像进行分帧首先将要处理视频图像划分为基础帧和后续帧两类；(2)设定渡越点数目，建立颜色通道映射表库将视频图像灰度值在40-80范围内每间隔10设定一个渡越点，共为5个，图像灰度值在80-120范围内每间隔5设定一个渡越点，共为8个，图像灰度值在120-255范围内每间隔10设定一个渡越点，共为13个；总共设定26个渡越点，每个渡越点对应一个隶属度函数和颜色通道映射表，并构成颜色通道映射表库；(3)对基础帧自适应分块及匹配渡越点根据视频图像的像素亮度方差的大小，将视频图像所述基础帧自适应分成1-64个子块图像，对每个子块进行自适应匹配渡越点，然后对每个子块进行模糊算法处理，计算每个子块的隶属度函数，以分别获得基础帧各子块的R、G、B三个通道图像增强前后的颜色通道映射表；(4)增强基础帧子块图像对步骤(3)确定的基础帧的每个子块图像，根据视频图像的统计特性，即视频图像的平均灰度值，自适应匹配基础帧子块的渡越点及隶属度函数；将视频图像从空域变换到模糊域，然后在模糊域上进行非线性变换，再匹配每个所述子块对应的R、G、B三个颜色通道的映射表，根据所匹配的颜色通道映射表对基础帧子块进行增强处理；最后再反变换回空域；(5)对后续帧进行自适应处理首先以要处理的当前后续帧的亮度均值与基础帧的亮度均值之差作判断，如果它们的亮度均值差小于或者等于5确定为后续帧，再判断其像素点处在相对于基础帧的哪个子块，如果不处于基础帧相邻子块的重叠区，利用步骤(3)得到的映射表进行R、G、B三个颜色通道分量的映射；如果处于基础帧相邻子块重叠区，根据其相邻子块的通道映射表，对重叠区域内的像素进行均值处理即可，如果它们亮度均值差大于5，则以当前后续帧为更新的基础帧重复步骤(3)-(4)即可。
2.根据权利要求I所述的雾天连续视频图像实时性增强处理系统，其特征在于所述基础帧相邻子块的重叠区，是在划分的子块与子块之间的连接区域选取边长的十分之一个像素为基础帧相邻子块的重叠区域。
3.根据权利要求I所述的雾天连续视频图像实时性增强处理系统，其特征在于所述对基础帧进行分块，首先以整个视频图像像素的亮度方差值作判断，如果亮度方差小于20 就不进行分块处理，如果亮度方差大于或等于20则进行第一次分块；第一次将图像分成四块；然后分别判断各个子块的像素亮度方差值，依照第一次分块的方式决定是否再次分块。
全文摘要
本发明是基于分块处理和模糊算法的雾天连续视频图像实时性增强处理系统。该处理系统将图像分为基础帧和后续帧，对基础帧进行分块处理，对每个子块匹配渡越点和隶属度函数，再将图像从空域变换到模糊域，在模糊域上进行非线性变换增强；得到每个子块的R、G、B三个通道图像增强前后的颜色通道映射表，最后将图像反变换回空域；对后续帧处理根据基础帧直接增强图像或者更新基础帧。本发明处理系统比全局处理更具有实时性；突出图像细节的同时，减少图像的失真；改善了在雾天条件下连续视频图像的视觉效果，增强了图像画面对比度，且能保证图像质量；完全能满足所需实时清晰图像信息及监控效果的需要。
文档编号G06T5/00GK102611828SQ201210007378
公开日2012年7月25日 申请日期2012年1月11日 优先权日2012年1月11日
发明者何小海, 何艳, 吴炜, 李军华, 杨宗瑞, 陈英涛, 黄晓强 申请人:四川大学