一种基于fpga的视频图像增强方法和装置制造方法
【专利摘要】本发明适用于图像处理【技术领域】，提供了一种基于FPGA的视频图像增强方法和装置，包括：输入视频流，对所述视频流进行串并变换，生成奇像素视频流和偶像素视频流；生成奇像素视频流的第一帧图像的直方图；对第一帧图像的直方图进行增强处理得到第一帧图像的映射函数；根据相邻帧图像的相似性，用上一帧图像的映射函数处理得到当前帧图像的映射函数，生成奇像素图像增强视频流；复制所述奇像素视频流的所有帧图像的映射函数处理所述偶像素视频流，得到偶像素图像增强视频流，将所述奇像素图像增强视频流与所述偶像素图像增强视频流进行并串变换，输出图像增强视频流。本发明节省了视频图像增强的资源消耗，提高了视频图像增强的实时性。
【专利说明】—种基于FPGA的视频图像增强方法和装置
【技术领域】
[0001]本发明属于图像处理【技术领域】，尤其涉及一种基于FPGA的视频图像增强方法和
装置。
【背景技术】
[0002]在安防监控行业，下雨、大雾或者阴霾天气或者夜间能见度低，摄像机拍摄图像具有不同程度的显示效果差、监控画面难以辨认的问题。传统的基于光学的透雾摄像机和电子透雾摄像机受镜头昂贵成本的限制，很难普及，且透雾摄像机不能解决夜间照度低的问题。
[0003]现有的图像增强方法有两大类:一类是非模型的图像增强方法，通过增强图像的对比度来达到图像增强的目的；另一类是基于模型的图像复原方法，该类方法考查图像退化的原因，将图像退化过程进行建模，采用逆向处理，以完成图像的复原。基于模型的图像复原方法大多通过C语言实现，用于处理单幅图像，算法比较复杂，处理实时视频图像时需要高速DSP (Digital Signal Processing，数字信号处理)，而且实时处理的分辨率和帧率不高。采用FPGA (Field Programmable Gate Array,现场可编程门阵列)基于模型的图像复原方法做全局处理自适应能力不强，细节效果不理想；做局部处理实时性不高，资源消耗较大。
[0004]综上所述，现有的图像增强方式实时性差、资源消耗大。
【发明内容】
[0005]本发明实施例的目的在于提供一种基于FPGA的视频图像增强方法，旨在解决现有的视频图像增强方法实时性差、资源消耗大的问题。
[0006]本发明实施例是这样实现的，一种基于FPGA的视频图像增强方法，包括:
[0007]在现场可编程门阵列FPGA平台上，输入视频流，对所述视频流进行串并变换，生成奇像素视频流和偶像素视频流；
[0008]统计所述奇像素视频流的第一帧图像的各个灰度值的像素数，生成所述第一帧图像的直方图；
[0009]对所述第一帧图像的直方图进行增强处理得到所述第一帧图像的映射函数；
[0010]根据相邻帧图像的相似性，用所述第一帧图像的映射函数处理得到第二帧图像的映射函数，以此类推，用上一帧图像的映射函数处理得到当前帧图像的映射函数，生成奇像素图像增强视频流；
[0011]复制所述奇像素视频流的所有帧图像的映射函数，用复制的所述映射函数处理所述偶像素视频流，得到偶像素图像增强视频流，将所述奇像素图像增强视频流与所述偶像素图像增强视频流进行并串变换，输出图像增强视频流。
[0012]本发明实施例的另一目的在于提供一种基于FPGA的视频图像增强装置，包括:
[0013]串并变换模块，用于在现场可编程门阵列FPGA平台上，输入视频流，对所述视频流进行串并变换，生成奇像素视频流和偶像素视频流；
[0014]直方图统计模块，用于统计所述奇像素视频流的第一帧图像的各个灰度值的像素数，生成所述第一帧图像的直方图；
[0015]映射函数生成模块，用于对所述第一帧图像的直方图进行增强处理得到所述第一帧图像的映射函数；
[0016]奇像素图像增强视频流生成模块，用于根据相邻帧图像的相似性，用所述第一帧图像的映射函数处理得到第二帧图像的映射函数，以此类推，用上一帧图像的映射函数处理得到当前帧图像的映射函数，生成奇像素图像增强视频流；
[0017]图像增强视频流输出模块，用于复制所述奇像素视频流的所有帧图像的映射函数，用复制的所述映射函数处理所述偶像素视频流，得到偶像素图像增强视频流，将所述奇像素图像增强视频流与所述偶像素图像增强视频流进行并串变换，输出图像增强视频流。
[0018]本发明实施例通过在现场可编程门阵列FPGA平台上对输入的视频流进行串并变换生成奇像素视频流和偶像素视频流，只对奇像素视频流进行直方图统计，再根据相邻帧图像的相似性对奇像素视频流进行图像增强，从而节省了视频图像增强的资源消耗，由此提高了视频图像增强的实时性。
【专利附图】
【附图说明】
[0019]图1是本发明实施例提供的基于FPGA的视频图像增强方法的实现流程图；
[0020]图2是本发明实施例提供的基于FPGA的视频图像增强方法步骤S102中对图像进行直方图均衡化的示例图；
[0021]图3是本发明实施例提供的基于FPGA的视频图像增强方法步骤S102中对图像进行直方图均衡化后过增强现象的示例图；
[0022]图4是本发明实施例提供的基于FPGA的视频图像增强方法中对原始图像直方图进行限幅裁剪的示意图；
[0023]图5是本发明实施例提供的基于FPGA的视频图像增强方法中对图2中原始图像直方图进行限幅阈值为总像素数c的0.5%时的限幅裁剪的图像增强效果图；
[0024]图6是本发明实施例提供的基于FPGA的视频图像增强方法中对图2中原始图像直方图进行限幅阈值为总像素数的1.0%时的限幅裁剪的图像增强效果图；
[0025]图7是本发明实施例提供的基于FPGA的视频图像增强方法中对图2中原始图像直方图进行限幅阈值为总像素数的1.5%时的限幅裁剪的图像增强效果图；
[0026]图8是本发明实施例提供的基于FPGA的视频图像增强方法中对图3中原始图像直方图进行限幅阈值为总像素数的1.0%时的限幅裁剪的图像增强效果图；
[0027]图9是本发明实施例提供的基于FPGA的视频图像增强方法中对图3中原始图像直方图进行限幅阈值为总像素数的1.5%时的限幅裁剪的图像增强效果图；
[0028]图10是本发明实施例提供的基于FPGA的视频图像增强方法中对图2中原始图像直方图进行限幅阈值为0.5%、拉伸阈值为35的图像增强效果图；
[0029]图11是本发明实施例提供过的基于FPGA的视频图像增强装置的结构框图；
[0030]图12是本发明另一实施例提供过的基于FPGA的视频图像增强装置的结构框图。【具体实施方式】
[0031]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0032]本发明实施例通过在现场可编程门阵列FPGA平台上对输入的视频流进行串并变换生成奇像素视频流和偶像素视频流，只对奇像素视频流进行直方图统计，再根据相邻帧图像的相似性对奇像素视频流进行图像增强，从而节省了视频图像增强的资源消耗，由此提高了视频图像增强的实时性。
[0033]本发明实施例可应用于多个领域，例如，安防监控系统、工业控制领域等，在此不作限定。本发明实施例可应用于多个场合，例如，银行等金融系统监控项目、电力系统监控项目、石化行业监控项目、机房监控项目、监狱系统监控项目、交通系统监控项目、校园监控项目和网吧监控项目等，在此不作限定。
[0034]具体地，本发明实施例可应用于监视器、广告机和大屏幕拼接控制器等对视频图像有增强要求的设备。本发明实施例可以以极少的资源占用率移植到现有的带FPGA的设备上；本发明实施例也可以通过增加一个低成本的FPGA集成在监控系统后端设备如监视器、大屏幕拼接控制器上，用于实现雨雾天、阴霾天和低照度等低质量图像的增强，从而不更换摄像机就可以实现透雾、低照度情况下的图像增强处理，由此大大减少了更换前端摄像头的巨额花费。
[0035]图1示出了本发明实施例提供的基于FPGA的视频图像增强方法的实现流程图，详述如下:
[0036]在步骤SlOl中，在现场可编程门阵列FPGA平台上，输入视频流，对所述视频流进行串并变换，生成奇像素视频流和偶像素视频流。
[0037]在这里，在FPG`A (Field Programmable Gate Array,现场可编程门阵列)平台上，使用寄存器对输入的视频流进行串并变换。奇像素视频流是指横向像素为第2n+l个像素的视频流，偶像素视频流是指横向像素为第2n个像素的视频流，其中η为非负整数。
[0038]在步骤S102中，统计所述奇像素视频流的第一帧图像的各个灰度值的像素数，生成所述第一帧图像的直方图。
[0039]需要说明的是，在黑白图像中，灰度级数是指像素之间的亮暗差别；在彩色图像中，灰度级数表现为像素之间颜色的不同。灰度级数越多，图像层次越清楚逼真。在黑白图像中，灰度值表现为亮度，例如，白色的灰度值为255，黑色的灰度值为O。在彩色图像中，灰度值表现为色彩的深浅程度，在每个像素中，R (Red，红)、G (Green，绿)、B (Blue，蓝)三个通道各有一个灰度值。
[0040]下面对直方图均衡算法进行说明:
[0041]Ρ(々)= |，Α' = 0，1，...，Ζ —1，其中，L为第一帧图像灰度级数，nk为第一帧
图像中灰度值为Sk的像素数，η为第一帧图像的像素总数。计算累积直方图各项，
tk = Yj- = Xp(i)J< 二0,1,...，Ζ — I，取整扩展，tk=int [ (L-1) tk+0.5)]。映射对应关系为
/=0 ^ /=0k^>tj ο
[0042]为了方便编程，可以不对统计直方图进行归一化，得到口(10=%，1^0，1，...，卜1，
p(k)为第一帧图像中灰度值为Sk的像素数
【权利要求】
1.一种基于FPGA的视频图像增强方法，其特征在于，包括: 在现场可编程门阵列FPGA平台上，输入视频流，对所述视频流进行串并变换，生成奇像素视频流和偶像素视频流； 统计所述奇像素视频流的第一帧图像的各个灰度值的像素数，生成所述第一帧图像的直方图； 对所述第一帧图像的直方图进行增强处理得到所述第一帧图像的映射函数； 根据相邻帧图像的相似性，用所述第一帧图像的映射函数处理得到第二帧图像的映射函数，以此类推，用上一帧图像的映射函数处理得到当前帧图像的映射函数，生成奇像素图像增强视频流； 复制所述奇像素视频流的所有帧图像的映射函数，用复制的所述映射函数处理所述偶像素视频流，得到偶像素图像增强视频流，将所述奇像素图像增强视频流与所述偶像素图像增强视频流进行并串变换，输出图像增强视频流。
2.如权利要求1所述的方法，其特征在于，所述对所述第一帧图像的直方图进行增强处理得到所述第一帧图像的映射函数包括: 对所述第一帧图像的直方图超出限幅阈值的像素数进行裁剪，将所述超出限幅阈值的像素数平均分配给裁剪后的所述第一帧图像的直方图，得到所述第一帧图像的映射函数。
3.如权利要求1所述的方法，其特征在于，所述对所述第一帧图像的直方图进行增强处理得到所述第一帧图像的映射函数包括: 量化所述第一帧图像的直方图，生成第一映射函数Tk ； 记所述第一映射函数Tk中像素数大于拉伸阈值的最小灰度值为M，对所述第一映射
函数Tk进行拉伸得到所述第一帧图像的映射函数7)
4.如权利要求1所述的方法，其特征在于，所述统计所述奇像素视频流的第一帧图像的各个灰度值的像素数，生成所述第一帧图像的直方图具体为: 统计所述奇像素视频流的第一帧图像的红、绿、蓝三个通道的各个灰度值的像素数； 将所述三个通道的各个灰度值的像素数的累加，生成所述第一帧图像的直方图。
5.如权利要求1所述的方法，其特征在于，所述在现场可编程门阵列FPGA平台上，输入视频流，对所述视频流进行串并变换，生成奇像素视频流和偶像素视频流具体为: 在现场可编程门阵列FPGA平台上，实时输入视频流，对所述实时输入的视频流进行串并变换，生成奇像素视频流和偶像素视频流。
6.一种基于FPGA的视频图像增强装置，其特征在于，包括: 串并变换模块，用于在现场可编程门阵列FPGA平台上，输入视频流，对所述视频流进行串并变换，生成奇像素视频流和偶像素视频流； 直方图统计模块，用于统计所述奇像素视频流的第一帧图像的各个灰度值的像素数，生成所述第一帧图像的直方图； 映射函数生成模块，用于对所述第一帧图像的直方图进行增强处理得到所述第一帧图像的映射函数； 奇像素图像增强视频流生成模块，用于根据相邻帧图像的相似性，用所述第一帧图像的映射函数处理得到第二帧图像的映射函数，以此类推，用上一帧图像的映射函数处理得到当前帧图像的映射函数，生成奇像素图像增强视频流； 图像增强视频流输出模块，用于复制所述奇像素视频流的所有帧图像的映射函数，用复制的所述映射函数处理所述偶像素视频流，得到偶像素图像增强视频流，将所述奇像素图像增强视频流与所述偶像素图像增强视频流进行并串变换，输出图像增强视频流。
7.如权利要求6所述的装置，其特征在于，所述映射函数生成模块包括: 限幅裁剪子模块，用于对所述第一帧图像的直方图超出限幅阈值的像素数进行裁剪，将所述超出限幅阈值的像素数平均分配给裁剪后的所述第一帧图像的直方图，得到所述第一帧图像的映射函数。
8.如权利要求6所述的装置，其特征在于，所述映射函数生成模块包括: 量化子模块，用于量化所述第一帧图像的直方图，生成第一映射函数Tk; 映射函数拉伸子模块，用于记所述第一映射函数Tk中像素数大于拉伸阈值的最小灰度
值为M，对所述第一映射函数Tk进行拉伸得到所述第一帧图像的映射函数I；
9.如权利要求6所述的装置，其特征在于，所述直方图统计模块具体用于: 统计所述奇像素视频流的第一帧图像的红、绿、蓝三个通道的各个灰度值的像素数； 将所述三个通道的各个灰度值的像素数的累加，生成所述第一帧图像的直方图。
10.如权利要求6所述的装置，其特征在于，所述串并变换模块具体用于: 在现场可编程门阵列FPGA平台上，实时输入视频流，对所述实时输入的视频流进行串并变换，生成奇像素视频流和偶像素视频流。
【文档编号】H04N9/73GK103618888SQ201310686574
【公开日】2014年3月5日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】黄科杰, 张羽, 杨泽钰 申请人:深圳市创维群欣安防科技有限公司