改善Bayer图像对比度的方法及装置与流程

本发明涉及图像处理技术领域，特别是涉及改善bayer图像对比度的方法及装置。

背景技术：

在图像拍摄和视频采集过程中，经常会遇到夜视或背光较差的时候，此时得到的图像对比度低，细节信息模糊，给后续图像分析工作带来诸多不便。利用图像增强技术可以有效提升视频采集、图像识别、动态识别等系统在低照度情况下的性能。

对于彩色图像，需要采集多种最基本的颜色，如rgb三种颜色，最简单的方法就是用滤镜的方法，红色的滤镜透过红色的波长，绿色的滤镜透过绿色的波长，蓝色的滤镜透过蓝色的波长。如果要采集rgb三个基本色，则需要三块滤镜，这样价格昂贵，且不好制造，因为三块滤镜都必须保证每一个像素点都对齐。当用bayer格式的时候，很好的解决了这个问题。bayer图像是在一块滤镜上设置的不同的颜色，通过分析人眼对颜色的感知发现。bayer模式是颜色模式，被广泛应用于ccd和cmos摄像头。现有技术中针对bayer图像数据的对比度提升方法主要包含如下步骤：先针对bayer图像数据进行插值处理，得到插值后的rgb图像数据，再基于rgb图像数据获取其暗原色图像数据；针对暗原色图像计算出其积分图，通过积分图对已获取的暗原色图像做双边滤波处理，得到滤波后的暗原色图像数据；针对rgb图像数据、滤波后的暗原色图像数据进行直方图统计，得到r/g/b(像素点r、g、b三个分量值)、暗原色图像数据直方图；同时针对滤波后的暗原色图像数据进行累加统计，得到滤波窗口内暗原色图像数据总和；针对r/g/b、暗原色图像数据直方图，滤波窗口内暗原色图像数据总和进行综合分析，得到增益值、暗通道均值及r/g/b对应的大气光值；利用每帧更新得到的增益值及r/g/b对应的大气光值、暗通道均值以及滤波后暗原色图像数据，对原始的bayer图像数据进行计算处理，最终得到对比度提升后的bayer图像数据。

现有技术中，需要针对bayer图像数据、双边滤波前/后暗原色图像数据、积分图进行缓存处理，占用内存的同时，需要多次访问内存；此外，原方法中，除了需要统计/维护r/g/b直方图，还需要做多个中间过程的计算处理。因此，现有的针对bayer图像数据的对比度提升方法中，无论图形处理、还是数字信号处理实现都很满足实时要求，甚至出现处理延迟达到数个秒级。

因此，需要一种改善bayer图像对比度方案，能够在保证图像的对比度和细节信息的同时，改善处理过程的延迟。

技术实现要素：

本发明解决的技术问题是，提供改善bayer图像对比度的方法及装置，在保证图像的对比度和细节信息的同时，简化中间处理过程，降低处理的延迟。

为解决上述技术问题，本发明提供了改善bayer图像对比度的方法，包括：改善bayer图像对比度的方法，包括分别获取当前bayer图像数据中像素单元的底部、中部和顶部的暗原色图像数据；将获取的暗原色图像数据分时管理，通过所述顶部的暗原色图像数据得到左顶区域tl和右顶区域tr的积分值，通过所述底部的暗原色图像数据得到左底区域bl和右底区域br的积分值，并形成积分图；通过所述积分图、所述左顶区域tl、所述右顶区域tr、所述左底区域bl和所述右底区域br的积分值经综合处理后得到滤波窗口内暗原色图像数据总和，将所述滤波窗口内暗原色图像数据总和进行双边滤波处理，得到滤波后的暗原色图像数据；将所述滤波后的暗原色图像数据计算处理，得到对比度提升后的bayer图像数据。

其中，所述积分图采用积分行的方式实现。

进一步的，所述通过所述积分图、所述左顶区域tl、所述右顶区域tr、所述左底区域bl和所述右底区域br的积分值经综合处理后得到滤波窗口内暗原色图像数据总和的步骤具体包括：先合并所述左顶区域tl和所述右底区域br的积分值，再减去所述右顶区域tr和所述左底区域bl的积分值，得到滤波窗口内暗原色图像数据总和。

进一步的，所述分别获取当前bayer图像数据中像素单元的底部、中部和顶部的暗原色图像数据的具体步骤包括：将当前bayer图像数据进行插值处理，得到插值后的rgb图像数据；根据所述插值后的rgb图像数据，分别获取像素单元的底部、中部和顶部的暗原色图像数据。

进一步的，所述将所述滤波后的暗原色图像数据计算处理，得到对比度提升后的bayer图像数据的具体步骤包括：根据所述rgb图像数据和所述滤波后的暗原色图像进行直方图统计，得到r/g/b图像数据累积直方图、暗原色图像数据直方图、暗原色图像数据累积总值；将所述r/g/b图像数据累积直方图、所述暗原色图像数据直方图、所述暗原色图像数据累积总值进行综合分析，得到增益值及r/g/b图像数据对应的大气光值；利用bayer图像数据得到的增益值及r/g/b图像数据对应的大气光值以及所述滤波后的暗原色图像、所述bayer图像数据，综合计算处理得到对比度提升后的bayer图像数据。

为解决上述问题，本发明还提供改善bayer图像对比度的装置，包括：存储管理器，所述存储管理器用于实现双边滤波窗口内的bayer图像行数据的缓存；底部运行模块，所述底部运行模块用于获取bayer图像数据中像素单元的底部暗原色图像数据，并根据所述底部暗原色图像数据计算得到左底区域bl和右底区域br的积分值；顶部运行模块，所述顶部运行模块用于获取bayer图像数据中像素单元的顶部暗原色图像数据，并根据所述顶部暗原色图像数据计算得到左顶区域tl和右顶区域tr的积分值；中部运行模块，所述中部运行模块用于形成积分图，通过所述积分图、所述左顶区域tl、所述右顶区域tr、所述左底区域bl和所述右底区域br的积分值经综合处理后得到滤波窗口内暗原色图像数据总和，将所述滤波窗口内暗原色图像数据总和进行双边滤波处理，得到滤波后的暗原色图像数据，使用所述滤波后的暗原色图像数据具进行计算处理，得到对比度提升后的bayer图像数据。

其中，所述底部运行模块包括：行缓冲管理模块；用于重排插值前的bayer图像数据色彩滤波阵列插值模块；暗原色计算模块，通过选取rgb图像中的最小值为暗原色图像数据；积分行管理模块，用于实现滤波窗口中顶部和底部所对应的积分行的管理；所述顶部运行模块与所述底部运行模块结构相同。

其中，所述中部运行模块包括：行缓冲管理模块、用于重排插值前的bayer图像数据色彩滤波阵列插值模块；色彩滤波阵列插值模块，用于bayer图像数据插值计算，得到rgb图像；暗原色计算模块，通过选取rgb图像中的最小值为暗原色图像数据；桶型移位器，用于指定bayer图像数据传输的方向与位移；双边滤波计算模块，用于实现对暗原色图像数据的滤波和平滑处理，得到滤波后的暗原色图像；统计分析计算模块，所述计算模块用于综合分析处理所述暗原色图像数据、所述滤波后的暗原色图像数据，计算后得到对比度提升后的bayer图像数据。

其中，所述底部运行模块、顶部运行模块和中部运行模块为并行模块。

其中，所述存储管理器包括：存储控制器，所述存储控制器对双边滤波窗口内的bayer图像行数据的缓存；仲裁管理器，所述仲裁管理器负责多个方向的bayer图像行数据的读写管理。

其中，所述积分行管理模块采用2个sram(静态存储器)来更新与存储模拟暗原色图像行数据的积分值的。

本发明的有益效果是：区别于现有技术，本发明提出改善bayer图像对比度的方法及装置，本发明的方法和装置采用流水线、数据并行处理结构，在保证图像的对比度和细节信息的同时，简化中间处理过程，降低处理的延迟，完善了bayer图像的处理过程。进一步的，本发明的方法和装置将双边滤波所需的积分图转换为积分行方式进行管理，优化暗态图像，抑制过亮区域，完成图像整体的对比度的提升。

附图说明

图1是本发明改善bayer图像对比度的方法一实施方式的流程示意图；

图2是本发明暗原色图像数据各区域积分示意图；

图3是本发明暗原色图像数据积分行示意图；

图4是本发明滤波窗口内暗原色图像数据总和计算原理示意图；

图5是本发明第一实施例改善bayer图像对比度的装置结构示意图；

图6是本发明第二实施例改善bayer图像对比度的装置结构示意图；

图7是本发明第三实施例改善bayer图像对比度的装置结构示意图。

具体实施方式

请参阅图1，图1是本发明改善bayer图像对比度的方法一实施方式的流程示意图，本实施例的改善bayer图像对比度的方法包括如下步骤：

101：分别获取当前bayer图像数据中像素单元的底部、中部和顶部的暗原色图像数据。

具体的，将当前bayer图像数据进行插值处理，得到插值后的rgb图像数据；再根据所述插值后的rgb图像数据，获取像素单元的底部、中部和顶部的暗原色图像数据。

本实施例中，通过选取rgb图像中的最小值来做为暗原色图像数据，底部运行模块获取bayer图像数据中像素单元的底部暗原色图像数据，顶部运行模块获取bayer图像数据中像素单元的顶部暗原色图像数据，中部运行模块获取bayer图像数据中部分的暗原色图像数据。

102：将暗原色图像数据分时管理，通过顶部的暗原色图像数据得到左顶区域tl和右顶区域tr的积分值，通过底部的暗原色图像数据得到左底区域bl和左底区域bl的积分值，并形成积分图。

优选地，为了同步进行积分，将顶部运行模块和底部运行模块进行分时管理，底部运行模块直接获取bayer图像数据，顶部运行模块则获取缓存装置内的bayer图像数据。

如图2所示，其中，左顶区域tl201、右顶区域tr202、左底区域bl203和左底区域bl204，分别代表各自像素单元到基点205的区域。

本实施例中，积分图采用积分行的方式实现。在一个具体的实施例中，如图3所示，采用积分行来模拟实现积分图功能，根据滤波窗口中计算累积和所需的左顶区域tl301和右顶区域tr302以及左底区域bl303和右底区域br304积分值，通过顶部运行模块和底部运行模块分行，分时进行管理；每组积分行采用2个静态存储器以分时方式来模拟积分值的管理，其中静态存储器a和b对应顶部积分行；而静态存储器c和d对应底部的积分行；当bayer图像数据第一行数据到达前，静态存储器a、b、c和d中的数据清零；bayer图像数据第一行数据到达时，静态存储器a将以静态存储器b为参考，从静态存储器b中同时读取(i-1，j-1)、(i-1，j)的积分值；从静态存储器a中读取(i，j-1)的值；通过积分值公式计算后，将积分值(i，j)更新到静态存储器a对应位置中；当bayer图像数据第二行数据到达时，此时静态存储器a中已保存第一行数据的积分数据；静态存储器b将以静态存储器a为参考，计算当前行的积分值，并将其更新到静态存储器b中；当图像帧第三行数据到达时，此时静态存储器a、b再次切换，静态存储器a再次以静态存储器b为参考，计算当前行的积分图数据，并更新到静态存储器a；静态存储器c和d管理方式与静态存储器a和b相同。以此类推，直到结束经过计算得到积分图。

103：通过积分图、左顶区域tl、右顶区域tr、左底区域bl和右底区域br的积分值经综合处理后得到滤波窗口内暗原色图像数据总和，将滤波窗口内暗原色图像数据总和进行双边滤波处理，得到滤波后的暗原色图像数据。

优选地，滤波窗口内暗原色图像数据总和的计算原理如图4所示，integral(i，j)为积分图中存储的信息是(i，j)像素单元到基点(0，0)(图中405)的所有像素之和的积分值，pixel(i，j)为像素单元积分值。

pixel(0,0)，其积分图对应位置的积分值为：

integral(0,0)＝pixel(0,0)。

pixel(0,1)，其积分图对应位置的积分值为：

integral(0,1)＝pixel(0,1)+integral(0,0)。

pixel(1,0)，其积分图对应位置的积分值为：

integral(1,0)＝pixel(1,0)+integral(0,0)。

pixel(1,1)，其积分图对应位置的积分值为：

integral(1,1)＝integral(1,0)+integral(0,1)-integral(0,0)+pixel(1,1)。

则对于pixel(i,j)，如图4中401～404所示，其积分图对应位置的积分值为：

integral(i,j)＝integral(i,j-1)+integral(i-1,j)-integral(i-1,j-1)+pixel(i,j)。

通过上述结果，滤波窗口内暗原色图像数据总和通过合并左顶区域tl和右底区域br的积分值，减去右顶区域tr和左底区域bl的积分值得到，窗口内暗原色图像数据总和计算公式：

sum＝br+tl-tr-bl(1)

(其中，sum，窗口内暗原色图像数据总和；br，右底区域的积分值；tl，左顶区域的积分值；tr，右顶区域的积分值；bl，左底区域的积分值)

在一个具体的实施例中，滤波窗口半径为r，整个滤波窗口的大小为(2r+1)*(2r+1)，此时窗口内的底部运行模块和顶部运行模块，两侧距离均相差(2r+1)的距离，将左顶区域tl、右顶区域tr、左底区域bl和右底区域br的积分值导入上述公式(1)，得到整个双边滤波器(2r+1)*(2r+1)窗口内暗原色图像数据总和，将得到的窗口内暗原色图像数据总和进行双边滤波处理，实现对bayer图像数据的降噪处理。

104：将滤波后的暗原色图像数据计算处理，得到对比度提升后的bayer图像数据。

具体的，首先根据rgb图像数据和滤波后的暗原色图像进行直方图统计，得到r/g/b图像数据累积直方图、暗原色图像数据直方图、暗原色图像数据累积总值；再将r/g/b图像数据累积直方图、暗原色图像数据直方图、暗原色图像数据累积总值进行综合分析，得到增益值及r/g/b图像数据对应的大气光值；最后利用bayer图像数据得到的增益值及r/g/b图像数据对应的大气光值以及滤波后的暗原色图像、bayer图像数据，综合计算处理得到对比度提升后的bayer图像数据。

区别于现有技术，本实施例通过底部、中部和顶部运行模块分别获取底部、中部和顶部的暗原色图像数据，再通过底部和顶部的区域积分得到滤波窗口内暗原色图像数据总和，综合计算处理，从而得到对比度提升后的bayer图像数据。通过上述方式，在保证图像的对比度和细节信息的同时，简化中间处理过程，降低处理的延迟，完善了bayer图像的处理过程。

参阅图5，图5是本发明第一实施例改善bayer图像对比度的装置结构示意图，主要包括：存储管理器1，用于实现双边滤波窗口内的bayer图像行数据的缓存，存储管理器1按照传输方向依次包括：存储控制器18、仲裁管理器19；底部运行模块(图中未标出)，用于获取bayer图像数据中像素单元的底部暗原色图像数据，并根据所述底部暗原色图像数据计算得到左底区域bl和右底区域br的积分值，底部运行模块按照传输方向依次包括：行缓冲管理模块2、色彩滤波阵列插值模块3、暗原色计算模块4和积分行管理模块5；顶部运行模块(图中未标出)，用于获取bayer图像数据中像素单元的顶部暗原色图像数据，并根据所述顶部暗原色图像数据计算得到左顶区域tl和右顶区域tr的积分值，顶部运行模块与底部运行模块结构相同，顶部运行模块按照传输方向依次包括：行缓冲管理模块14、色彩滤波阵列插值模块15、暗原色计算模块16和积分行管理模块17；中部运行模块(图中未标出)，用于获取滤波窗口内中部所对应bayer图像行所对应的暗原色图像数据；同时对bayer图像行及暗原色图像行进行对齐处理；中部运行模块用于接收所述左底区域bl积分值、右底区域br的积分值、左顶区域tl积分值和右顶区域tr积分值，综合bl、br、tl、tr四个值，获得滤波窗口内暗原色图像数据总和，再经双边滤波计算处理后，得到滤波后的暗原色图像数据；中部运行模块包括：行缓冲管理模块6、色彩滤波阵列插值模块7、暗原色计算模块8、桶型移位器9、双边滤波计算模块10和统计分析计算模块。其中，统计分析计算模块包括统计模块11，分析模块12、计算模块13。底部运行模块、顶部运行模块和中部运行模块为并行模块，且均采用流水线结构。

本实施例中，行缓冲管理模块(图中2、6、14)用于重排插值前的bayer图像数据；色彩滤波阵列插值模块(图中3、7、15)用于bayer图像数据插值计算，得到rgb图像；暗原色计算模块(图中4、8、16)通过选取rgb图像中的最小值为暗原色图像数据；积分行管理模块(图中5、17)用于实现滤波窗口中顶部和底部所对应的积分行的管理，并采用2个sram来更新与存储模拟暗原色图像行数据的积分值的；桶型移位器9用于指定bayer图像数据传输的方向与位移；双边滤波计算模块10用于实现对暗原色图像数据的滤波和平滑处理，得到滤波后的暗原色图像；统计模块11用于将滤波后的暗原色图像进行直方图统计，得到r/g/b图像数据累积直方图、暗原色图像数据直方图、暗原色图像数据累积总值；分析模块12将r/g/b图像数据累积直方图、暗原色图像数据直方图、暗原色图像数据累积总值进行综合分析，得到增益值及r/g/b图像数据对应的大气光值；计算模块13根据bayer图像数据得到的增益值及r/g/b图像数据对应的大气光值以及滤波后的暗原色图像、bayer图像数据，综合计算处理得到对比度提升后的bayer图像数据；存储控制器18用于对双边滤波窗口内的bayer图像行数据的缓存；仲裁管理器19负责多个方向的bayer图像行数据的读写管理。

在一个具体的实施例中，bayer图像数据分别输入底部运行模块和存储管理器1，通过存储控制器18和仲裁管理器19将图像数据分时送入顶部运行模块和中部运行模块；bayer图像数据中像素单元的底部、中部和顶部的暗原色图像数据依次经过行缓冲管理模块(图中2、6、14)、色彩滤波阵列插值模块(图中3、7、15)和暗原色计算模块(图中4、8、16)进行处理后，得到各自暗原色图像数据和rgb图像数据；顶部和底部的暗原色图像数据在经由积分行管理模块(图中5、17)，实现滤波窗口中顶部和底部所对应的积分行的管理，得到左顶区域tl、右顶区域tr、左底区域bl和右底区域br的积分值，并形成积分图；通过积分图、左顶区域tl、右顶区域tr、左底区域bl和右底区域br的积分值经积分计算综合处理后得到滤波窗口内暗原色图像数据总和，将滤波窗口内暗原色图像数据总和经由双边滤波计算模块10双边滤波处理后，得到滤波后的暗原色图像数据；通过统计模块11，根据rgb图像数据和滤波后的暗原色图像进行直方图统计，得到r/g/b图像数据累积直方图、暗原色图像数据直方图、暗原色图像数据累积总值；通过分析模块12将r/g/b图像数据累积直方图、暗原色图像数据直方图、暗原色图像数据累积总值进行综合分析，得到增益值及r/g/b图像数据对应的大气光值；在计算模块13中利用bayer图像数据得到的增益值及r/g/b图像数据对应的大气光值以及滤波后的暗原色图像、bayer图像数据，综合计算处理得到对比度提升后的bayer图像数据。

在一实施例中，请参阅图6，图6是本发明第二实施例改善bayer图像对比度的装置结构示意图，输入的图像数据格式为rgb图像，不需要做色彩滤波阵列插值处理(cfai，colorfilterarrayinterpolation)处理，可以去上述实施例中的掉色彩滤波阵列插值模块，直接获取rgb图像数据来进行后续处理，具体的装置结构与上述实施例类似，在此不再阐述。

在另一个具体的实施例中，请参阅图7，图7是本发明第三实施例改善bayer图像对比度的装置结构示意图，输入的数据图像为yuv图像，输入时需要加入yuv格式向rgb格式转换器22，输出口需加入rgb格式向yuv格式转换器23，具体步骤与上述实施例类似，在此不再阐述。

该实现方法bayer图像对比度提升的装置亦可扩展到rgbfhd(1920*1080)或ud(3840*2160)等解析率的实时图像处理，在此不作限定。

区别于现有技术，本发明提出改善bayer图像对比度的方法及装置，本发明的方法和装置采用流水线、数据并行处理结构，在保证图像的对比度和细节信息的同时，简化中间处理过程，降低处理的延迟，完善了bayer图像的处理过程。进一步的，本发明的方法和装置将双边滤波所需的积分图转换为积分行方式进行管理，优化暗态图像，抑制过亮区域，完成图像整体的对比度的提升。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。