本发明涉及图像处理技术领域，特别是涉及一种基于rgbir格式的图像处理方法及装置。
背景技术：
rgbir是一种新的图像传感器彩色滤镜排列方式，有别于通常采用的bayer格式的彩色滤波器阵列(colorfilterarray,cfa)，rgbir滤波器阵列通常有两种排列方式：一种是以2×2的色彩滤镜排列方式组成的图像阵列，如图1所示，红色通道(r)、绿色通道(g)、蓝色通道(b)、红外通道(infrared，ir)，具有相同的四分之一的图像采样率；另一种是以4×4的色彩滤镜排列方式组成的图像阵列，如图2所示,其中，绿色通道g具有二分之一的图像采样率，红外通道ir具有四分之一的图像采样率，红色通道r和蓝色通道b各具有八分之一的图像采样率,rgbir彩色滤镜阵列中rgb通道既能感应可见光，也能感应不可见的红外光，ir通道在感应不可见的红外光时，也能感应可见光。
由于滤镜排列方式的不同，以及感光方式的不同，使得基于rgbir色彩滤镜的图像传感器的图像处理系统不能直接沿用基于bayer色彩滤镜的图像处理方法及装置，因此，实有必要提出一种技术手段，以对基于rgbir格式的图像数据进行图像处理以得到色彩正常的可供后续处理、存储或显示的yuv图像。
技术实现要素：
为克服上述现有技术存在的不足，本发明之目的在于提供一种图像处理方法及装置，其可将采集的rgbir马赛克图像数据通过一系列的图像处理得到色彩正常的可供后续处理、存储或显示的yuv图像。
为达上述及其它目的，本发明提出一种图像处理方法，包括如下步骤：
步骤一，利用rgbir格式的图像传感器采集rgbir马赛克图像；
步骤二，对获得的rgbir马赛克图像进行去马赛克处理，得到全幅面的rgbir图像；
步骤三，根据获得的全幅面的rgbir图像中的ir分量值以及图像传感器的感光特性进行色彩恢复，消除r、g、b分量图像中的红外光信息；
步骤四，对红外消除后的图像进行白平衡处理以及色彩校正处理；
步骤五，将色彩校正处理后的图像进行色彩空间变换，得到yuv域图像；
步骤六，对获得的yuv域图像下采样得到yuv域的马赛克图像；
步骤七，对获得的yuv马赛克图像进行时域降噪及空域降噪处理；
步骤八，对降噪后的yuv域马赛克图像进行插值计算，得到全幅面的yuv图像。
进一步地，于步骤一中，通过4×4滤镜排列方式的rgbir图像传感器采集4×4格式的rgbir马赛克图像；或者通过2×2滤镜排列方式的rgbir图像传感器采集2×2格式的rgbir马赛克图像。
进一步地，于步骤二中，采用边界保留的方法，先插值g通道得到全幅面g分量图像，然后利用g通道与其他通道的差值，插值其他通道值，得到全幅面的r、g、b、ir分量图像。
进一步地，于步骤三中，于步骤二插值得到全幅面的r、g、b、ir分量图像后，根据当前像素ir分量值，以及图像传感器的感光特性，计算得到当前r、g、b分量图像中ir分量的比例，及r、g、b分量间的相互影响，消除r、g、b分量图像中的红外光信息。
进一步地，于步骤七中，对获得的yuv域马赛克图像分通道进行边界保留的空间域降噪，以及运动保留的时间域降噪处理。
进一步地，于步骤八中，对yuv马赛克图像进行插值计算采用边界保留的插值算法。
为达到上述目的，本发明还提供一种图像处理装置，包括：
图像采集单元，利用rgbir格式的图像传感器采集rgbir马赛克图像；
rgbir图像去马赛克单元，用于对获得的rgbir马赛克图像进行去马赛克处理，得到全幅面的rgbir图像；
色彩恢复单元，用于根据获得的全幅面的rgbir图像中的ir分量值以及图像传感器的感光特性进行色彩恢复，消除r、g、b分量图像中的红外光信息；
色彩处理单元，用于对红外消除后的图像进行白平衡处理以及色彩校正处理；
色彩空间变换单元，用于将色彩校正处理后的图像进行色彩空间变换，得到yuv域图像；
图像下采样单元，用于对获得的yuv域图像下采样得到yuv域的马赛克图像；
图像降噪单元，用于对获得的yuv马赛克图像进行时域降噪及空域降噪处理；
图像插值单元，用于对降噪后的yuv域马赛克图像进行插值计算，得到全幅面的yuv图像。
进一步地，该rgbir图像去马赛克单元采用边界保留的方法，先插值g通道得到全幅面g分量图像，然后利用g通道与其他通道的差值，插值其他通道值，得到全幅面的r、g、b、ir分量图像。
进一步地，该色彩恢复单元于得到全幅面的r、g、b、ir分量图像后，根据当前像素ir分量值，以及图像传感器的感光特性，计算得到当前r、g、b分量图像中ir分量的比例，及r、g、b分量间的相互影响，进而消除r、g、b分量图像中的红外光信息。
进一步地，该图像降噪单元对获得的yuv域马赛克图像分通道进行边界保留的空间域降噪，以及运动保留的时间域降噪处理。
与现有技术相比，本发明实现了一种基于rgbir格式的图像处理的方法及装置，其将采集的rgbir马赛克图像数据通过一系列的图像处理得到色彩正常的可供后续处理、存储或显示的yuv图像。
附图说明
图1为现有技术2×2rgbir图像格式示意图；
图2为现有技术4×4rgbir图像格式示意图；
图3为本发明一种图像处理方法的步骤流程图；
图4为本发明具体实施例中yuv马赛克图像示意图；
图5为本发明一种图像处理装置的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
采用rgbir的彩色滤波器阵列的图像传感器，获取的是一种马赛克图像。后续必须通过图像处理技术从马赛克图像中恢复出缺失的颜色成份，获得全幅面的rgbir图像。由于全幅面的rgb图像含有不可见的红外光分量，因此必须利用红外通道ir恢复rgb的真实色彩。由于后续图像处理全幅面rgb图像会导致较大的行缓存硬件开销以及帧缓存的硬件开销，因此需要将色彩恢复后的rgb图像进行马赛克处理(降采样处理)，再进行后续图像处理。
图3为本发明一种图像处理方法的步骤流程图。如图3所示，本发明一种图像处理方法，包括如下步骤：
步骤301，利用rgbir格式的图像传感器采集rgbir马赛克图像。具体地说，通过4×4滤镜排列方式的rgbir图像传感器采集4×4格式的rgbir马赛克图像；或者通过2×2滤镜排列方式的rgbir图像传感器采集2×2格式的rgbir马赛克图像。
步骤302，对获得的rgbir马赛克图像进行去马赛克处理，得到全幅面的rgbir图像。在本发明具体实施例中，使用11×11的数据窗，采用边界保留的方法，先插值g通道得到全幅面g分量图像；然后利用g通道与其他通道的差值，插值其他通道值，得到全幅面的r、g、b、ir分量图像。
步骤303、根据获得的全幅面的rgbir图像中的ir分量值以及图像传感器的感光特性进行色彩恢复，消除r、g、b分量图像中的红外光信息。具体地说，当根据步骤302插值得到全幅面的r、g、b、ir分量图像后，根据当前像素ir分量值，以及图像传感器的感光特性，可计算得到当前r、g、b分量图像中ir比例，及r、g、b分量间的相互影响，利用色彩恢复计算公式消除r、g、b分量图像中的红外光信息，该色彩恢复计算公式如下式(1)所示，其中各参数变量根据不同的rgbir传感器会有不一样的取值。
步骤304，对红外消除后的图像进行白平衡处理以及色彩校正处理。在本发明具体实施例中，当根据步骤303对全幅面的rgbir图像进行红外消除后，对红外消除后的图像进行白平衡处理，然后再对白平衡处理后的图像做色彩校正处理，使得色彩更接近真实。
步骤305，将色彩校正处理后的图像进行色彩空间变换，得到yuv域图像。具体地说，于步骤305中，进行rgb图像到yuv色彩空间图像的变换。
步骤306，对获得的yuv域图像下采样得到yuv域的马赛克图像。在本发明具体实施例中，对yuv图像下采样得到2×2格式的yuv马赛克图像，如图4所示，具有四种采样模式，其中y分量具有二分之一采样率，u、v分量具有四分之一采样率。
步骤307，对获得的yuv马赛克图像进行时域降噪及空域降噪处理。具体地说，本步骤对yuv域马赛克图像分通道进行边界保留的空间域降噪，以及运动保留的时间域降噪处理，以得到较高的主观质量图像。
步骤308，对降噪后的yuv域马赛克图像进行插值计算，得到全幅面的yuv图像。在本发明具体实施例中，对yuv马赛克图像进行插值计算，采用较为复杂的边界保留的插值算法，获得全幅面的yuv图像。
步骤309，输出图像插值后的全幅面的yuv图像，供后续进一步的图像处理使用、或者做图像存储处理或者终端显示。
图5为本发明一种图像处理装置的系统架构图，如图5所示，本发明一种图像处理装置，包括：包括图像采集单元501、rgbir图像去马赛克单元502、色彩恢复单元503、色彩处理单元504、色彩空间变换单元505、图像下采样单元506、图像降噪单元507、图像插值单元508以及图像输出单元509。
图像采集单元501，利用rgbir格式的图像传感器采集rgbir马赛克图像。具体地说，图像采集单元301通过4×4滤镜排列方式的rgbir图像传感器采集4×4格式的rgbir马赛克图像；或者通过2×2滤镜排列方式的rgbir图像传感器采集2×2格式的rgbir马赛克图像。
rgbir图像去马赛克单元502，用于对获得的rgbir马赛克图像进行去马赛克处理，得到全幅面的rgbir图像。在本发明具体实施例中，rgbir图像去马赛克单元502使用11×11的数据窗，采用边界保留的方法，先插值g通道得到全幅面g分量图像；然后利用g通道与其他通道的差值，插值其他通道值，得到全幅面的r、g、b、ir分量图像。
色彩恢复单元503，用于根据获得的全幅面的rgbir图像中的ir分量值以及图像传感器的感光特性进行色彩恢复，消除r、g、b分量图像中的红外光信息。具体地说，当rgbir图像去马赛克单元502插值得到全幅面的r、g、b、ir分量图像后，色彩恢复单元503则根据当前像素ir分量值，以及图像传感器的感光特性，得到当前r、g、b分量图像中ir比例，及r、g、b分量间的相互影响，利用色彩恢复计算公式消除r、g、b分量图像中的红外光信息，该色彩恢复计算公式如下所示，其中各参数变量根据不同的rgbir传感器会有不一样的取值。
色彩处理单元504，用于对红外消除后的图像进行白平衡处理以及色彩校正处理。在本发明具体实施例中，当色彩恢复单元503对全幅面的rgbir图像进行红外消除后，色彩处理单元504对红外消除后的图像进行白平衡处理，然后再对白平衡处理后的图像做色彩校正处理，使得色彩更接近真实。
色彩空间变换单元505，用于将色彩校正处理后的图像进行色彩空间变换，得到yuv域图像。具体地说，色彩空间变换单元505对色彩校正处理后的图像进行rgb图像到yuv色彩空间图像的变换。
图像下采样单元506，用于对获得的yuv域图像下采样得到yuv域的马赛克图像。在本发明具体实施例中，图像下采样单元506对yuv图像下采样得到2×2格式的yuv马赛克图像，具有四种采样模式，其中y分量具有二分之一采样率，u、v分量具有四分之一采样率。
图像降噪单元507，用于对获得的yuv马赛克图像进行时域降噪及空域降噪处理。具体地说，图像降噪单元507对yuv域马赛克图像分通道进行边界保留的空间域降噪，以及运动保留的时间域降噪处理，以得到较高的主观质量图像。
图像插值单元508，用于对降噪后的yuv域马赛克图像进行插值计算，得到全幅面的yuv图像。在本发明具体实施例中，图像插值单元508对yuv马赛克图像进行插值计算，采用较为复杂的边界保留的插值算法，获得全幅面的yuv图像。
图像输出单元509，输出图像插值后的全幅面的yuv图像，供后续进一步的图像处理使用、或者做图像存储处理或者终端显示。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。