一种图像处理方法及系统与流程

文档序号:11139272阅读:891来源:国知局
一种图像处理方法及系统与制造工艺

本发明属于图像处理技术领域,尤其涉及一种图像处理方法及系统。



背景技术:

自数字图像诞生以来,主流的拍照相机或摄像机等都纷纷开始使用数字成像技术。这些采集图像的传感器一般在其表面覆盖一层颜色滤波阵列(Color Filter Array,CFA),使得每个像素只采集一种颜色分量(红R,绿G,蓝B中的一种),目前最广泛使用的Bayer格式图像(GBRG),具体如图1所示,为Bayer图像颜色滤波阵列的典型格式。其每个像素只含有一种颜色分量,G分量的像素个数是B分量或R分量像素个数的两倍。

Bayer图像具有很好的彩色信号敏感特性和彩色恢复特性,它获得的颜色信息量是原来全彩色图像的三分之一,由于其优良的特性而在数字成像技术领域得到青睐,Bayer图像存储和传输技术及其相关设备已得到了飞速发展,在科学研究、医学、遥感测绘等领域得到了广泛的应用。因此,研究Bayer图像压缩技术是十分必要和重要的。

由于Bayer图像必须通过插值估计恢复全彩色图像,且G分量呈菱形分布的特点,并不适合直接压缩处理(如JPEG压缩),传统的Bayer图像压缩方式为:通过颜色插值算法获取采集到的原始Bayer图像的全彩色图像,然后对获取的全彩色图像的RGB三色分量分别直接进行压缩处理,并经过传输或存储后,最终解压缩输出全彩色图像。由于高清图像及视频的应用需求,这种压缩处理方法将数据量提高到原始Bayer图像的三倍,数据量较大,影响压缩比率,且忽略了RGB三色图像的相关性,同一幅图像的三色图像包含很多相 同信息,分别对它们压缩相当于对同一信息进行重复描述,压缩编码未得到有效利用。

为解决上述数据量大,忽略色彩分量之间相关性的问题,目前,已有采用基于YUV变换的Bayer图像压缩方法。该方法将采集到的Bayer图像先做颜色空间转换,如从RGB空间转到YUV空间,对YUV空间的呈菱形阵列分布的Y分量进行预处理转换成矩形阵列,然后对YUV分量分别进行压缩与解压缩处理,最后对Y分量进行重构滤波(矩形转换回为菱形),再重建Bayer图像,最终通过颜色插值得到全彩色图像。该方法在一定程度上降低了待压缩处理的数据量,且消除了Bayer图像三色分量之间的相关性,但由于直接压缩Bayer格式图像数据时,需要设计一种菱形阵列与矩形阵列之间可以相互转换操作的可逆算法,增加了解压缩端的负担,利用压缩解压缩后的数据(有失真)进行全彩色插值,相对直接利用Bayer数据进行全彩色插值丧失了一定的准确度,在一些高清图像视频应用场合,不能在高质量要求条件下满足一定的压缩比需求,或在满足压缩比需求的条件下无法得到满意的高质量视频图像。



技术实现要素:

本发明提供了一种图像处理方法及系统,旨在至少在一定程度上解决现有技术中的上述技术问题。

本发明实现方式如下,一种图像处理方法,包括以下步骤:

步骤a:判断图像中的像素点是否是边缘像素点,如果是边缘像素点,对该像素点进行颜色插值算法处理获取全彩色图像;如果不是边缘像素点,对该像素点进行降噪滤波处理,同时进行颜色插值算法处理获取全彩色图像;

步骤b:对获取的全彩色图像进行颜色空间转换,将全彩色图像从RGB空间转换至YUV空间,并对全彩色图像的YUV分量分别进行压缩处理;

步骤c:对全彩色图像的YUV分量进行解压缩处理,并将解压缩处理后的全彩色图像从YUV空间转回RGB空间后,得到最终图像。

本发明实施例采取的技术方案还包括:在所述步骤a前还包括:采集图像,并以图像中的某一像素点作为中心像素点选取一个固定大小的矩阵;对采集的图像进行坏点检测,根据选取的矩阵的中心像素点与不同方向上的像素点的像素值差异判断待检测像素点是否为坏点,如果待检测像素点为坏点,则消除该像素点。

本发明实施例采取的技术方案还包括:在所述步骤a中:所述判断图像中的像素点是否是边缘像素点的判断方式为:根据矩阵中内外圈G分量最大最小值差异的空间相关性判断当前像素点是否属于边缘像素点,将矩阵中的绿色G分量根据所处位置分为两类:位于矩阵中最外一圈的G分量和里圈的G分量,在矩阵最外一圈的G分量中分别找出最大值和最小值,最大值记为OutMax,最小值记为OutMin;在矩阵里圈的G分量中找出最大值和最小值,最大值记为InMax,最小值记为InMin,如果当前像素点满足以下条件:

OutMax-OutMin>edge1&&InMax-InMin>edge2

则当前像素点属于边缘像素点,否则属于不属于边缘像素点,在上述公式中,edge1与edge2分别是G分量在外圈和里圈的检测门限值。

本发明实施例采取的技术方案还包括:在所述步骤a中,所述对像素点进行颜色插值算法处理获取全彩色图像具体为:以图像中的某一像素点作为中心像素点选取5x5的矩阵,利用中心像素点的相邻像素来计算中心像素位置另外两个颜色通道的颜色值,如果中心像素点为G分量,则恢复该位置剩余的RB分量;如果中心像素点为R(或B)分量,则恢复该位置剩余的G和B(或R)分量,其方法是:先恢复该位置的绿色G分量,然后利用恢复出来的绿色G分量去插值恢复剩余的B分量。

本发明实施例采取的技术方案还包括:在所述步骤a中,所述对像素点进行降噪滤波处理,同时进行颜色插值算法处理获取全彩色图像具体为:以图 像中的某一像素点作为中心像素点选取5x7的矩阵,对该位置的各个颜色分量进行平滑滤波,并根据矩阵中心像素点为G分量还是RB分量做不同的处理:如果中心像素点为G分量,则利用色彩相关性,通过相邻像素点的差值来补偿该像素点的R分量和B分量;如果中心像素点为R(或B)分量,则通过相邻像素点的差值来补偿该像素点剩余的G和B(或R)分量。

本发明实施例采取的技术方案还包括:在所述步骤a前,所述对采集的图像进行坏点检测并消除坏点像素点具体为:在矩阵内找出与中心像素点距离最近,且与中心像素点颜色相同的像素点,根据四个不同方向上像素点像素值之间的差异,通过设定的阈值判断中心像素点是否为坏点,若是坏点,则通过四个方向中差异最小的两个像素点的平均值作为中心像素点的更新值,从而消除图像中的坏点像素点。

本发明实施例采取的另一技术方案为:一种图像处理系统,包括边缘检测模块、颜色插值模块、降噪与颜色插值模块、第一空间转换模块、图像压缩模块、图像解压缩模块和第二空间转换模块;

所述边缘检测模块用于判断图像中的像素点是否是边缘像素点,如果是边缘像素点,通过颜色插值模块对该像素点进行颜色插值算法处理获取全彩色图像;如果不是边缘像素点,通过降噪与颜色插值模块对该像素点进行降噪滤波处理,同时进行颜色插值算法处理获取全彩色图像;

所述第一空间转换模块用于对颜色插值模块和降噪与颜色插值模块获取的全彩色图像进行颜色空间转换,将全彩色图像从RGB空间转换至YUV空间,并通过图像压缩模块对全彩色图像的YUV分量分别进行压缩处理;

所述图像解压缩模块用于对全彩色图像的YUV分量进行解压缩处理,并通过第二空间转换模块将解压缩处理后的全彩色图像从YUV空间转回RGB空间后,得到最终图像。

本发明实施例采取的技术方案还包括:还包括图像采集模块和坏点检测与消除模块,所述图像采集模块用于采集图像,并以图像中的某一像素点作 为中心像素点选取一个固定大小的矩阵;所述坏点检测与消除模块用于对采集的图像进行坏点检测,根据选取的矩阵的中心像素点与不同方向上的像素点的像素值差异判断待检测像素点是否为坏点,如果待检测像素点为坏点,则消除该像素点。

本发明实施例采取的技术方案还包括:所述边缘检测模块判断图像中的像素点是否是边缘像素点的判断方式为:根据矩阵中内外圈G分量最大最小值差异的空间相关性判断当前像素点是否属于边缘像素点,将Bayer矩阵中的绿色G分量根据所处位置分为两类:位于矩阵中最外一圈的G分量和里圈的G分量,在矩阵最外一圈的G分量中分别找出最大值和最小值,最大值记为OutMax,最小值记为OutMin;在矩阵里圈的G分量中找出最大值和最小值,最大值记为InMax,最小值记为InMin,如果当前像素点满足以下条件:

OutMax-OutMin>edge1&&InMax-InMin>edge2

则当前像素点属于边缘像素点,否则属于不属于边缘像素点,在上述公式中,edge1与edge2分别是G分量在外圈和里圈的检测门限值。

本发明实施例采取的技术方案还包括:所述颜色插值模块对像素点进行颜色插值算法处理获取全彩色图像具体为:以图像中的某一像素点作为中心像素点选取5x5的矩阵,利用中心像素点的相邻像素来计算中心像素位置另外两个颜色通道的颜色值,如果中心像素点为G分量,则恢复该位置剩余的RB分量;如果中心像素点为R(或B)分量,则恢复该位置剩余的G和B(或R)分量,其方法是:先恢复该位置的绿色G分量,然后利用恢复出来的绿色G分量去插值恢复剩余的B分量;所述降噪与颜色插值模块对像素点进行降噪滤波处理,同时进行颜色插值算法处理获取全彩色图像具体为:以Bayer图像中的某一像素点作为中心像素点选取5x7的矩阵,对该位置的各个颜色分量进行平滑滤波,并根据矩阵中心像素点为G分量还是RB分量做不同的处理:如果中心像素点为G分量,则利用色彩相关性,通过相邻像素点的差值来补 偿该像素点的R分量和B分量;如果中心像素点为R(或B)分量,则通过相邻像素点的差值来补偿该像素点剩余的G和B(或R)分量。

本发明实施例的图像处理方法及系统通过对Bayer图像进行坏点检测去除脉冲噪声影响,再通过检测图像边缘,根据边缘和非边缘区域的不同做相应地颜色插值和(或)降噪处理,保留了较好的边界信息,并提高了压缩比,对获取的全彩色图像进行YUV变换,分别对YUV分量进行JPEG压缩处理,在减少一定压缩数据量的同时,提高了图像质量,且不需要额外的解压缩端Y(或G)分量阵列分布形状的可逆处理,减轻了解压缩端的负担,以此为基础有利于推进高清视频图像的应用与发展。

附图说明

图1是Bayer图像颜色滤波阵列的典型格式;

图2是本发明实施例的图像处理方法的流程图;

图3(a)和图3(b)是本发明实施例的Bayer矩阵以及中心像素点位置与方向选取示意图;

图4(a)和图4(b)是本发明实施例的颜色插值算法示意图;

图5(a)和图5(b)是本发明实施例的降噪与颜色插值处理示意图;

图6是本发明实施例的图像处理系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

在本发明以下实施例中,仅以对拍摄图片进行处理为例进行说明,但并不仅限于此,本发明同样适用于其他可视化信息的处理,例如视频等。

请参阅图2,是本发明实施例的图像处理方法的流程图。本发明实施例的图像处理方法包括以下步骤:

步骤100:采集Bayer图像,并以Bayer图像中的某一像素点作为中心像素点选取一个固定大小的Bayer矩阵;

在步骤100中,本发明实施例以中心像素点选取5x5的Bayer矩阵,具体矩阵大小可根据实际应用进行选择;本发明仅以对Bayer格式图像进行处理为例,但并不限于此,本发明同样适用于对其他格式的图像进行处理。

步骤200:对采集的Bayer图像进行坏点检测,根据选取的Bayer矩阵的中心像素点与不同方向上的像素点的像素值差异判断待检测像素点是否为坏点,如果待检测像素点为坏点,则消除该像素点;

在步骤200中,坏点检测及消除是一种克服Bayer图像脉冲噪声的算法,该算法提高了图像质量,消除了脉冲噪声对图像质量的恶化,降低了图像质量损伤,坏点检测及消除不仅限于以上所述方法。所述对采集的Bayer图像进行坏点检测方式具体为:在Bayer矩阵内找出与中心像素点距离最近,且与中心像素点颜色相同的像素点,根据四个不同方向上像素点像素值之间的差异,通过设定的阈值判断中心像素点是否为坏点,若是坏点,则通过四个方向中差异最小的两个像素点的平均值作为中心像素点的更新值,从而消除Bayer图像中的坏点像素点。

具体如图3所示,是本发明实施例的Bayer矩阵以及中心像素点位置与方向选取示意图。以Bayer图像中的某一像素点作为中心像素点选取5x5的Bayer矩阵,在Bayer矩阵内找出与中心像素点距离最近,且与中心像素点颜色相同的9个像素点,分别记为P1、P2、P3、P4、P5(中心像素点)、P6、P7、P8和P9。根据中心像素点P5的G或RB的不同,所选取的像素点分布形状不同,若中心像素点为G分量,则在5x5的Bayer矩阵内找出与中心像素点G分量距离最近的9个G分量,P1~P9的位置如图3(a)所示;若中心像素点为R或B分量,则在5x5的Bayer矩阵内找出与中心像素点R或B距离最近的9个R或B分量, P1~P9的位置如图3(b)所示。确定P1~P9的位置后,从如图3所示的四个方向(正北4,正东2,东北3,东南1)来进行坏点检测判断中心像素点是否为坏点,其中东南方向1为P1,P5,P9所在的直线;正东方向2为P4,P5,P6所在的直线;东北方向3为P3,P5,P7所在的直线;正北方向4为P2,P5,P8所在的直线。计算各个方向上像素点像素值之间的差异,若各个方向上像素点像素值之间的差异满足以下判断条件1,则中心像素点P5被判断为过亮的坏点:

判断条件1:

min(P5-P1,P5-P9)>def1&&|P1-P9|<def2;

min(P5-P4,P5-P6)>def1&&|P4-P6|<def2;

min(P5-P7,P5-P3)>def1&&|P7-P3|<def2;

min(P5-P8,P5-P2)>def1&&|P8-P2|<def2;

若各个方向上像素点像素值之间的差异满足以下判断条件2,则中心像素点P5被判断为过暗的坏点:

判断条件2:

min(P1-P5,P9-P5)>def3&&|P1-P9|<def2;

min(P4-P5,P6-P5)>def3&&|P4-P6|<def2;

min(P7-P5,P3-P5)>def3&&|P7-P3|<def2;

min(P8-P5,P2-P5)>def3&&|P8-P2|<def2;

其中,在判断条件1和判断条件2中,min表示取最小值,&&表示符号前后条件同时成立,本实施例中,一组可用的阈值参数为def1=192,def2=16,def3=192。

当检测出某一中心像素点为坏点时,则使用四个方向中差异最小的两个像素点的平均值作为该像素点的更新值,已达到消除坏点的目的,即

在公式(1)中,Pi,Pj是四个方向上差值最小的两个像素点像素值,P5_new即为更新后的像素点的像素值。

步骤300:根据Bayer矩阵中内外圈G分量最大最小值差异的空间相关性判断当前像素点是否属于边缘像素点;如果当前像素点属于边缘像素点,执行步骤400;如果当前像素点不属于边缘像素点,执行步骤500;

在步骤300中,判断当前像素点是否属于边缘像素点的判断方式具体为:将Bayer矩阵中的绿色G分量根据所处位置分为两类:位于Bayer矩阵中最外一圈的G分量和里圈的G分量,在Bayer矩阵最外一圈的G分量中分别找出最大值和最小值,最大值记为OutMax,最小值记为OutMin;在Bayer矩阵里圈的G分量中找出最大值和最小值,最大值记为InMax,最小值记为InMin。如果满足以下条件:

OutMax-OutMin>edge1&&InMax-InMin>edge2 (2)

则认为当前像素点属于边缘像素点,否则属于不属于边缘像素点。在上述公式(2)中,edge1与edge2分别是G分量在外圈和里圈的检测门限值,在本发明实施例中,edge1=20,edge2=12,具体可根据实际应用进行设定。

步骤400:对该像素点进行颜色插值算法处理获取全彩色图像;

在步骤400中,如图4所示,是本发明实施例的颜色插值算法示意图。以Bayer图像中的某一像素点作为中心像素点选取5x5的Bayer矩阵,利用中心像素点的相邻像素来计算中心像素位置另外两个颜色通道的颜色值。根据中心像素点为G分量或RB分量的不同分开处理,具体地,

1)若中心像素点为G分量,则需要恢复该位置剩余的RB分量,如图4(a)所示,中心像素点为G33,其方法是:对要恢复的红色R分量而言,若满足

|G31-G33|≥|R32-R34| (3)

则恢复的红色分量R为:

否则,根据色彩相关性(色差规律(R-G)或(B-G)恒定),通过相邻像素点的差值来补偿该像素点的红色分量完成插值操作,则恢复的红色分量R为:

对于该位置蓝色B分量的恢复,与上述红色R分量的恢复方式相同。

2)若中心像素点为R(或B)分量,则需要恢复该位置剩余的G和B(或R)分量,如图4(b)所示,中心像素点为R33,其方法是:先恢复该位置的绿色G分量,然后利用恢复出来的绿色G分量去插值恢复剩余的B分量。具体先比较该像素点位置水平和垂直方向上的梯度来确定可能的边界方向,并选择非边界方向来进行颜色插值。假设a为该点水平方向梯度,b为垂直方向梯度,则

按照梯度小的方向存在边界的概率比较大,颜色插值会沿着最可能的边界方向进行,因而该位置恢复的绿色G分量为:

利用恢复出的绿色G分量对蓝色B分量进行恢复,具体地,利用上面恢复出来的G33,与其左,右,上三个位置的像素点值在四个方向上作比较,来判断合适的插值方向,定义四个方向G分量差值如下:

根据差值大小选取不同的插值方式,分四种情况:

a)如果α最小,当满足

|G21-G23|>|B22-B24| (9)

则恢复的蓝色B分量为:

否则,根据色彩相关性(色差规律(R-G)或(B-G)恒定),通过相邻像素点的差值来补偿该像素点的蓝色分量完成插值操作,则恢复的蓝色B分量为:

b)如果β最小,当满足

|G12-G32|>|B22-B42| (12)

则恢复的蓝色B分量为:

否则,根据色彩相关性(色差规律(R-G)或(B-G)恒定),通过相邻像素点的差值来补偿该像素点的蓝色分量完成插值操作,则恢复的蓝色B分量为:

c)如果γ最小,则恢复的蓝色B分量为:

d)如果δ最小,则恢复的蓝色B分量为:

如果中心像素点为B33,则恢复其绿色G分量与红色R分量的方法与上述相同,仍然先恢复绿色G分量,再利用G分量恢复R分量。

本发明通过对边缘像素点直接进行颜色插值算法处理,不做降噪处理,从而更好的保留了图像的边缘信息,防止降噪损失过多的图像细节。

步骤500:对该像素点进行降噪滤波处理,在滤波的同时进行颜色插值算法处理获取全彩色图像;

在步骤500中,由于Bayer格式CFA图像信息在每个像素位置上只有一种颜色分量,要复原另外两种缺失的颜色分量,就必须通过相邻的像素进行插值估算,恢复出每个像素位置另外两个颜色通道的颜色值,这就是颜色插值。颜色插值算法主要利用色彩相关性,或根据其水平垂直方向上的梯度做相应地插值操作;降噪插值时对其余两种颜色分量以及自身,均根据其周围一定范围内的相同颜色像素点进行加权滤波更新当前像素值,以达到降噪的目的。

请一并参阅图5,是本发明实施例的降噪与颜色插值处理示意图。本发明中对像素点进行降噪滤波处理,在滤波的同时进行颜色插值算法处理的方式具体为:以Bayer图像中的某一像素点作为中心像素点选取5x7的Bayer矩阵,对该位置的各个颜色分量进行平滑滤波,达到降噪目的;并根据Bayer矩阵中心像素点为G分量还是RB分量做不同的处理:

如图5(a)所示,若中心像素点为G分量,则需要恢复该位置的RB分量,此时利用色彩相关性(色差规律),通过相邻像素点的差值来补偿该像素点的R分量和B分量;如图5(b)所示,若中心像素点为R(或B)分量,则需要恢复该位置的G分量和B(或R)分量,此时先恢复G分量,根据其水平垂直方向上的梯度大小来确定可能的边界方向,并选择非边界方向,由相邻的G分量来进行颜色插值,G分量恢复完成后,考虑剩余分量的恢复,根据恢复出来的G分量,与其相邻的左、右、上三个位置的像素点G分量值在四个方向上作比较,来判断合适的插值方向,仍然利用色彩相关性(色差规律),通过相邻像素点的差值来补偿该像素点剩余的R分量或B分量;具体颜色插值算法如下:

1)若中心像素点为G分量,则进行降噪与颜色插值处理,中心像素点为G34,给定一个5x7滤波模板如下:

则中心像素点位置红色R分量的滤波结果表示为:

在公式(18)中,R1=R33+R35,R2=R13+R15+R53+R55,R3=R31+R37,R4=R11+R17+R51+R57,r1+r2+r3+r4=6,round(·)表示四舍五入。

则中心像素点位置绿色G分量的滤波结果可表示为:

在公式(19)中,G1=G34,G2=G23+G25+G43+G45,G3=G14+G32+G36+G54,g1+g2+g3=64。

则中心像素点位置蓝色B分量的滤波结果可表示为:

在公式(20)中,B1=B24+B44,B2=B22+B26+B42+B46,b1+b2=64。

2)若中心像素点为R(或B)分量,则进行降噪与颜色插值处理,如图5(b)所示,中心像素点为R34,给定一个5x7滤波模板如下:

则中心像素点位置红色R分量的滤波结果可表示为:

在公式(22)中,R1=R34,R2=R14+R32+R36+R54,R3=R12+R16+R52+R56,r1+r2+r3=64。

则中心像素点位置绿色G分量的滤波结果可表示为:

在公式(23)中,G1=G24+G33+G35+G44,G2=G13+G15+G53+G55,G3=G22+G26+G42+G46,g1+g2+g2=64。

则中心像素点位置蓝色B分量的滤波结果可表示为:

在公式(24)中,B1=B23+B25+B43+B45,B2=G21+G27+G41+G47,b1+b2=64。

在本发明实施例中,降噪与颜色插值算法不仅限于以上所述方法,也可以是其他类似方案。

步骤600:对获取的全彩色图像进行颜色空间转换,将全彩色图像从RGB空间转换至YUV空间;

在步骤600中,本发明通过将全彩色图像从RGB空间转换至YUV空间,可以消除色彩通道之间的相关性。

步骤700:获取转换后的全彩色图像的YUV分量,并将获取的YUV分量(4:2:0)分别进行压缩处理;

在步骤700中,所述将获取的YUV分量(4:2:0)分别进行压缩处理的压缩方式为JPEG压缩,但不限于此压缩方式;本发明通过YUV空间变换消除了色彩通道间的相关性,对YUV分量进行JPEG压缩,使压缩编码得到有效利用,很好地适应了编码需求。

步骤800:对全彩色图像的YUV分量(4:2:0)进行解压缩处理,并将解压缩处理后的全彩色图像从YUV空间转回RGB空间后,输出最终图像。

请参阅图4,是本发明实施例的图像处理系统的结构示意图。本发明实施例的图像处理系统包括图像采集模块、坏点检测与消除模块、边缘检测模块、颜色插值模块、降噪与颜色插值模块、第一空间转换模块、图像压缩模块、图像解压缩模块和第二空间转换模块;

图像采集模块用于采集Bayer图像,并以Bayer图像中的某一像素点作为中心像素点选取一个固定大小的Bayer矩阵;其中,本发明实施例以中心像素点选取5x5的Bayer矩阵,具体矩阵大小可根据实际应用进行选择。

坏点检测与消除模块用于对采集的Bayer图像进行坏点检测,根据Bayer矩阵的中心像素点与不同方向上的像素点的像素值差异判断待检测像素点是否为坏点,如果待检测像素点为坏点,则消除该像素点;其中,所述坏点检测与消除模块对采集的Bayer图像进行坏点检测方式具体为:在Bayer矩阵内找出与中心像素点距离最近,且与中心像素点颜色相同的像素点,根据四个不同方向上像素点像素值之间的差异,通过设定的阈值判断中心像素点是否为坏点,若是坏点,则通过四个方向中差异最小的两个像素点的平均值作为中心像素点的更新值,从而消除Bayer图像中的坏点像素点。

具体如图3所示,以Bayer图像中的某一像素点作为中心像素点选取5x5的Bayer矩阵,在Bayer矩阵内找出与中心像素点距离最近,且与中心像素点颜色相同的9个像素点,分别记为P1、P2、P3、P4、P5(中心像素点)、P6、P7、P8和P9。根据中心像素点P5的G或RB的不同,所选取的像素点分布形状不同,若中心像素点为G分量,则在5x5的Bayer矩阵内找出与中心像素点G分量距离最近的9个G分量,P1~P9的位置如图3(a)所示;若中心像素点为R或B分量,则在5x5的Bayer矩阵内找出与中心像素点R或B距离最近的9个R或B分量,P1~P9的位置如图3(b)所示。确定P1~P9的位置后,从如图3所示的四个方向(正北4,正东2,东北3,东南1)来进行坏点检测判断中心像素点是否为坏点,其中东南方向1为P1,P5,P9所在的直线;正东方向2为P4,P5,P6所在的直线;东北方向3为P3,P5,P7所在的直线;正北方向4 为P2,P5,P8所在的直线。计算各个方向上像素点像素值之间的差异,若各个方向上像素点像素值之间的差异满足以下判断条件1,则中心像素点P5被判断为过亮的坏点:

判断条件1:

min(P5-P1,P5-P9)>def1&&|P1-P9|<def2;

min(P5-P4,P5-P6)>def1&&|P4-P6|<def2;

min(P5-P7,P5-P3)>def1&&|P7-P3|<def2;

min(P5-P8,P5-P2)>def1&&|P8-P2|<def2;

若各个方向上像素点像素值之间的差异满足以下判断条件2,则中心像素点P5被判断为过暗的坏点:

判断条件2:

min(P1-P5,P9-P5)>def3&&|P1-P9|<def2;

min(P4-P5,P6-P5)>def3&&|P4-P6|<def2;

min(P7-P5,P3-P5)>def3&&|P7-P3|<def2;

min(P8-P5,P2-P5)>def3&&|P8-P2|<def2;

其中,在判断条件1和判断条件2中,min表示取最小值,&&表示符号前后条件同时成立,本实施例中,一组可用的阈值参数为def1=192,def2=16,def3=192。

当检测出某一中心像素点为坏点时,则使用四个方向中差异最小的两个像素点的平均值作为该像素点的更新值,已达到消除坏点的目的,即

在公式(1)中,Pi,Pj是四个方向上差值最小的两个像素点像素值,P5_new即为更新后的像素点的像素值。

边缘检测模块用于根据Bayer矩阵中内外圈G分量最大最小值差异的空间相关性判断当前像素点是否属于边缘像素点;如果当前像素点属于边缘像素点,通过颜色插值模块进行颜色插值算法操作;如果当前像素点不属于边缘 像素点,通过降噪与颜色插值模块进行降噪与颜色插值算法操作;其中,判断当前像素点是否属于边缘像素点的判断方式具体为:将Bayer矩阵中的绿色G分量根据所处位置分为两类:位于Bayer矩阵中最外一圈的G分量和里圈的G分量,在Bayer矩阵最外一圈的G分量中分别找出最大值和最小值,最大值记为OutMax,最小值记为OutMin;在Bayer矩阵里圈的G分量中找出最大值和最小值,最大值记为InMax,最小值记为InMin。如果满足以下条件:

OutMax-OutMin>edge1&&InMax-InMin>edge2 (2)

则认为当前像素点属于边缘像素点,否则属于不属于边缘像素点。在上述公式(2)中,edge1与edge2分别是外圈和里圈的检测门限值,在本发明实施例中,edge1=20,edge2=12,具体可根据实际应用进行设定。

颜色插值模块对边缘像素点进行颜色插值算法处理获取全彩色图像;如图4所示,颜色插值模块对边缘像素点进行颜色插值算法处理具体为:以Bayer图像中的某一像素点作为中心像素点选取5x5的Bayer矩阵,利用中心像素点的相邻像素来计算中心像素位置另外两个颜色通道的颜色值。根据中心像素点为G分量或RB分量的不同分开处理,具体地,

1)若中心像素点为G分量,则需要恢复该位置剩余的RB分量,如图4(a)所示,中心像素点为G33,其方法是:对要恢复的红色R分量而言,若满足

|G31-G33|≥|R32-R34| (3)

则恢复的红色分量R为:

否则,根据色彩相关性(色差规律(R-G)或(B-G)恒定),通过相邻像素点的差值来补偿该像素点的红色分量完成插值操作,则恢复的红色分量R为:

对于该位置蓝色B分量的恢复,与上述红色R分量的恢复方式相同。

2)若中心像素点为R(或B)分量,则需要恢复该位置剩余的G和B(或R)分量,如图4(b)所示,中心像素点为R33,其方法是:先恢复该位置的绿色G分量,然后利用恢复出来的绿色G分量去插值恢复剩余的B分量。具体先比较该像素点位置水平和垂直方向上的梯度来确定可能的边界方向,并选择非边界方向来进行颜色插值。假设a为该点水平方向梯度,b为垂直方向梯度,则

按照梯度小的方向存在边界的概率比较大,颜色插值会沿着最可能的边界方向进行,因而该位置恢复的绿色G分量为:

利用恢复出的绿色G分量对蓝色B分量进行恢复,具体地,利用上面恢复出来的G33,与其左,右,上三个位置的像素点值在四个方向上作比较,来判断合适的插值方向,定义四个方向G分量差值如下:

根据差值大小选取不同的插值方式,分四种情况:

a)如果α最小,当满足

|G21-G23|>|B22-B24| (9)

则恢复的蓝色B分量为:

否则,根据色彩相关性(色差规律(R-G)或(B-G)恒定),通过相邻像素点的差值来补偿该像素点的蓝色分量完成插值操作,则恢复的蓝色B分量为:

b)如果β最小,当满足

|G12-G32|>|B22-B42| (12)

则恢复的蓝色B分量为:

否则,根据色彩相关性(色差规律(R-G)或(B-G)恒定),通过相邻像素点的差值来补偿该像素点的蓝色分量完成插值操作,则恢复的蓝色B分量为:

c)如果γ最小,则恢复的蓝色B分量为:

d)如果δ最小,则恢复的蓝色B分量为:

如果中心像素点为B33,则恢复其绿色G分量与红色R分量的方法与上述相同,仍然先恢复绿色G分量,再利用G分量恢复R分量。

本发明通过对边缘像素点直接进行颜色插值算法处理,不做降噪处理,从而更好的保留了图像的边缘信息,防止降噪损失过多的图像细节。

降噪与颜色插值模块对非边缘像素点进行降噪滤波处理,在滤波的同时进行颜色插值算法处理获取全彩色图像;所述对像素点进行降噪滤波处理,在滤波的同时进行颜色插值算法处理的方式具体为:以Bayer图像中的某一像素点作为中心像素点选取5x7的Bayer矩阵,对该位置的各个颜色分量进行平滑滤波,达到降噪目的;并根据Bayer矩阵中心像素点为G分量还是RB分量做不同的处理:

如图5(a)所示,若中心像素点为G分量,则需要恢复该位置的RB分量,此时利用色彩相关性(色差规律),通过相邻像素点的差值来补偿该像 素点的R分量和B分量;如图5(b)所示,若中心像素点为R(或B)分量,则需要恢复该位置的G分量和B(或R)分量,此时先恢复G分量,根据其水平垂直方向上的梯度大小来确定可能的边界方向,并选择非边界方向,由相邻的G分量来进行颜色插值,G分量恢复完成后,考虑剩余分量的恢复,根据恢复出来的G分量,与其相邻的左、右、上三个位置的像素点G分量值在四个方向上作比较,来判断合适的插值方向,仍然利用色彩相关性(色差规律),通过相邻像素点的差值来补偿该像素点剩余的R分量或B分量;具体颜色插值算法如下:

1)若中心像素点为G分量,则进行降噪与颜色插值处理,中心像素点为G34,给定一个5x7滤波模板如下:

则中心像素点位置红色R分量的滤波结果表示为:

在公式(18)中,R1=R33+R35,R2=R13+R15+R53+R55,R3=R31+R37,R4=R11+R17+R51+R57,r1+r2+r3+r4=6,round(·)表示四舍五入。

则中心像素点位置绿色G分量的滤波结果可表示为:

在公式(19)中,G1=G34,G2=G23+G25+G43+G45,G3=G14+G32+G36+G54,g1+g2+g3=64。

则中心像素点位置蓝色B分量的滤波结果可表示为:

在公式(20)中,B1=B24+B44,B2=B22+B26+B42+B46,b1+b2=64。

2)若中心像素点为R(或B)分量,则进行降噪与颜色插值处理,如图5(b)所示,中心像素点为R34,给定一个5x7滤波模板如下:

则中心像素点位置红色R分量的滤波结果可表示为:

在公式(22)中,R1=R34,R2=R14+R32+R36+R54,R3=R12+R16+R52+R56,r1+r2+r3=64。

则中心像素点位置绿色G分量的滤波结果可表示为:

在公式(23)中,G1=G24+G33+G35+G44,G2=G13+G15+G53+G55,G3=G22+G26+G42+G46,g1+g2+g2=64。

则中心像素点位置蓝色B分量的滤波结果可表示为:

在公式(24)中,B1=B23+B25+B43+B45,B2=G21+G27+G41+G47,b1+b2=64。

在本发明实施例中,降噪与颜色插值算法不仅限于以上所述方法,也可以是其他类似方案。

第一空间转换模块用于对获取的全彩色图像进行颜色空间转换,将全彩色图像从RGB空间转换至YUV空间;

图像压缩模块用于获取转换后的全彩色图像的YUV分量,并将获取的YUV分量(4:2:0)分别进行压缩处理;其中,所述将获取的YUV分量(4:2:0)分别进行压缩处理的压缩方式为JPEG压缩,但不限于此压缩方式;本发明通过YUV空间变换消除了色彩通道间的相关性,对YUV分量进行JPEG压缩,使压缩编码得到有效利用,很好地适应了编码需求。

图像解压缩模块用于对YUV分量(4:2:0)进行解压缩处理;

第二空间转换模块用于将解压缩处理后的全彩色图像从YUV空间转回RGB空间后,并输出最终图像。

本发明实施例的图像处理方法及系统通过对Bayer图像进行坏点检测去除脉冲噪声影响,再通过检测图像边缘,根据边缘和非边缘区域的不同做相应地颜色插值和(或)降噪处理,保留了较好的边界信息,并提高了压缩比,对获取的全彩色图像进行YUV变换,分别对YUV分量进行JPEG压缩处理,在减少一定压缩数据量的同时,提高了图像质量,且不需要额外的解压缩端Y(或G)分量阵列分布形状的可逆处理,减轻了解压缩端的负担,以此为基础有利于推进高清视频图像的应用与发展。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1