专利名称：Bayer图像的处理方法及装置的制作方法
技术领域：
本发明涉及一种BAYER图像的处理方法及装置，特别是涉及一种能节约片上存储器容量的BAYER图像的处理方法及装置。
背景技术：
随着摄像头在消费类电子领域的广泛应用，CMOS传感器作为摄像头的核心器件， 其所产生的BAYER图像是在一行中绿色G像素点和蓝色B像素点交替出现，而在下一行红色R像素点和绿色G像素点交替出现，同时绿色G像素点和蓝色B像素点交替出现行与红色R像素点和绿色G像素点交替出现行也交替出现。由于原始的BAYER图像的数据不满足视频编码输入格式的标准，所以必须对BAYER图像进行视频输入预处理，以满足视频编码器的输入需求。BAYER图像的处理首先是对BAYER图像的原始数据的插值处理，经过插值处理，转换成每个像素点的像素值具有红R、绿G和蓝B三种颜色分量的RGB图像，然后将RGB图像经过色彩空间变换得到YUV图像，最后对YUV图像进行编码，得到视频编码信号。图1为现有技术的BAYER图像的处理装置的结构示意图，如图1所示，传统的 BAYER图像的处理作为单独的模块设计，CSI控制器在时钟脉冲的触发下，将CMOS传感器实时捕获的BAYER格式的图像信息数据传送到图像插值处理单元，进行数据的接收、处理，将处理后得到的RGB图像进行色彩空间变换，得到满足视频编码输入格式标准的YUV图像，然后将YUV图像存储到外部存储器，当视频编码器需要对YUV图像数据编码时，再从外部存储器进行读取YUV图像数据。现有技术的BAYER图像处理装置存在以下两个方面的缺陷一方面，为了完成光栅扫描方式的实时插值处理，必须要有一个较大的行缓冲片上存储器，存储具有一定行数的且具有一定宽度的图像，这样会使得插值处理芯片的成本很高；另一方面，RGB图像转换成YUV图像后虽然使得图像数据大大减少，但YUV图像的数据还是大于插值处理前的BAYER 图像的原始数据，所以现有技术的BAYER图像处理装置需要的外部存储器的存储空间比较大，要求的图像传输带宽也比较大。
发明内容
本发明的目的在于提供一种BAYER图像的处理方法，以减少图像处理时片上存储器的容量，节约插值处理芯片的成本。本发明的另一目的在于提供一种BAYER图像的处理装置，以节省片上存储器的容量，节约插值处理芯片的成本。为实现本发明的目的而提供的一种BAYER图像的处理方法，包括读取外部存储器中的BAYER图像的原始数据；对于图像中的R/G/B像素点，保留所述R/G/B像素点的像素值作为各像素点处理后的像素值的相应的R/G/B分量；
对BAYER图像的原始数据进行插值处理，得到所述R/G/B像素点处理后的像素值的缺失分量，并将插值处理过程中需重复读取的数据缓存到片上存储器；对经过插值处理后得到的RGB图像进行色彩空间变换，得到YUV图像；对YUV图像进行视频编码，得到视频编码信号。为实现本发明的目的而提供的一种BAYER图像的处理装置，包括外部存储器、图像插值处理单元、片上存储器、图像转换器、视频编码器；外部存储器，用于存储CMOS传感器捕获的BAYER图像的原始数据；图像插值处理单元，用于读取外部存储器中存储的原始数据，对图像中的R/G/B 像素点，保留R/G/B像素点的像素值作为各像素点处理后的像素值的相应的R/G/B分量，并对BAYER图像的原始数据通过插值处理模板进行插值处理，得到所述R/G/B像素点处理后的像素值的缺失分量；片上存储器，用于存储图像插值处理过程中需重复读取的数据；图像转换器，用于对经过插值处理后得到的RGB图像进行色彩空间变换，得到YUV图像；视频编码器，用于对YUV图像进行编码，得到视频编码信号。较优地，BAYER图像的处理方法，采用5 X 5的插值处理模板对BAYER图像的原始数据进行插值处理。较优地，BAYER图像的处理方法，采用上述插值处理模板对R/G/B像素点的缺失分量进行插值计算具体包括如下步骤对于G像素点，将所述G像素点的像素值、所述G像素点的4个最邻近G像素点的像素值、2个最邻近R/B像素点的像素值以及与所述最邻近R/B像素点最邻近的2个次邻近 G像素点的像素值加权平均，计算得到所述G像素点处理后的像素值的相应的R/B分量，其中，所述G像素点的像素值、所述G像素点的4个最邻近G像素点的像素值以及2个次邻近 G像素点的像素值的加权系数之和为0，所述2个最邻近R/B像素点的像素值的加权系数之和为1 ；对于R/B像素点，将所述R/B像素点的像素值、所述R/B像素点的4个最邻近G像素点的像素值以及4个次邻近R/B像素点的像素值加权平均，计算得到所述R/B像素点处理后的像素值的相应的G分量，其中，所述R/B像素点的4个最邻近G像素点的像素值的加权系数之和为1，所述R/B像素点的像素值以及所述R/B像素点的4个次邻近R/B像素点的像素值的加权系数之和为0 ；对于R/B像素点，将所述R/B像素点的像素值、所述R/B像素点的4个最邻近B/R 像素点的像素值、4个次邻近R/B像素点的像素值加权平均，计算得到所述R/B像素点处理后的像素值的相应的B/R分量，其中，所述R/B像素点的4个最邻近B/R像素点的像素值加权系数之和为1，所述R/B像素点的像素值以及所述R/B像素点的4个次邻近R/B像素点的像素值的加权系数之和为0。较优地，BAYER图像的处理方法，求G像素点的R/B分量时，G像素点的像素值的加权系数为3/4，G像素点的4个最邻近G像素点的像素值的加权系数以及2个次邻近G像素点的像素值的加权系数均为-1/8，2个最邻近R/B像素点的像素值的加权系数均为1/2。较优地，BAYER图像的处理方法，求R/B像素点的G分量时，R/B像素点的4个最邻近G像素点的像素值的加权系数均为1/4，R/B像素点的像素值的加权系数为1/2，R/B像素点的4个次邻近R/B像素点的像素值的加权系数均为-1/8 ；求R/B像素点的B/R分量时，所述R/B像素点的4个最邻近B/R像素点的像素值的加权系数均为1/4，所述R/B像素点的像素值的加权系数为1/2，所述R/B像素点的4个次邻近R/B像素点的像素值的加权系数均为-1/8。较优地，BAYER图像的处理装置的插值处理模板为5X5的插值处理模板。较优地，BAYER图像的处理装置的图像插值处理单元，用于采用上述5X5的插值处理模板对R/G/B像素点的缺失分量进行插值计算，计算方式具体为对于G像素点，将所述G像素点的像素值、所述G像素点的4个最邻近G像素点的像素值、2个最邻近R/B像素点的像素值以及与所述最邻近R/B像素点最邻近的2个次邻近 G像素点的像素值加权平均，计算得到所述G像素点处理后的像素值的相应的R/B分量，其中，所述G像素点的像素值、所述G像素点的4个最邻近G像素点的像素值以及2个次邻近 G像素点的像素值的加权系数之和为0，所述2个最邻近R/B像素点的像素值的加权系数之和为1 ；对于R/B像素点，将所述R/B像素点的像素值、所述R/B像素点的4个最邻近G像素点的像素值以及4个次邻近R/B像素点的像素值加权平均，计算得到所述R/B像素点处理后的像素值的相应的G分量，其中，所述R/B像素点的4个最邻近G像素点的像素值的加权系数之和为1，所述R/B像素点的像素值以及所述R/B像素点的4个次邻近的R/B像素点的像素值的加权系数之和为0 ；对于R/B像素点，将所述R/B像素点的像素值、所述R/B像素点的4个最邻近B/R 像素点的像素值、4个次邻近R/B像素点的像素值加权平均，计算得到所述R/B像素点处理后的像素值的相应的B/R分量，其中，所述R/B像素点的4个最邻近B/R像素点的像素值加权系数之和为1，所述R/B像素点的像素值以及所述R/B像素点的4个次邻近R/B像素点的像素值的加权系数之和为0。较优地，BAYER图像的处理装置的图像转换器的输出端与视频编码器的输入端直接相连。较优地，BAYER图像的处理装置的片上存储器的容量为400字节。本发明的有益效果本发明的BAYER图像的处理方法和装置，由于插值处理过程中，不需要存储具有一定行数且具有一定宽度的图像，只需要将图像插值处理过程中重复读取的数据缓存到片上存储器，所以在很大程度上节省了片上存储器的容量，节约了插值处理芯片的成本。另外，本发明的BAYER图像的处理方法和装置，外部存储器存储的是插值处理前BAYER图像的原始数据，而插值处理前BAYER图像的原始数据相对于插值处理后的图像的数据要少得多，所以也节省了外部存储器的容量，节约了图像处理的成本。
图1为现有技术的BAYER图像的处理装置的结构示意图；图2为本发明的BAYER图像的处理装置一实施例的结构示意图；图3为本发明的BAYER图像的处理方法一实施例的流程图；图4为本发明的实施例中第一插值处理模板中各像素点的位置示意图；图5为本发明的实施例中第二插值处理模板中各像素点的位置示意图6为本发明的实施例中第三插值处理模板中各像素点的位置示意图；图7为本发明的实施例中第四插值处理模板中各像素点的位置示意图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明的BAYER图像的处理方法和BAYER图像处理装置进一步地详细说明。图3为本发明的BAYER图像的处理方法一实施例的流程图，如图3所示，该方法包括如下步骤31步骤读取外部存储器中的BAYER图像的原始数据；32步骤对于图像中的红R/绿G/蓝B像素点，保留所述红R/绿G/蓝B像素点的像素值作为各像素点处理后的像素值的相应的R/G/B分量；33步骤对BAYER图像的原始数据进行插值处理，得到所述红R/绿G/蓝B像素点处理后的像素值的缺失分量，并将插值处理过程中重复读取的数据缓存到片上存储器；34步骤对经过插值处理后得到的RGB图像进行色彩空间变换，得到YUV图像；35步骤对YUV图像进行视频编码，得到视频编码信号。BAYER图像处理开始时，在时钟脉冲的触发下，将外部存储器中存储的BAYER图像的原始数据读入到图像插值处理单元，对于图像中的红R/绿G/蓝B像素点，保留红R/绿 G/蓝B像素点的像素值作为各像素点处理后的像素值的相应的R/G/B分量，处理后的像素值的缺失分量通过对BAYER图像的原始数据进行插值处理获得；为了避免图像插值处理时从外部存储器重复读取插值模板中的数据，将插值处理过程中重复读取的数据缓存到片上存储器，这样在很大程度上加快了图像处理的进程，同时也节省了片上存储器的容量，节约了插值处理芯片的成本。为了使处理后的图像数据满足视频编码输入格式标准，将得到的RGB图像进行色彩空间变换，得到满足视频编码输入格式标准的YUV图像。一般RGB图像经过矩阵变换电路得到具有亮度信号Y和两个色差信号R-Y (即U) ,B-Y (即V)的图像，即YUV图像，RGB图像转换成YUV图像可采用现有技术中的常用方法，如中国专利号200610138960. χ所公开的
方法等。当时钟脉冲触发时，将YUV图像输出到视频编码器，针对一定的视频编码标准采用基本的编码算法如采用运动补偿的帧间预测、二维DCT、VLC游程编码等，对YUV图像进行编码得到视频编码信号。由于外部存储器中存储的BAYER图像的原始数据相对RGB图像转换为YUV图像后的数据较少，所以也大大节省了外部存储器的容量，进一步降低了图像处理的成本。较优地，为了提高图像插值处理的质量，节省片上存储器的容量，本发明的BAYER 图像的处理方法采用5X5的插值处理模板对BAYER图像的原始数据进行插值处理。较优地，为了更进一步地提高图像插值处理的质量，本发明的BAYER图像的处理方法采用上述5 X 5的插值模板对BAYER图像的原始数据进行插值处理，得到R/G/B像素点的像素值的缺失分量，在插值处理过程中，为了有效地消除相邻小区域的G像素点对正在进行处理的G像素点的像素值的相应的R/B分量的影响，相邻小区域的R像素点对正在进行处理的R像素点的像素值的相应的G/B分量的影响，以及相邻小区域的B像素点对正在进行处理的B像素点的像素值的相应的G/R分量的影响，插值计算具体包括如下步骤步骤一、对于G像素点，将G像素点的像素值、G像素点的4个最邻近G像素点的像素值、2个最邻近R/B像素点的像素值以及与最邻近R/B像素点最邻近的2个次邻近G像素点的像素值加权平均，计算得到G像素点处理后的像素值的相应的R/B分量，其中，G像素点的像素值、G像素点的4个最邻近G像素点的像素值以及2个次邻近G像素点的像素值的加权系数之和为0，2个最邻近R/B像素点的像素值的加权系数之和为1。在步骤一中，为了更加有效地消除邻近的G像素点对正在进行处理的G像素点的像素值的相应的R/B分量的影响，在计算G像素点处理后的像素值的相应R/B分量时，将与最邻近R/B像素点最邻近的2个次邻近G像素点的像素值考虑在内进行加权，从而进一步提高了图像处理的质量。步骤二、对于R/B像素点，将R/B像素点的像素值、R/B像素点的4个最邻近G像素点的像素值以及4个次邻近R/B像素点的像素值加权平均，计算得到R/B像素点处理后的像素值的相应的G分量，其中，R/B像素点的4个最邻近G像素点的像素值的加权系数之和为1，R/B像素点的像素值以及R/B像素点的4个次邻近R/B像素点的像素值的加权系数之和为0。步骤三、对于R/B像素点，将R/B像素点的像素值、R/B像素点的4个最邻近B/R像素点的像素值、4个次邻近R/B像素点的像素值加权平均，计算得到R/B像素点处理后的像素值的相应的B/R分量，其中，R/B像素点的4个最邻近B/R像素点的像素值的加权系数之和为1，R/B像素点的像素值以及R/B像素点的4个次邻近R/B像素点的像素值的加权系数之和为0。较优地，为了得到性能更好的图像，在求BAYER图像的R/B像素点的G分量时，R/ B像素点的4个最邻近G像素点的像素值的加权系数均为1/4，R/B像素点的像素值的加权系数为1/2，R/B像素点的4个次邻近R/B像素点的像素值的加权系数均为-1/8。求R/B像素点的B/R分量时，R/B像素点的4个最邻近B/R像素点的像素值的加权系数均为1/4，R/ B像素点的像素值的加权系数为1/2，R/B像素点的4个次邻近的R/B像素点的像素值的加权系数均为-1/8。图4为本发明的实施例中第一插值处理模板中各像素点的位置示意图，如图4所示，此模板中BAYER图像中绿色G像素点和蓝色B像素点交替出现行的第i行第j列的G像素点的像素值为Gy，保留该像素值作为该G像素点处理后的像素值的G分量即(igi, j = G..-
ui> J ‘该G像素点的像素值的R分量Gh, /B分量Gbi, j根据G像素点的像素值Gi,」、G像素点的4个最邻近G像素点的像素值Gg,」_i、GH, j+1、Gi+1, 和Gi+1, J+1,2个最邻近R/B像素点的像素值R^j和I^+i.j/Bi^和Bi^1以及与最邻近R/B像素点最邻近的2个次邻近G像素点的像素值Gi_2,」和Gi+2,/Gi,」_2和Gi, j+2加权平均得到，其中G像素点的像素值Gi,」，G像素点的4个最邻近G像素点的像素值Gg, ρ Gp1, j+1、Gi+1, 和Gi+1, J+1以及2个次邻近G像素点的像素值Gi^j和Gi^jAiiI2和Gi^2的加权系数之和为0，2个最邻近R/B像素点的像素值R^j和Ri+1,/Bi, w和Bij1的加权系数之和为1。更优地，为了使图像插值处理后的性能更优良，图像处理的效果更好，求G像素点的R/B分量Gh, j/(ibi,」时，G像素点的像素值Giij的加权系数为3/4，G像素点的4个最邻近G像素点的像素值Gp1,」_i、GH, j+1、Gi+1,」_i和Gi+1, J+1的加权系数以及2个次邻近G像素点的像素值Gi_2, j和Gi+2, /Gi, j_2和Gi, J+2的加权系数均为-1/8，2个最邻近R/B像素点的像素值 RH, j和氏+1，j/Bi, j-!和Bi, J+1的加权系数均为1/2。该G像素点插值处理后的像素值的R分量Gh j和B分量的具体计算式为
权利要求
1.一种BAYER图像的处理方法，其特征在于，该方法包括读取外部存储器中的BAYER图像的原始数据；对于图像中的R/G/B像素点，保留所述R/G/B像素点的像素值作为各像素点处理后的像素值的相应的R/G/B分量；对BAYER图像的原始数据进行插值处理，得到所述R/G/B像素点处理后的像素值的缺失分量，并将插值处理过程中重复读取的数据缓存到片上存储器；对经过插值处理后得到的RGB图像进行色彩空间变换，得到YUV图像；对YUV图像进行视频编码，得到视频编码信号。
2.根据权利要求1所述的BAYER图像的处理方法，其特征在于，采用5X5的插值处理模板对BAYER图像的原始数据进行插值处理。
3.根据权利要求2所述的BAYER图像的处理方法，其特征在于，对BAYER图像的原始数据进行插值处理，得到所述R/G/B像素点处理后的像素值的缺失分量具体包括如下步骤对于G像素点，将所述G像素点的像素值、所述G像素点的4个最邻近G像素点的像素值、2个最邻近R/B像素点的像素值以及与所述最邻近R/B像素点最邻近的2个次邻近G像素点的像素值加权平均，计算得到所述G像素点处理后的像素值的相应的R/B分量，其中， 所述G像素点的像素值、所述G像素点的4个最邻近G像素点的像素值以及2个次邻近G 像素点的像素值的加权系数之和为0，所述2个最邻近R/B像素点的像素值的加权系数之和为1 ；对于R/B像素点，将所述R/B像素点的像素值、所述R/B像素点的4个最邻近G像素点的像素值以及4个次邻近R/B像素点的像素值加权平均，计算得到所述R/B像素点处理后的像素值的相应的G分量，其中，所述R/B像素点的4个最邻近G像素点的像素值的加权系数之和为1，所述R/B像素点的像素值以及所述R/B像素点的4个次邻近R/B像素点的像素值的加权系数之和为0 ；对于R/B像素点，将所述R/B像素点的像素值、所述R/B像素点的4个最邻近B/R像素点的像素值、4个次邻近R/B像素点的像素值加权平均，计算得到所述R/B像素点处理后的像素值的相应的B/R分量，其中，所述R/B像素点的4个最邻近B/R像素点的像素值的加权系数之和为1，所述R/B像素点的像素值以及所述R/B像素点的4个次邻近的R/B像素点的像素值的加权系数之和为0。
4.根据权利要求3所述的BAYER图像的处理方法，其特征在于，求G像素点的R/B分量时，所述G像素点的像素值的加权系数为3/4，所述G像素点的4个最邻近G像素点的像素值的加权系数以及2个次邻近G像素点的像素值的加权系数均为-1/8，所述2个最邻近 R/B像素点的像素值的加权系数均为1/2。
5.根据权利要求3所述的BAYER图像的处理方法，其特征在于求R/B像素点的G分量时，所述R/B像素点的4个最邻近G像素点的像素值的加权系数均为1/4，所述R/B像素点的像素值的加权系数为1/2，所述R/B像素点的4个次邻近R/ B像素点的像素值的加权系数均为-1/8 ；求R/B像素点的B/R分量时，所述R/B像素点的4个最邻近B/R像素点的像素值的加权系数均为1/4，所述R/B像素点的像素值的加权系数为1/2，所述R/B像素点的4个次邻近R/B像素点的像素值的加权系数均为-1/8。
6.一种BAYER图像的处理装置，其特征在于，包括外部存储器、图像插值处理单元、片上存储器、图像转换器、视频编码器；所述外部存储器，用于存储CMOS传感器捕获的BAYER图像的原始数据；所述图像插值处理单元，用于读取所述外部存储器中存储的原始数据，对图像中的R/ G/B像素点，保留所述R/G/B像素点的像素值作为各像素点处理后的像素值的相应的R/G/ B分量，并对BAYER图像的原始数据通过插值处理模板进行插值处理，得到所述R/G/B像素点处理后的像素值的缺失分量；所述片上存储器，用于存储图像插值处理过程中需重复读取的数据；所述图像转换器，用于对经过插值处理后得到的RGB图像进行色彩空间变换，得到YUV 图像；所述视频编码器，用于对YUV图像进行编码，得到视频编码信号。
7.根据权利要求6所述的BAYER图像的处理装置，其特征在于，所述插值处理模板为 5X5的插值处理模板。
8.根据权利要求7所述的BAYER图像的处理装置，其特征在于，所述图像插值处理单元，用于采用所述插值处理模板对R/G/B像素点的缺失分量进行插值计算，计算方式具体为对于G像素点，将所述G像素点的像素值、所述G像素点的4个最邻近G像素点的像素值、2个最邻近R/B像素点的像素值以及与所述最邻近R/B像素点最邻近的2个次邻近G像素点的像素值加权平均，计算得到所述G像素点处理后的像素值的相应的R/B分量，其中， 所述G像素点的像素值、所述G像素点的4个最邻近G像素点的像素值以及2个次邻近G 像素点的像素值的加权系数之和为0，所述2个最邻近R/B像素点的像素值的加权系数之和为1 ；对于R/B像素点，将所述R/B像素点的像素值、所述R/B像素点的4个最邻近G像素点的像素值以及4个次邻近R/B像素点的像素值加权平均，计算得到所述R/B像素点处理后的像素值的相应的G分量，其中，所述R/B像素点的4个最邻近G像素点的像素值的加权系数之和为1，所述R/B像素点的像素值以及所述R/B像素点的4个次邻近R/B像素点的像素值的加权系数之和为0 ；对于R/B像素点，将所述R/B像素点的像素值、所述R/B像素点的4个最邻近B/R像素点的像素值、4个次邻近R/B像素点的像素值加权平均，计算得到所述R/B像素点处理后的像素值的相应的B/R分量，其中，所述R/B像素点的4个最邻近B/R像素点的像素值加权系数之和为1，所述R/B像素点的像素值以及所述R/B像素点的4个次邻近R/B像素点的像素值的加权系数之和为0。
9.根据权利要求6、7或8所述的BAYER图像的处理装置，其特征在于，所述图像转换器的输出端与所述视频编码器的输入端直接相连。
10.根据权利要求9所述的BAYER图像的处理装置，其特征在于，所述片上存储器的容量为400字节。
全文摘要
本发明公开了一种BAYER图像的处理方法及装置，该方法包括读取外部存储器中的BAYER图像的原始数据；对于图像中的红R/绿G/蓝B像素点，保留像素点的像素值作为各像素点处理后的像素值的相应的R/G/B分量；对BAYER图像的原始数据进行插值处理，得到各像素点处理后的像素值的缺失分量，并将插值处理过程中重复读取的数据缓存到片上存储器；将RGB图像变换成YUV图像；对YUV图像进行视频编码。该装置包括外部存储器、图像插值处理单元、片上存储器、图像转换器、视频编码器。本发明的方法和装置，在插值处理过程中只需将模板中重复读取的数据缓存到片上存储器，从而节省了片上存储器的容量，节约了插值处理芯片的成本。
文档编号H04N7/46GK102457722SQ20101051952
公开日2012年5月16日 申请日期2010年10月26日 优先权日2010年10月26日
发明者原顺, 李永盛 申请人:珠海全志科技股份有限公司