用于红绿蓝红外光传感器的图像处理装置及图像处理方法与流程

本发明涉及一种应用于红绿蓝红外光传感器的图像处理装置及其图像处理方法，尤其涉及一种并不会滤除对应所述红绿蓝红外光传感器的多个像素的每一像素的红外光成份的图像处理装置及其图像处理方法。

背景技术：

请参照图1，图1是说明红绿蓝红外光(RGB-IR)传感器中的像素排列成多个贝尔样式(bayer pattern)单元的示意图，其中每一贝尔样式单元包含一红光像素、一绿光像素、一蓝光像素和一红外光像素。例如，如图1所示，一贝尔样式单元102包含一红光像素1022、一绿光像素1024、一蓝光像素1026和一红外光像素1028，其中红光像素1022、绿光像素1024、蓝光像素1026和红外光像素1028分别产生相对应的传感值，其中所述多个贝尔样式单元中的其余红光像素、绿光像素、蓝光像素和红外光像素分别用R、G、B、IR标记。当所述红绿蓝红外光传感器不具有红外光滤波功能时，所述红绿蓝红外光传感器可根据所述每一贝尔样式单元的所述红光像素、所述绿光像素和所述蓝光像素的传感值，产生取代所述红外光像素的传感值的取代值。例如，所述红绿蓝红外光传感器根据所述红光像素、所述绿光像素和所述蓝光像素的传感值，产生一平均值以取代所述红外光像素的传感值。

因为所述红绿蓝红外光传感器不具有红外光滤波功能，所以由所述红光像素、所述绿光像素和所述蓝光像素的传感值的频谱可知，所述红光像素、所述绿光像素和所述蓝光像素的传感值仍然含有红外光成份，也就是说所述红绿蓝红外光传感器并无法滤掉所述红光像素、所述绿光像素和所述蓝光像素的传感值中的红外光成份。因此，虽然耦接于所述红绿蓝红外光传感器的图像处理装置可根据所述红光像素、所述绿光像素和所述蓝光像素的传感值，产生所述取代值以取代所述红外光像素的传感值，但因为所述红光像素、所 述绿光像素、所述蓝光像素的传感值和所述取代值仍然含有红外光成份，所以所述图像处理装置根据所述多个贝尔样式单元所产生的图像会具有低饱和度与失去一些色彩的缺点。

技术实现要素：

本发明的一实施例公开一种应用于红绿蓝红外光传感器的图像处理装置，其中所述红绿蓝红外光传感器中的像素排列成多个贝尔样式(bayer pattern)单元，且所述多个贝尔样式单元中的每一贝尔样式单元包含一红光像素、一绿光像素、一蓝光像素和一红外光像素。所述图像处理装置包含一内插单元和一色彩矫正(color correction)单元。所述内插单元是用于根据对应所述多个贝尔样式单元中预定位置的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值，产生所述每一贝尔样式单元的红光像素、绿光像素、蓝光像素和红外光像素中每一像素的红光、绿光、蓝光和红外光成份的内插值。所述色彩矫正单元是用于根据对应所述每一像素的一矫正矩阵和所述每一像素的红光、绿光、蓝光和红外光成份的内插值，产生所述每一像素的红光、绿光和蓝光成份的矫正值，其中所述矫正矩阵是和所述每一像素的红光、绿光、蓝光和红外光成份的内插值和对应所述每一像素的红光、绿光和蓝光成份的目标值有关。

本发明的另一实施例公开一种应用于红绿蓝红外光传感器的图像处理方法，其中所述红绿蓝红外光传感器中的像素排列成多个贝尔样式单元，所述多个贝尔样式单元中的每一贝尔样式单元包含一红光像素、一绿光像素、一蓝光像素和一红外光像素，以及一应用于所述图像处理方法的图像处理装置包含一内插单元和一色彩矫正单元。所述图像处理方法包含所述内插单元根据对应所述多个贝尔样式单元中预定位置的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值，产生所述每一贝尔样式单元中的每一像素的红光、绿光、蓝光和红外光成份的内插值；所述色彩矫正单元根据对应所述每一像素的一矫正矩阵和所述每一像素的红光、绿光、蓝光和红外光成份的内插值，产生所述每一像素的红光、绿光和蓝光成份的矫正值，其中所述矫正矩阵是和所述每一像素的红光、绿光、蓝光和红外光成份的内插值和对应所述每一 像素的红光、绿光和蓝光成份的目标值有关。

本发明公开一种应用于红绿蓝红外光传感器的图像处理装置及其图像处理方法。所述图像处理装置与所述图像处理方法是利用一原始数据处理单元分别对所述红绿蓝红外光传感器的多个贝尔样式单元中的每一贝尔样式单元的红光像素、绿光像素、蓝光像素和红外光像素所感测的传感值执行一第一色彩处理，以产生分别对应所述每一贝尔样式单元的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值，利用一内插单元根据对应所述多个贝尔样式单元中预定位置的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值，产生所述每一贝尔样式单元中的每一像素的红光、绿光、蓝光和红外光成份的内插值，利用一处理单元对所述每一像素的红光、绿光、蓝光和红外光成份的内插值执行一第二色彩处理，以产生对应所述每一像素的处理过的内插值，以及利用一色彩矫正单元根据对应所述每一像素的矫正矩阵和所述处理过的内插值，产生所述每一像素的红光、绿光和蓝光成份的矫正值。由于所述原始数据处理单元、所述内插单元、所述处理单元和所述色彩矫正单元都不会滤除所述每一像素的红外光成份，所以本发明所公开的图像处理装置根据所述多个贝尔样式单元所产生的图像不会具有低饱和度与失去一些色彩的缺点。

附图说明

图1是说明红绿蓝红外光传感器中的像素排列成多个贝尔样式单元的示意图。

图2是本发明第一实施例公开一种应用于红绿蓝红外光传感器的图像处理装置的示意图。

图3是说明内插单元根据对应多个贝尔样式单元中预定位置的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值，产生每一贝尔样式单元的每一像素的红光、绿光、蓝光和红外光成份的内插值的示意图。

图4是本发明第二实施例公开一种应用于红绿蓝红外光传感器的图像处理方法的流程图。

其中，附图标记说明如下：

102、220 贝尔样式单元

1022、2202、302、304、306、308、 红光像素

330、R

1024、2204、316、320、322、324、 绿光像素

336、G

1026、2206、310、312、314、332、 蓝光像素

334、B

1028、2208、318、326、328、338、 红外光像素

340、IR

200 图像处理装置

202 原始数据处理单元

204 内插单元

206 处理单元

208 色彩矫正单元

210 RGB处理单元或YUV处理单元

212 IR处理单元

R1、G1、B1、IR1、R2、G2、B2、 内插值

IR2、R3、G3、B3、IR3、R4、G4、

B4、IR4

R1P、G1P、B1P、IR1P、R2P、G2P、 处理过的内插值

B2P、IR2P、R3P、G3P、B3P、IR3P、

R4P、G4P、B4P、IR4P

RS、GS、BS、IRS 传感值

RGL、GGL、BGL、IRGL 灰阶值

400-410 步骤

具体实施方式

请参照图2，图2是本发明一第一实施例公开一种应用于红绿蓝红外光传感器的图像处理装置200的示意图，其中图像处理装置200包含一原始数据处理单元202、一内插单元204、一处理单元206和一色彩矫正(color correction)单元208，原始数据处理单元202耦接于内插单元204，处理单元206耦接于内插单元204和色彩矫正单元208之间，以及所述红绿蓝红外光传感器不具有红外光滤波功能。另外，所述红绿蓝红外光传感器中的像素排列成多个贝尔样式单元，且每一贝尔样式单元包含一红光像素、一绿光像素、一蓝光像素和一红外光像素。如图2所示，当一贝尔样式单元220中的一红光像素2202、一绿光像素2204、一蓝光像素2206和一红外光像素2208分别产生传感值RS、GS、BS、IRS时，原始数据处理单元202是用于分别对传感值RS、GS、BS、IRS执行一第一色彩处理，以产生分别对应红光像素2202、绿光像素2204、蓝光像素2206和红外光像素2208的灰阶值RGL、GGL、BGL、IRGL，其中所述第一色彩处理包含一色彩偏移处理、一色彩增益处理、一色彩去噪声处理和一镜头校正(lens shading correction)处理中的至少一个。当原始数据处理单元202产生灰阶值RGL、GGL、BGL、IRGL后，内插单元204即可根据所述多个贝尔样式单元中预定位置的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值，产生红光像素2202、绿光像素2204、蓝光像素2206和红外光像素2208中每一像素的红光、绿光、蓝光和红外光成份的内插值。例如，内插单元204可根据所述多个贝尔样式单元中与红光像素2202、绿光像素2204、蓝光像素2206和红外光像素2208中每一像素相邻或将其包围的像素的灰阶值产生内插值；或依据红光像素2202、绿光像素2204、蓝光像素2206和红外光像素2208中每一像素和与所述每一像素相邻或将其包围的一个或多个像素的灰阶值，产生红光像素2202、绿光像素2204、蓝光像素2206和红外光像素2208中每一像素的红光、绿光、蓝光和红外光成份的内插值。举例而言，如图3所示，内插单元204可根据红光像素302、304、306、308、2202的灰阶值，产生红光像素2202的红光成份的内插值R1，可根据蓝光像素310、2206、312、314的灰阶值，产生红光像素2202的蓝光成份的内插值B1，可根据绿光像素2204、316的灰阶值，产生红光像素2202的绿光成份的内插值G1，以及可根据红外光像素2208、318的灰阶值，产生红光像素2202的红外光成份的内插值IR1；内插单元204可根据红光像素304、2202的灰阶值，产生绿光像素2204的红光成份 的内插值R2，可根据蓝光像素310、2206的灰阶值，产生绿光像素2204的蓝光成份的内插值B2，可根据绿光像素320、322、324、316、2204的灰阶值，产生绿光像素2204的绿光成份的内插值G2，以及可根据红外光像素318、326、328、2208的灰阶值，产生绿光像素2204的红外光成份的内插值IR2；内插单元204可根据红光像素2202、304、330、306的灰阶值，产生蓝光像素2206的红光成份的内插值R3，可根据蓝光像素310、332、334、312、2206的灰阶值，产生蓝光像素2206的蓝光成份的内插值B3，可根据绿光像素324、2204的灰阶值，产生蓝光像素2206的绿光成份的内插值G3，以及可根据红外光像素328、2208的灰阶值，产生蓝光像素2206的红外光成份的内插值IR3；内插单元204可根据红光像素2202、306的灰阶值，产生红外光像素2208的红光成份的内插值R4，可根据蓝光像素312、2206的灰阶值，产生红外光像素2208的蓝光成份的内插值B4，可根据绿光像素324、336、316、2204的灰阶值，产生红外光像素2208的绿光成份的内插值G4，以及可根据红外光像素318、328、338、340、2208的灰阶值，产生红外光像素2208的红外光成份的内插值IR4。但本发明并不受限于上述内插单元204产生红光像素2202、绿光像素2204、蓝光像素2206和红外光像素2208的红光、蓝光、绿光和红外光成份的内插值的方法。

如图2所示，当内插单元204产生红光像素2202的红光、蓝光、绿光和红外光成份的内插值R1/G1/B1/IR1、绿光像素2204的红光、蓝光、绿光和红外光成份的内插值R2/G2/B2/IR2、蓝光像素2206的红光、蓝光、绿光和红外光成份的内插值R3/G3/B3/IR3和红外光像素2208的红光、蓝光、绿光和红外光成份的内插值R4/G4/B4/IR4后，处理单元206即可对内插值R1/G1/B1/IR1、R2/G2/B2/IR2、R3/G3/B3/IR3、R4/G4/B4/IR4执行一第二色彩处理，以产生对应红光像素2202、绿光像素2204、蓝光像素2206和红外光像素2208中的每一像素的处理过的内插值(也就是说对应红光像素2202的处理过的内插值R1P/G1P/B1P/IR1P、对应绿光像素2204的处理过的内插值R2P/G2P/B2P/IR2P、对应蓝光像素2206的处理过的内插值R3P/G3P/B3P/IR3P、对应红外光像素2208的处理过的内插值R4P/G4P/B4P/IR4P)，其中所述第二色彩处理包含一色彩偏移处理、一色彩增益处理、一色彩去噪声处理和一镜头校正处理的至少一个。

在处理单元206产生对应红光像素2202的处理过的内插值R1P/G1P/B1P/IR1P后，色彩矫正单元208可根据对应红光像素2202的处理过的内插值R1P/G1P/B1P/IR1P，红光像素2202的红光、绿光和蓝光成份的目标值和式(1)，决定对应红光像素2202的矫正矩阵：

如式(1)所示，因为红光像素2202的红光、绿光和蓝光成份的目标值RT1/GT1/BT1及对应红光像素2202的处理过的内插值R1P/G1P/B1P/IR1P为已知，所以对应红光像素2202的矫正矩阵即可通过式(1)决定，其中R11、R12、R13、R14、R15、R21、R22、R23、R24、R25、R31、R32、R33、R34、R35是对应红光像素2202的矫正矩阵内的系数。因为所述红绿蓝红外光传感器包含所述多个贝尔样式单元，所以对应红光像素2202的矫正矩阵也适用于所述红绿蓝红外光传感器的其他贝尔样式单元中的红光像素。也就是说色彩矫正单元208可根据对应红光像素2202的矫正矩阵所述红绿蓝红外光传感器的一贝尔样式单元中对应红光像素的处理过的内插值RP/GP/BP和式(2)，产生所述贝尔样式单元中的红光像素的红光、绿光、蓝光和红外光成份的矫正值RC/GC/BC：

另外，色彩矫正单元208可根据上述相同操作原理产生对应绿光像素2204、蓝光像素2206和红外光像素2208中的每一像素的矫正矩阵，在此不再赘述。另外，色彩矫正单元208产生所述贝尔样式单元中红光像素、绿光像素、蓝光像素和红外光像素的红光、绿光、蓝光和红外光成份的矫正值后，所述贝尔样式单元中红光像素、绿光像素、蓝光像素和红外光像素的红光、绿光、蓝光和红外光成份的矫正值即可传送至一RGB处理单元或YUV处理单元210处理，以及所述贝尔样式单元中对应红光像素、绿光像素、蓝光像素和红外光像素的红外光成份的处理过的内插值可传送至一IR处理单元212处理。

另外，在本发明的另一实施例中，在处理单元206产生对应红光像素2202的处理过的内插值R1P/G1P/B1P/IR1P后，色彩矫正单元208可根据对应红光像素2202的处理过的内插值R1P/G1P/B1P/IR1P，红光像素2202的红光、绿光和蓝光成份的目标值RT1/GT1/BT1和式(3)，决定对应红光像素2202的矫正矩阵：

如式(3)所示，R11、R12、R13、R14、R15、R16、R17、R18、R21、R22、R23、R24、R25、R26、R27、R28、R31、R32、R33、R34、R35、R36、R37、R38是对应红光像素2202的矫正矩阵内的系数。另外，本发明并不受限于式(1) 和式(3)所示的对应红光像素2202的矫正矩阵，也就是说本发明也可利用其他方程序通过红光像素2202的红光、绿光和蓝光成份的目标值RT1/GT1/BT1以及对应红光像素2202的处理过的内插值R1P/G1P/B1P/IR1P产生对应红光像素2202的矫正矩阵。

请参照图2-4，图4是本发明一第二实施例公开一种应用于红绿蓝红外光传感器的图像处理方法的流程图。图4的图像处理方法是利用图2的图像处理装置200说明，详细步骤如下：

步骤400：开始；

步骤402：原始数据处理单元202分别对所述多个贝尔样式单元中每一贝尔样式单元的红光像素、绿光像素、蓝光像素和红外光像素所感测的传感值执行所述第一色彩处理，以产生分别对应所述每一贝尔样式单元的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值；

步骤404：内插单元204根据对应所述多个贝尔样式单元中预定位置的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值，产生所述每一贝尔样式单元的红光像素、绿光像素、蓝光像素和红外光像素中每一像素的红光、绿光、蓝光和红外光成份的内插值；

步骤406：处理单元206对所述每一像素的红光、绿光、蓝光和红外光成份的内插值执行所述第二色彩处理，以产生对应所述每一像素的处理过的内插值；

步骤408：色彩矫正单元208根据对应所述每一像素的矫正矩阵和所述每一像素的红光、绿光、蓝光和红外光成份的内插值，产生所述每一像素的红光、绿光和蓝光成份的矫正值；

步骤410：结束。

在步骤402中，如图2所示，当贝尔样式单元220中的红光像素2202、绿光 像素2204、蓝光像素2206和红外光像素2208分别产生传感值RS、GS、BS、IRS时，原始数据处理单元202是用于分别对传感值RS、GS、BS、IRS执行所述第一色彩处理，以产生分别对应红光像素2202、绿光像素2204、蓝光像素2206和红外光像素2208的灰阶值RGL、GGL、BGL、IRGL。在步骤404中，当原始数据处理单元202产生灰阶值RGL、GGL、BGL、IRGL后，内插单元204即可根据所述多个贝尔样式单元中预定位置的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值，产生红光像素2202、绿光像素2204、蓝光像素2206和红外光像素2208中每一像素的红光、绿光、蓝光和红外光成份的内插值。例如，如图3所示，内插单元204可根据红光像素302、304、306、308、2202的灰阶值，产生红光像素2202的红光成份的内插值R1，可根据蓝光像素310、2206、312、314的灰阶值，产生红光像素2202的蓝光成份的内插值B1，可根据绿光像素2204、316的灰阶值，产生红光像素2202的绿光成份的内插值G1，以及可根据红外光像素2208、318的灰阶值，产生红光像素2202的红外光成份的内插值IR1。另外，内插单元204可根据产生红光像素2202的红光、蓝光、绿光和红外光成份的内插值R1/G1/B1/IR1的相同原理，产生绿光像素2204的红光、蓝光、绿光和红外光成份的内插值R2/G2/B2/IR2、蓝光像素2206的红光、蓝光、绿光和红外光成份的内插值R3/G3/B3/IR3和红外光像素2208的红光、蓝光、绿光和红外光成份的内插值R4/G4/B4/IR4。

在步骤406中，在内插单元204产生内插值R1/G1/B1/IR1、R2/G2/B2/IR2、R3/G3/B3/IR3、R4/G4/B4/IR4后，处理单元206即可对内插值R1/G1/B1/IR1、R2/G2/B2/IR2、R3/G3/B3/IR3、R4/G4/B4/IR4执行所述第二色彩处理，以产生对应红光像素2202、绿光像素2204、蓝光像素2206和红外光像素2208中的每一像素的处理过的内插值(也就是说对应红光像素2202的处理过的内插值R1P/G1P/B1P/IR1P、对应绿光像素2204的处理过的内插值R2P/G2P/B2P/IR2P、对应蓝光像素2206的处理过的内插值R3P/G3P/B3P/IR3P、对应红外光像素2208的处理过的内插值R4P/G4P/B4P/IR4P)。

在步骤408中，在处理单元206产生对应红光像素2202的处理过的内插值 R1P/G1P/B1P/IR1P后，色彩矫正单元208可根据对应红光像素2202的处理过的内插值R1P/G1P/B1P/IR1P，红光像素2202的红光、绿光和蓝光成份的目标值RT1/GT1/BT1和式(1)，决定对应红光像素2202的矫正矩阵。因为所述红绿蓝红外光传感器包含所述多个贝尔样式单元，所以对应红光像素2202的矫正矩阵也适用于所述红绿蓝红外光传感器的其他贝尔样式单元中的红光像素。

另外，色彩矫正单元208产生所述每一贝尔样式单元中红光像素、绿光像素、蓝光像素和红外光像素的红光、绿光、蓝光和红外光成份的矫正值后，所述每一贝尔样式单元中红光像素、绿光像素、蓝光像素和红外光像素的红光、绿光、蓝光和红外光成份的矫正值即可传送至后续RGB处理单元或YUV处理单元210处理，以及所述每一贝尔样式单元中对应红光像素、绿光像素、蓝光像素和红外光像素的红外光成份的处理过的内插值可传送至后续IR处理单元212处理。

综上所述，因为本发明是利用原始数据处理单元分别对所述每一贝尔样式单元的红光像素、绿光像素、蓝光像素和红外光像素所感测的传感值执行所述第一色彩处理，以产生分别对应所述每一贝尔样式单元的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值，利用内插单元根据对应所述多个贝尔样式单元中预定位置的红光像素、绿光像素、蓝光像素和红外光像素的灰阶值，产生所述每一贝尔样式单元的红光像素、绿光像素、蓝光像素和红外光像素中每一像素的红光、绿光、蓝光和红外光成份的内插值，利用处理单元对所述每一像素的红光、绿光、蓝光和红外光成份的内插值执行所述第二色彩处理，以产生对应所述每一像素的处理过的内插值，以及利用色彩矫正单元根据对应所述每一像素的矫正矩阵和所述处理过的内插值，产生所述每一像素的红光、绿光和蓝光成份的矫正值。由于原始数据处理单元、内插单元、处理单元和色彩矫正单元都会处理所述每一像素的红外光成份，所以本发明所公开的图像处理装置根据所述多个贝尔样式单元所产生的图像不会 具有低饱和度与失去一些色彩的缺点。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。