基于灰度和彩色两颗传感器的彩色图像采集装置制造方法
【专利摘要】本发明涉及图像传感器领域。为使得灰度和彩色图像传感器分别采集到同一帧的灰度图像与彩色图像，通过灰度图像采集的更加准确的亮度信息，校正彩色图像中并不真实的亮度信息，从而合成更加真实的彩色图像。为此，本发明采用的技术方案是，基于灰度和彩色两颗传感器的彩色图像采集装置，由灰度传感器、彩色传感器、加法器、彩色图像生成器构成，加法器用于将灰度传感器提供的亮度信息、彩色图像传感器采集的亮度信息进行权重相加，将加法器得到的亮度信息与彩色传感器得到的色度信息由彩色图像生成器转换到需要的色度空间生成新的彩色图像。本发明主要应用于图像传感器的设计制造。
【专利说明】基于灰度和彩色两颗传感器的彩色图像采集装置
【技术领域】
[0001]本发明涉及图像传感器领域，尤其是在复杂环境下，CCD、CMOS图像传感器成像的关键技术，用于实现灰度和彩色两颗图像传感器融合生成新图像的技术，具体讲，涉及基于灰度和彩色两颗传感器的彩色图像采集装置。
【背景技术】
[0002]常见的(XD、CMOS图像传感器分为灰度和彩色两种类型。两种传感器在成像技术上，具有各自的优势，灰度图像传感器只采集亮度信息，没有色度信息，所以采集的亮度信息与彩色传感器相比，更加真实、准确；彩色传感器采集的图像信息中则包含灰度传感器没有的色度信息。
[0003]随着成像系统应用环境的复杂化，及使用者对其性能的更高要求，图像传感器及图像处理技术在成像系统中受到人们越来越多的关注。彩色图像传感器采集的图像信息是由亮度信息和色度信息共同组成的。但是在低照度的情况下，采集图像传感器由于其采集的亮度信息不足，图像的成像质量会急速下降。在成像系统的实际应用中，由于成像环境的复杂性，图像传感器经常出现曝光不足或过曝光的情况，现在的成像系统大多具有自动曝光调节的功能，延长或缩短曝光时间虽然可以改善图像的亮度信息，但同时也会造成色度信息的不准确，对于图像的整体效果造成影响。
[0004]为了满足在复杂环境下，成像系统良好的成像效果，人们在此之前提出许多解决的方法。比较著名的有以下两种方式，一种是根据不同的光源情况，在彩色和黑白线路之间进行转换的技术，既采用2颗图像传感器(I颗彩色、I颗灰度)共用一组电路实时切换。目前，此类技术已经发展到采用单一图像传感器(彩色)设计，在白天或光源充足时为彩色摄像机，当夜晚降临或光源不足时，即利用数字电路将彩色信号消除掉，成为黑白图像。此种设计虽可以在晚上达到“低照度”的目的，但是白天却有图像模糊，色彩不自然的缺点。这种设计思想的提出，正是来源于人眼视觉成像的特点，人眼的杆状细胞只能感光，而锥状细胞既能感光，又能感色，在强光下，主要由锥状细胞起作用，视觉图像既有亮度又有色度；在弱光下，主要由杆状细胞起作用，只有灰度图像。但是人眼的成像精度和灵敏度是现在的图像传感器所不具备的。另一种方法是，出现4颗图像传感器的感光设计，其中，一颗图像传感器收集亮度信息，另外3颗分别收集红色、绿色、蓝色(R、G、B)三个色彩分量，通过4个传感器分别采集的亮度及色度信息，最终合成一幅彩色图像。4颗图像传感器的成像系统具有很强的理论依据，但是其实用性不强，多图像传感器的时钟配准技术是实现多传感器数据同步采集难以突破的瓶颈，如果时钟配准不能精确的实现，对于视频信息来说，多个图像传感器采集的不是同一帧数据，图像信息也就失去意义，同时4颗图像传感器采集的图像数据量与单传感器及2颗传感器相比，过于庞大，对于后续的图像处理及传输都造成困扰，不适合实时性的要求。
【发明内容】
[0005]本发明旨在解决克服现有技术的不足，通过2颗图像传感器的同步采集技术，使得灰度和彩色图像传感器分别采集到同一帧的灰度图像与彩色图像，通过灰度图像采集的更加准确的亮度信息，校正彩色图像中并不真实的亮度信息，从而合成更加真实的彩色图像。为此，本发明采用的技术方案是，基于灰度和彩色两颗传感器的彩色图像采集装置，由灰度传感器、彩色传感器、加法器、彩色图像生成器构成，加法器用于将灰度传感器提供的亮度信息、彩色图像传感器采集的亮度信息进行权重相加，将加法器得到的亮度信息与彩色传感器得到的色度信息由彩色图像生成器转换到需要的色度空间生成新的彩色图像。
[0006]还包括若干寄存器和ram存储器，用于根据如下公式进行插补运算，对缺少像素进行插补:
[0007]abed= (ab+cd+ac+bd) /4(1-1)
[0008]其中ab= (A+B) /2(1-2)
[0009]cd= (C+D) /2(1-3)
[0010]ac= (A+C) /2(1-4)
[0011]bd= (B+D) /2(1-5)
[0012]像素点A、B、C、D的信息,通过插值方式得到ab、ac、abed、bd、cd的信息，ab、ac、bd、cd分别表示像素点A、B间，A、C间，B、D间，C、D间的点的像素信息，像素点A、B、C、D中
心点的像素信息。
[0013]还包括色度空间转换器，用于将彩色传感器产生的RGB信息转化为YUV信息。
[0014]本发明的技术特点及效果:
[0015]与单颗图像传感器成像相比，采用灰度和彩色传感器进行数据采集的技术，利用灰度图像传感器在亮度信息的采集上更加丰富、准确的优势，克服单图像传感器在复杂环境下，尤其是低照度的情况下，亮度信息采集不够准确的不足，具有良好的成像效果。
[0016]与四颗传感器相比，采用灰度和亮度两颗图像传感器同样可以实现亮度信息与色度信息的准确采集，同时图像的数据量也没有明显的增长，尤其适合于对于实时性要求很高的成像系统。
【专利附图】
【附图说明】
[0017]图1灰度和彩色图像合成新的彩色图像。
[0018]图2分辨率不同的灰度和彩色图像合成新的彩色图像。
[0019]图3经过色彩空间转换的彩色图像和灰度图像合成新的彩色图像。
[0020]图4亮度信息进行权重相加图。
[0021]图5色度空间转换图。
[0022]图6插补运算流水线实现结构图。
[0023]图7对于原始图像数据进行插补示意图。
[0024]图中，1:分辨率相同的灰度传感器信息
[0025]2:分辨率相同且含有色度和亮度信息的彩色传感器信息
[0026]3:灰度传感器的亮度信息
[0027]4:彩色传感器的亮度信息
[0028]5:彩色传感器的色度信息[0029]6:通过加法器得到的新的亮度信息
[0030]7:色度信息
[0031]8:新的彩色信息
[0032]la, 2a:分辨率不同的灰度传感器信息和彩色传感器信息
[0033]2c:具有色度空间差异的彩色传感器信息
【具体实施方式】
[0034]本发明设计的目的是通过2颗图像传感器的同步采集技术，使得灰度和彩色图像传感器分别采集到同一帧的灰度图像与彩色图像，通过灰度图像采集的更加准确的亮度信息，校正彩色图像中并不真实的亮度信息，从而合成更加真实的彩色图像。
[0035]设计方案利用灰度图像传感器在低照度下能够采集到更加准确的亮度信息的优势，与彩色图像传感器采集到的色度信息相融合，得到更加真实的彩色图像，实现在复杂环境下良好的成像效果。
[0036]在整个成像系统的整体框架中，我们采用两颗图像传感器，其中，一颗采用灰度传感器，如图1、图2、图3中I所示，另一颗采用彩色传感器，如图1、图2、图3中2所示，两颗图像传感器对于场景进行同步采集，既两个图像传感器采集到的是同一帧的图像数据，将两个图像传感器采集到的图像数据进行分析。由于灰度图像传感器只采集亮度信息，所以从灰度图像传感器采集的图像·数据中只能提取出亮度信息，如图1、图2、图3中3所示；而彩色传感器既可以提取出亮度信息，如图1、图2、图3中4所示，又可以提取出色度信息，如图1、图2、图3中5所示。由于灰度图像传感器对于亮度信息的采集更加的准确，可以选择直接采用灰度传感器提供的亮度信息，也可以选择对灰度图像传感器和彩色图像传感器采集的亮度信息进行权重相加，如图4所示，通过一个加法器将灰度传感器与彩色传感器的亮度信息叠加，计算得到新的亮度信息，如图1、图2、图3中6。而色度信息采用彩色图像传感器采集的色度信息，如图1、图2、图3中7所示。将新的亮度信息与色度信息转换到需要的色度空间即可以生成新的彩色图像，如图1、图2、图3中8所示。
[0037]灰度传感器和彩色传感器可能存在分辨率的差异，如果2颗图像传感器存在分辨率的差异，在提取亮度和色度信息之前，通过对于原始图像数据进行插补，如图2中la、l、2a、2所示，通过插补提高图像的分辨率，使得两幅图像具有相同的分辨率，如图6、7所示，图像数据通过一行ram传输并进行插补运算，通过2插值方式对缺少像素进行插补
[0038]abed= (ab+cd+ac+bd) /4(1-1)
[0039]其中ab= (A+B) /2(1-2)
[0040]cd= (C+D) /2(1-3)
[0041]ac= (A+C) /2(1-4)
[0042]bd= (B+D) /2(1-5)
[0043]根据以上公式，对已有的4个像素点A、B、C、D的信息，通过插值方式，每次计算出三点ab、ac、abed的信息，依次逐行逐列进行插补，从而使分辨率提高4倍。
[0044]不同的彩色图像传感器具有色度空间的差异，如果彩色传感器采集的图像数据不为亮度信息和色度信息，通过色度空间转换的技术，如图3中2c、2、图5所示，实现了 RGB到YUV的色度空间转换，从采集的图像数据中提取出亮度和色度信息。以上两个技术，保证技术方案具有更好的适应性，对于传感器具有更低的要求。
[0045]在成像系统中，采用灰度和彩色图像传感器进行图像数据采集，灰度图像传感器采集亮度信息，彩色传感器采集的数据经过掩膜之后，得到亮度信息和色度信息，由灰度和彩色图像的亮度信息生成新的亮度信息，与已有的色度信息合成新的彩色图像，新的图像数据被存储或显示。
【权利要求】
1.一种基于灰度和彩色两颗传感器的彩色图像采集装置，其特征是，由灰度传感器、彩色传感器、加法器、彩色图像生成器构成，加法器用于将灰度传感器提供的亮度信息、彩色图像传感器采集的亮度信息进行权重相加，将加法器得到的亮度信息与彩色传感器得到的色度信息由彩色图像生成器转换到需要的色度空间生成新的彩色图像。
2.如权利要求1所述的基于灰度和彩色两颗传感器的彩色图像采集装置，其特征是，还包括若干寄存器和ram存储器，用于根据如下公式进行插补运算，对缺少像素进行插补: abed= (ab+cd+ac+bd) /4(1-1) 其中ab= (A+B) /2(1-2) cd= (C+D) /2(1-3) ac= (A+C) /2(1-4) bd= (B+D) /2(1-5) 像素点A、B、C、D的信息,通过插值方式得到ab、ac、abed、bd、cd的信息，ab、ac、bd、cd分别表示像素点A、B间，A、C间，B、D间，C、D间的点的像素信息，像素点A、B、C、D中心点的像素信息。`
3.如权利要求1所述的基于灰度和彩色两颗传感器的彩色图像采集装置，其特征是，还包括色度空间转换器，用于将彩色传感器产生的RGB信息转化为YUV信息。
【文档编号】H04N5/335GK103595982SQ201310553361
【公开日】2014年2月19日 申请日期:2013年11月7日 优先权日:2013年11月7日
【发明者】史再峰, 何春良, 徐江涛, 高静, 姚素英, 徐新楠, 聂凯明, 李渊清 申请人:天津大学