智能变焦图像传感器的制作方法

本发明涉及图像处理技术，尤其涉及一种智能变焦以提高图像视觉，同时提升像素分辨率及信噪比的图像传感器。

背景技术：

cmos图像传感器应用于各领域，例如监控，安防，智能交通等多种应用。随着技术的发展和应用需求，图像传感器的尺寸越来越小，逐步向高集成度和小型化方向发展。随着像素尺寸变小，感光部件的光通量也会相应减少。在设计中，通常会采用对感光像素进行组合(binning)的方式以提高光感应灵敏度，但这种方式图像传感器输出像素的分辨率会降低。黑白图像传感器具有好的分辨率及信噪比，提高输出像素的分辨率及信噪比以进一步改善彩色图像传感器的性能。

在多种应用中，例如安防监控，行人或车辆监控系统，实时目标检测及跟踪非常必要。现有的计算机视觉算法都在后端芯片进行处理，图像传感器输出高分辨率视频图像。众所周知，近年来图像传感器的像素数量不断增加，从vga，1mp，2mp到8mp，12mp等。随着技术的发展及产品更新，会有超过50mp的图像传感器应用于安防领域的特定目的。若图像传感器能够输出低分辨率的全景视频图像以及高分辨率的仅包含目标roi(regionofinterest，感兴趣区域)，会节省整个监控或安防系统的传输带宽和设计功耗，也会进一步降低后端芯片处理的复杂度。

本发明基于上述各种问题，提出一种新的技术实现方案，能有效改善现有图像传感器的分辨率和信噪比，同时满足图像传感器输出图像的多应用的需求。

技术实现要素：

本发明目的提供一种智能变焦图像传感器，所述图像传感器包括：

像素阵列，所述像素阵列由多个按行和列排列的像素单元构成，输出像素信号；

彩色滤光器阵列，设置于所述像素单元上方并光学耦合至所述像素单元；及

外围电路，连接至所述像素阵列，对所述像素阵列输出的像素信号进行读取控制及处理，所述外围电路包括一图像处理单元；

所述图像处理单元包括一智能变焦单元，其控制及处理一个或多个目标roi；

所述图像传感器通过不同的mipi(mobileindustryprocessorinterface，移动行业处理器接口)虚拟通道同时输出两路视频图像信号，其一路是低分辨率全景视频图像；另一路是仅包含一个或多个目标roi的高分辨率视频图像；所输出的高分辨率视频图像和低分辨率全景视频图像的输出帧率可以相同，也可以根据应用设定为不同；

所述图像传感器通过像素组合方式输出低分辨率全景视频图像；所输出的一个或多个目标roi为不采用像素组合方式输出的高分辨率视频图像；所述一个或多个目标roi为固定位置的roi或非固定位置的roi；

所述智能变焦单元自动剪裁及定义一个或多个目标roi比例和尺寸；

所述智能变焦单元还包括跟踪，检测，识别所述一个或多个目标roi，包括跟踪或检测一个或多个目标roi的位置；

所述图像传感器输出的包含一个或多个目标roi的高分辨率视频图像的像素尺寸sroi＝n²×mroi，其中，n为智能变焦倍数，mroi为所述低分辨率全景视频图像中相应roi的像素尺寸；

可选的，所述彩色滤光器阵列(cfa，colorfilterarray)包括r(红)、g(绿)、b(蓝)滤光器，所述彩色滤光器阵列包括多个平铺设置的最小重复单元，每个所述最小重复单元为2×2拜尔格式；

可选的，所述多个平铺设置的最小重复单元以6×6格式设置，其输出组合像素为拜尔格式阵列中四个相同像素的均值，其输出的低分辨率全景视频图像像素尺寸是高分辨视频图像输出的相应图像的像素尺寸的1/9，智能变焦倍数n＝3；

可选的，所述多个平铺设置的最小重复单元以8×8格式设置，其输出的低分辨率全景视频图像像素尺寸是高分辨率视频图像输出的相应图像的像素尺寸的1/16，智能变焦倍数n＝4；

可选的，所述彩色滤光器阵列包括红r、g、b滤光器及透明滤光器c(clearfilter)，所述彩色滤光器阵列包括多个平铺设置的最小重复单元，每个所述最小重复单元分别包括1个b/g/g/r滤光器，其余为透明滤光器c；

可选的，每个所述最小重复单元以6×6格式设置，所述1个b/g/g/r分别对称设置于每个所述最小重复单元；b/g/g/r像素分别与其四周8个白像素(clearpixel)的均值做相关性处理，其分辨率及噪声得到提高，输出的像素尺寸是原相应像素尺寸的1/9，智能变焦倍数n＝3；

可选的，每个所述最小重复单元以8×8格式设置，所述b/g/g/r像素分别与其四周15个白像素的均值做相关性处理，其分辨率及噪声得到提高，输出的像素尺寸是原相应像素尺寸的1/16，智能变焦倍数n＝4；

可选的，每个所述最小重复单元以8×8格式设置，其包括2个b/g/g/r，其余为透明滤光器c；b/g/g/r像素分别为2个相应b/g/g/r像素的均值，与其相应的像素单元位置中14个白像素的均值做相关性处理；其分辨率及噪声得到提高，输出的像素尺寸是原相应像素尺寸的1/16，智能变焦倍数n＝4；

可选的，每个所述最小重复单元以8×8格式设置，其包括3个b/g/g/r，其余为透明滤光器c；b/g/g/r像素分别为3个相应b/g/g/r像素的均值，与其相应的像素单元位置中13个白像素的均值做相关性处理；其分辨率及噪声得到提高，输出的像素尺寸是原相应像素尺寸的1/16，智能变焦倍数n＝4；

可选的，每个所述最小重复单元以8×8格式设置，其包括4个r/g/g/b，其余为透明滤光器c；b/g/g/r像素分别为4个相应b/g/g/r像素的均值，与其相应的像素单元位置中12个白像素的均值做相关性处理；其分辨率及噪声得到提高，输出的像素尺寸是原相应像素尺寸的1/16，智能变焦倍数n＝4。

本发明提出的智能变焦图像传感器，同时输出两路视频图像信号低分辨率的全景视频图像和高分辨率的视频图像，输出的高分辨率视频图像为一个或多个目标roi，高分辨率目标roi图像多倍智能变焦于所述低分辨率视频图像的相应roi。本发明方案能有效提升图像传感器输出图像视觉，同时可实现仅对图像中roi进行跟踪识别或处理的应用需求，能有效降低后端系统处理的复杂度。本发明同时提供多种彩色滤光器阵列设置格式，采用插入透明滤光器，增设白像素的实现方式有效提高了图像传感器的分辨率及snr(signaltonoiseratio，信噪比)。

附图说明

图1为本发明提出的智能变焦图像传感器的基本结构框图；

图2a～2b为本发明图像传感器cfa以2×2拜尔格式的实施例一示意图；

图3a～3b为本发明图像传感器cfa设置格式实施例二示意图；

图4a～4f为本发明图像传感器cfa设置格式实施例三示意图；

图5a～5b为本发明图像传感器cfa设置格式实施例四示意图；及

图6a～6c为本发明图像传感器cfa设置格式实施例五示意图。

具体实施方式

以下结合各个附图对本发明提出的内容进行详细的实施说明。图1为本发明图像传感器基本结构示意图，如图1中所示，图像传感器100包括像素阵列110，以及对像素阵列110输出的像素信号进行控制和处理的外围电路。彩色滤光器阵列cfa设置于像素阵列110中的像素单元上，并光学耦合至像素阵列110中的每一像素单元。外围电路包括行驱动单元120、列驱动单元130、逻辑控制单元140、列a/d转换单元150及图像处理单元160。图像处理单元160内设置一智能变焦单元170。智能变焦单元170控制和处理一个或多个目标roi，自动裁剪(crop)及定义一个或多个目标roi比例和尺寸，包括跟踪，检测，以及识别一个或多个目标roi，其包括跟踪，检测或识别一个或多个目标roi的位置。智能变焦单元170处理一个或多个目标roi包括图像中固定位置的roi或者是非固定位置的roi，例如图像画面中的一个或多个目标行人或车辆。

图像传感器100包括两路输出，其中一路输出1输出低分辨率的全景视频图像，另一路输出2输出仅包含高分辨率的目标roi图像，例如仅输出目标行人或车辆的图像画面，可以为一个或多个目标roi。图像传感器100可通过不同的mipi虚拟通道输出低分辨率全景视频图像和高分辨率目标roi两路视频图像，两路视频图像的输出帧率可以相同，也可以不同，可以根据具体应用设定。图像传感器100采用像素组合的方式输出低分辨率全景视频图像。图像传感器100输出的一个或多个roi的高分辨率视频图像是未经过像素组合直接输出的图像数据。本发明各实施例中，可实现高分辨率视频图像roi的像素尺寸sroi＝n²×mroi，n为智能变焦倍数，mroi为低分辨率的全景视频图像中相应roi的像素尺寸。

图像传感器100可以根据应用需求设置有不同格式的彩色滤光器阵列。以下结合彩色滤光器阵列各实施例及图示，对本发明提出智能变焦图像传感器进行详细的说明。

图2a和2b为本发明图像传感器cfa每个最小重复单元为2×2拜尔格式的实施例，图2a中所示为采用6×6格式设置，其中一路输出低分辨率图像像素为pb＝(pb1+pb3+pb13+pb15)/4，pg＝(pg4+pg6+pg31+pg3)/4，pg＝

(pg19+pg21+pg16+pg18)/4，pr＝(pr22+pr24+pr34+pr36)/4。上述像素组合后输出的像素尺寸是原像素尺寸的1/9，图像传感器另一路输出目标roi时根据设定不对相应roi像素进行组合，因此本实施例中图像传感器所输出的高分辨率目标roi图像相对于低分辨率视频图像中相应roi放大了3倍，图像传感器的roi输出视觉上实现了智能变焦3倍的图像效果。图2b中cfa设置格式为8×8，其像素输出为pb＝(pb1*9+pb3*12+pb5*3+pb17*12+pb19*16+pb21*4+pb33*3+pb35*4+pb37*1)/64，pg＝(pg4*3+pg6*12+pg8*9+pg20*4+pg22*16+

pg24*12+pg36*1+pg38*4+pg40*3)/64，pg＝(pg25*3+pg27*4+pg29*1+pg41*12+pg43*16+pg45*4+pg57*9+pg59*12+pg61*3)/64，及

pr＝(pr28*1+pr30*4+pr32*3+pr44*4+pr46*16+pr48*12+pr60*3+pr62*12+pr64*9)/64，本实施例中图像传感器所输出的高分辨率目标roi图像相对于像素组合后输出的低分辨率输出的相应roi图像放大了4倍，图像传感器可实现智能变焦4倍的图像输出效果。

图3a～3b为本发明图像传感器cfa格式设置实施例二，在本实施例中，彩色滤光器阵列包括红r、g、b滤光器及透明滤光器c，彩色滤光器阵列包括多个平铺设置的最小重复单元，每个最小重复单元分别包括1个b/g/g/r滤光器，其余为透明滤光器c。彩色滤光器阵列中加入透明滤光器c目的是在像素单元中加入白像素(clearpixel)，由于白像素的分辨率高且信噪比好，可有效改善输出像素的分辨率及snr。如图3a中所示，每个最小重复单元以6×6格式设置，b/g/g/r分别对称设置在最小重复单元中。图像传感器输出的低分辨率视频图像的像素为各像素与其四周8个白像素均值进行相关处理。例如，b像素的相关白像素为pc＝(pc1+pc2+pc3+pc7+pc9+pc13+pc14+pc15)/8，其余像素的计算和实现方式相同。其像素组合后的像素尺寸为原像素尺寸的1/3*1/3＝1/9，图像传感器另一路高分辨率roi图像输出为像素单元中像素不设定组合的方式，因此能实现其输出的高分辨率roi为低分辨率输出图像中相应roi智能变焦3倍的图像输出效果。图3b为每个最小重复单元以8×8格式设置，与图3a中方案的实现方式相同，不同是各像素周围白像素的数量增加到15个，各像素分别与其周围的15个白像素均值进行相关处理，以进一步提高输出像素的分辨率及信噪比。在图3b给出的8×8格式设置方案中，能实现输出的高分辨率roi为低分辨率输出图像中相应roi智能变焦4倍的图像输出效果。

图4a～4f为本发明图像传感器cfa格式设置实施例三，在本实施例中，每个最小重复单元分别包括2个b/g/g/r滤光器，其余为透明滤光器c。如图4a中所示，其输出的低分辨率图像像素为pb＝(pb10+pb28)/2，pg＝(pg14+pg32)/2，pg＝(pg42+pg60)/2，pr＝(pr46+pr64)/2。对于b像素，其相关的白像素pc＝(pc1+pc2+pc3+pc4+pc9+pc11+pc12+pc17+pc18+pc19+pc20+pc25+pc26+pc27)/14，其余像素计算方式相同。其输出的低分辨率视频图像将各像素与其相应的白像素值进行相关处理，以提高输出的像素分辨率及噪声。另一路高分辨率的roi视频图像设定为不对其像素单元中的像素组合设置的方式。本实施例中图像传感器所输出的高分辨率目标roi图像相对于低分辨率输出中相应roi图像放大了4倍，因此图像传感器实现智能变焦4倍的图像输出效果。本实施例中cfa其他设置格式，每个最小重复单元分别包括2个b/g/g/r滤光器，仅设置位置不同，其具体设置格式分别如图4b、4c、4d、4e及4f中所示。其各图示中具体的实现方式与图4a实施例中相同，不再对其每一附图分别进行详述，但每一附图中所示例的cfa设置格式均在本发明保护的内容范围之列。

图5a和5b为本发明图像传感器cfa格式设置实施例四，本实施例中，每个最小重复单元分别包括3个b/g/g/r滤光器，其余为透明滤光器c。如图5a中所示，图像传感器一路输出的低分辨率图像像素为pb＝(pb2+pb17+pb19)/3，pg＝(pg6+pg21+pg23)/3，pg＝(pg34+pg49+pg51)/3，pr＝(pr38+pr53+pr55)/3。对于b像素，其相关的白像素为周围13个白像素的均值，即pc＝

(pc1+pc3+pc4+pc9+pc10+pc11+pc12+pc18+pc20+pc25+pc26+pc27+pc28)/13，其余像素的计算方式相同。基于前述实施例类同的实现方式及相同的实现目的，本实施例中图像传感器所输出的高分辨率目标roi图像相对于低分辨率输出中相应roi图像放大了4倍，图像传感器能够实现智能变焦4倍的图像输出效果。

图6a～6c为本发明图像传感器cfa格式设置实施例四，本实施例中，每个最小重复单元分别包括4个b/g/g/r滤光器，其余为透明滤光器c。如图6a中所示，其图像传感器一路输出的低分辨率图像像素为pb＝(pb3+pb9+pb20+pb26)/4，其余像素的计算方式相同，不再另行描述。其周围插入的白像素的计算方式为pc＝(pc1+pc2+pc4+pc10+pc11+pc12+pc17+pc18+pc19+pc25+pc27+pc28)/12，其余像素相应的白像素计算方式相同。基于前述实施例类同的实现方式及相同的实现目的，本实施例中图像传感器所输出的高分辨率目标roi图像相对于低分辨率输出中相应roi图像放大了4倍，因此图像传感器能实现智能变焦4倍的图像输出效果。

本发明给出的上述各实施例中的图像传感器通过对像素进行组合及设置不同格式的cfa能得到所输出图像从视觉上实现智能变焦多倍的功能，智能变焦单元自动剪裁并输出目标roi，可同时输出低分辨全景视频图像和高分辨目标roi图像，同时能有效改善所输出图像的分辨率及snr。本发明图像传感器可以根据应用需求设计为多种类型的图像传感器，例如fsi(frontsideillumination，前照式)或bsi(backsideillumination，背照式)图像传感器，可以是根据应用需求所采用的包含dcg双转换增益电路的图像传感器，也可以为滚动曝光或全局曝光输出的多种类型的图像传感器。

本发明给出的各实施例及附图，是为了说明的目的，在不背离本发明更广泛的主旨和范围下，不同形式的等效修改是可行的。根据上述详细的说明可对本发明实施例进行修改。用于权利要求中的术语不应解释为限定于本发明具体实施内容和权利要求部分中所揭露的具体实施例。相反地，权利要求中完整确定的范围应解释为根据权利要求解释确立的声明。本发明的说明书和各个附图应被看作是解释性的，而不是约束性的。