应用于图像感测电路的像素通道不平衡补偿方法与系统与流程

[0001]
本发明涉及一种应用在图像感测电路中像素通道不平衡补偿方法，特别涉及一种能够在图像感测电路中有效使用三维噪声抑制与补偿像素通道中不平衡问题的方法与相关电路系统。


背景技术：

[0002]
对于使用拜耳彩色滤光器阵列(bayer color filter array)等滤色片的互补式金氧半场效晶体管(complementary metal oxide semiconductor，cmos)图像传感器，每个像素(pixel)位置都只有红(r)、绿(g)或蓝(b)单通道(channel)信息，还原图像时，需通过内插(interpolation/demosaicing)方式重现彩色图像。
[0003]
当如上述配备有滤色片的图像传感器在接受信号时，由于像素间交互影响，如像素串扰(pixel cross-talk)，会影响还原图像时使用的内插法呈现彩色图像的结果。举例来说，原本应为接收相同信号的两个绿色通道(gchannel)像素，可能因左右相邻为红色通道(r channel)或蓝色通道(bchannel)而有不同的交互影响，致使呈现出不同的绿色通道信号现象。
[0004]
当以内插法还原彩色图像时，所述拜耳彩色滤光器阵列中每一行列均有绿色(g)通道信息，可参考图1显示的滤色片范例示意图，绿色通道可以表现的信息量较红色(r)或蓝色(b)通道更多，而每个绿色通道都邻接红色或蓝色通道，可根据相邻通道以gr(邻接红色通道的绿色通道，green pixel adjacent to red)或gb(邻接蓝色通道的绿色通道，green pixel adjacent to blue)表示，如此会特别着重参考绿色通道的信息，致使绿色通道间的交互影响造成像素gb与gr不平衡(gb-gr imbalance)的处理对于数字图像处理是重要且需要的。
[0005]
造成像素间交互影响原因一般常见的可分为三类：第一，图像传感器每一像素上均为搭载微镜片(microlens)，因为光线入射时可能有折射现象，进而影响邻近像素接收的信号而产生像素串扰等的光学干扰现象(optical crosstalk)；第二，红色、绿色与蓝色光具有不同光线波长大小，对于半导体材料可达渗透深度不同，致使电子漂移(electron drift)现象不同，造成不同交互影响，称为电气串扰(electrical crosstalk)；第三，电路设计时(layout)可能会造成的像素间影响，可称结构串扰(architectural crosstalk)。
[0006]
常见解决所述邻近蓝色与红色的绿色像素之间不平衡(gb-gr imbalance)问题大致也可分为三类：第一为采取低通滤波(low-pass filtering)概念，通过平均每个绿色像素附近的绿色通道像素以弭平绿色通道间的不一致，但缺点为细节因而损失；第二，参考类似内插(interpolation)的方法，利用邻近绿色通道值进行内插，虽比较不易损失细节，但无法通用于所有彩色滤光器阵列(color filter array,cfa)；第三，这是一种减少水平线伪影(horizontal line artifact)的预先校正方法，其中为根据像素间线性关系施以一比例调整，降低邻近蓝色与红色的绿色像素之间不平衡。


技术实现要素：

[0007]
本发明公开一种应用于图像感测电路的像素通道不平衡补偿系统与方法，其中处理图像噪声的方式如不损失细节的一种三维噪声抑制(3dnoise reduction)方法，三维噪声抑制可包含二维去噪(spatial noise reduction)和时间轴上去噪(temporal noise reduction)处理。方法并继续处理gb-gr像素通道不平衡的问题，当与三维噪声抑制方法，就可参考经由噪声抑制处理后的图像数据，再予以估计其中像素通道(如绿色通道)不平衡的补偿量，能避免噪声影响错估补偿量，以得到较好的图像结果。
[0008]
根据一实施例，像素通道不平衡补偿系统以一电路系统实现，如集成电路(ic)，适用于图像接收电路，图像接收电路包括镜头、滤色片与图像传感器，用以接收动态图像；系统设有一存储器，用以逐帧储存动态图像，并包括已经进行噪声抑制的第一帧图像；系统设有一处理电路，其中执行像素通道不平衡补偿方法。
[0009]
在方法中，优选地，从动态图像中取得第二帧图像，以及从存储器中取得第一帧图像，取出的第一帧图像与第二帧图像先暂存于一缓冲器中。接着，通过比对第一帧图像与第二帧图像得出图像传感器感测到相同位置的像素通道中的图像信息是否有变动，以检测前后帧各像素的移动信息。
[0010]
接着，以相同位置的像素通道图像的移动信息为依据作为三维抑制噪声时决定系统能执行一噪声抑制程序以抑制噪声；使用相同缓冲器中已经噪声抑制的图像，能估计已经经过噪声抑制的第二帧图像中相邻相同通道不平衡的补偿值，并予以补偿，最后以内插法还原第二帧图像。
[0011]
进一步地，当检测动态图像中前后帧相同位置的像素值并未变动，于前后帧相同位置的像素设一噪声抑制的权重，以一特定比例的像素值组合；反之，当检测动态图像中前后帧相同位置的像素值有变动，即从第一帧图像与第二帧图像中相同位置的像素值选择其一为像素值。其中，在一方式中，可以第二帧图像(当前帧)附近信息作为抑制噪声的参考，还参考相同位置的像素的变动在第一帧图像的信息，再结合两者的信息决定像素值，但需要增加一搜索步骤。
[0012]
进一步地，在一实施例中，在估计已经经过噪声抑制的第二帧图像中相邻相同通道不平衡的补偿值的步骤时，从第一帧图像估计出相邻相同通道不平衡的第一补偿量，从第二帧图像估计出相邻相同通道不平衡的第二补偿量，之后根据第一帧图像与第二帧图像的差异决定第一补偿量与第二补偿量之间的一参考比例，据此以一比例组合决定补偿值。
[0013]
为了能更进一步了解本发明为达成既定目的所采取的技术、方法及效果，请参阅以下有关本发明的详细说明、图式，相信本发明的目的、特征与特点，当可由此得以深入且具体的了解，然而所附图式仅提供参考与说明用，并非用来对本发明加以限制。
附图说明
[0014]
图1显示一种现有传感器滤色片的范例示意图；
[0015]
图2显示应用于图像感测电路的像素通道不平衡补偿系统的电路实施例图；
[0016]
图3显示像素通道不平衡补偿方法流程实施例的一流程图；
[0017]
图4显示噪声抑制的实施例的一流程图。
[0018]
图5显示像素通道不平衡补偿方法流程实施例的二流程图。
具体实施方式
[0019]
在一般使用拜耳彩色滤光器阵列等滤色片的图像感测电路中，相关彩色滤色片实施方式可参考图1，其中绿色通道可以表现的信息量较红色(r)或蓝色(b)通道更多，而每个绿色通道都邻接红色或蓝色通道，其中邻接红色通道的绿色通道表示为gr，邻接蓝色通道的绿色通道表示为gb，然而，原本gr与gb像素通道的图像值应该是一致的，但因为图像感测电路的设计产生系统性问题，可能造成gr与gb像素通道不平衡问题，或是绿色通道间的交互影响将造成像素通道gb与gr不平衡(gb-gr imbalance)，造成gb与gr不平衡的种种因素对于接受到拜耳彩色滤光器阵列的图像感测电路信息在重现彩色图像时会有很大影响，本公开即提出一种应用于图像感测电路的像素通道不平衡补偿方法与相关电路。
[0020]
然而，在补偿gb与gr像素通道不平衡的问题时，若面对较暗的环境，需要调高感亮度iso值，如此噪声也较高，使得处理gb与gr像素通道不平衡问题更为复杂，此时，可以引入一种三维噪声抑制(3d noise reduction)的处理方法，三维噪声抑制的处理方法可包含二维降噪(spatial noise reduction)和时间轴上降噪(temporal noise reduction)处理。如此，本公开提出应用在图像感测电路的像素通道不平衡补偿方法可以与三维噪声抑制处理结合，概念上是参考经由噪声抑制处理后的图像数据后，再予以估计绿色通道补偿量，可避免噪声影响错估补偿量，以得到较好的图像结果。
[0021]
图2显示应用于图像感测电路的像素通道不平衡补偿系统的相关电路实施例图，其中运行的流程可同时参考图3所描述根据图像感测电路的像素通道不平衡补偿方法流程实施例。
[0022]
像素通道不平衡补偿系统应用在图像感测电路中，图像感测电路如一图像感测处理器(image sensor processor,isp)，主要电路包括由镜头201、滤色片202与图像传感器203组成的图像接收电路，用以接收动态图像21(步骤s301)，动态图像21为将连续图像中逐帧(frame)，储存在存储器205中(步骤s303)，存储器205也用来储存在图像处理过程中经过噪声抑制的图像，这些图像(如实施例所称第一帧图像)用来作为后续图像执行噪声抑制与像素通道不平衡处理的参考。
[0023]
然而，通过这类图像装置在生成图像时会产生噪声、图像不平衡的问题。例如，在低光源的环境中以高感亮度拍摄的图像，噪声会随着感亮度愈高而愈明显，若以安全考虑的保全摄影机为例，这样充满噪声的图像并不适合判读；在另一范例中，因为图像通过滤色片会在每个像素上形成红、绿、蓝等通道的图像值，涵盖光线的长波段、中波段与短波段的信息，可能因为图像装置中光学组件(如镜头201)产生图像干扰，使得在转换成数字信号时造成各像素之间有像素串扰(cross-talk)现象。
[0024]
以图像为例，图像噪声可以通过参考前后两帧图像而调整当中像素，包括可以混合两帧图像而达到噪声抑制的目的，也可通过比对前后两帧图像中的以图像传感器感测到相同位置的像素通道中图像信息是否有变动，以检测前后帧各像素的移动信息，作为三维抑制噪声时决定如何抑制噪声的依据，并予以抑制或消除噪声，这就是三维噪声抑制处理方法中考虑了像素图像在时间上的变化而进行噪声抑制的方式(temporal noise reduction)。
[0025]
图像感测电路包括处理电路207，处理电路207即执行图像噪声抑制与像素通道不平衡补偿的处理，其中包括以软件或搭配硬件电路的移动检测单元26、噪声抑制单元27、像
素通道不平衡补偿单元28以及内插单元29。在三维噪声抑制处理方法中，存储器中已经先储存了经过噪声抑制处理过的第一帧图像，第一帧图像为连续图像中的前一帧图像，或可为多帧经过噪声抑制处理的图像。
[0026]
在步骤s303中，由处理电路207中的噪声抑制单元27执行噪声抑制处理，可以软件或搭配硬件电路实现此噪声抑制单元27。在此一提的是，若对第一帧执行噪声抑制的步骤时没有可以参考的前一帧图像，仍可以实施基本的降噪程序，如一般仅考虑静态图像中邻近像素而执行降噪的二维降噪程序。
[0027]
根据噪声抑制的实施例之一，从步骤s301所输入动态图像中取得第二帧图像，并可自存储器205中取得已经过噪声抑制的第一帧图像。其中，处理第二帧图像噪声抑制的步骤时，会考虑第一帧图像，而此第一帧图像可以是之前已经完成噪声抑制的图像。若以执行三维噪声抑制为例，可以根据前后帧，或多帧，在相同位置的像素差异设一噪声抑制的权重(weighting)，以一特定比例的像素值组合，包括可以这些前后帧像素图像值的平均值作为输出图像(还原第二帧图像)，达到噪声抑制的目的。经过噪声抑制处理的第二帧图像同样储存在存储器205中，成为下一帧执行噪声抑制的参考图像。
[0028]
其中，根据一实施例，在噪声抑制的步骤中可以搭配移动检测的步骤，举例来说，通过比对第一帧图像与第二帧图像，或加上多张前后帧的图像，可以检测相同位置的像素的变动值，用以检测各像素中是否有移动的信息。其中，通过处理电路207中的移动检测单元26执行移动检测，其目的是针对当前的图像(第二帧图像)与前一帧图像(第一帧图像)或多帧图像进行的移动检测(motion detection)，使得能够得出优选的像素值，达到噪声抑制的目的，相关实施流程可参考图4的描述。
[0029]
接着，优选可以同时，利用相同缓冲区的各帧图像，在步骤s305中执行像素通道不平衡补偿估计，系统中处理电路207中的像素通道不平衡补偿单元28可以软件手段，或配合硬件电路，针对已经噪声抑制处理的图像处理像素通道之间不平衡的问题，如先估计当前帧图像(如第二帧图像)中相邻相同像素通道不平衡的补偿值，例如，主要是要补偿gb与gr像素通道之间的不平衡。
[0030]
在此步骤中，对第二帧图像执行gb与gr像素通道不平衡的补偿估计之前，除了经过上述噪声抑制的第二帧图像外，亦自存储器205中取得之前经过噪声抑制的第一帧图像。同样是绿色(g)通道，在相同光线下相邻的绿色通道应该有相同或近似的像素值，但是当中仍因为邻近通道(红色影响绿色通道、蓝色影响绿色通道)等各种因素产生不平衡的问题，在所述方法中，可以从经过噪声抑制的第二帧图像中判断相邻绿色通道的不平衡问题，给予补偿。根据实施例之一，可以从第一帧图像估计出像素中gr通道与gb通道之间不平衡的补偿量，可称第一补偿量；同时，对已经三维噪声抑制的第二帧估计另一个补偿量，可称第二补偿量。
[0031]
其中，参考上述步骤s303中以三维噪声抑制处理步骤中得出的第一帧图像与第二帧图像之间各像素的差异后，可以决定第一补偿量与第二补偿量之间的一参考比例，以此参考比例决定gb与gr像素通道的补偿值。其结果可以根据第一帧与第二帧图像的状况选择其中之一像素值，或是两者平均，或是依照一个比例组合第一补偿量与第二补偿量。
[0032]
值得一提的是，从输入系统的动态图像中前后帧的移动检测结果可以得出所述第一帧图像与第二帧图像中像素的差异，因此动态图像的移动程度将决定以上两个补偿量之
间的参考比例。
[0033]
之后，当根据所得到的参考比例进行gb与gr像素通道不平衡的补偿值进行补偿后，接着进行内插法(步骤s307)，其中以系统中处理电路207的内插单元29执行内插，以还原图像22(步骤s309)。
[0034]
其中，图像内插法的应用主要是因应图像传感器经过滤色片接收的图像通道不连续的状况，当要还原图像时，会以各列间隔排列的像素通道的图像值通过特定内插法得出中间像素通道的值，以得出各像素的红、蓝、绿色像素值。
[0035]
根据以上实施例可知，应用于图像感测电路的像素通道不平衡补偿系统在执行像素通道不平衡处理之前，已经通过噪声抑制的程序，将使得还原图像有更好的噪声抑制与平衡的表现。
[0036]
上述步骤s303中噪声抑制的方法之一可以参考图4所示流程，由处理电路207中的移动检测单元26以软件或搭配硬件执行移动检测。当接收到连续图像中的各帧图像时，可对每一帧的像素或特定范围的像素执行一移动检测步骤(步骤s401)，用以得出整张图像各像素的移动信息，例如可以根据移动的程度订出权重(0至1)，这个权重就是调整利用前后帧图像的比例。在判断是否有移动的步骤(步骤s403)中，若判断没有移动(否)，或是移动信息小于一特定阈值，即视为不移动，即可参考第一帧图像与第二帧(或多帧)图像相同位置的像素值，依照一特地比例组合前后两帧或多帧图像的像素值，包括执行像素值平均(步骤s405)，达到噪声抑制的效果。
[0037]
若在步骤s403中判断有移动(是)，表示不适合结合第一帧图像与第二帧图像的方式来抑制噪声，即从第一帧图像与第二帧图像中相同位置的像素值选择其一为所执行噪声抑制像素位置的像素值，然而，优选的是，因此对所处理的像素(如第一帧图像的像素)而言，可以采用已经经过噪声抑制的第一帧图像中相同位置的像素值，作为目前执行噪声抑制的像素的像素值；或是从第一帧图像与第二帧图像中选择其一(步骤s407)，其中，仍可以第二帧图像(当前帧)附近信息作为抑制噪声的参考，更可参考了相同位置的像素的变动在第一帧图像的信息，再结合两者的信息决定像素值，但此方式需要增加一搜索步骤。在另一实施例中，若判断有移动时，系统中的处理电路(如图2显示的处理电路207的噪声抑制单元27)可以从前后多帧图像中判断图像中移动的对象，从中判断出优选的像素值。
[0038]
如此，当整帧图像经过噪声抑制后，输出经过噪声抑制的图像(步骤s409)，并储存在存储器中，成为下一帧图像处理噪声时的参考图像，使得每次噪声抑制效果可累计到后续的图像处理程序中。
[0039]
根据再一实施例，参考如图5所描述图像感测电路中像素通道不平衡补偿方法的实施例流程，不同于图3描述的实施例流程，此实施例显示在三维噪声抑制处理时，同时也执行了像素通道不平衡的估计补偿，也就是其中执行噪声抑制与像素通道不平衡的步骤为从相同的缓冲器取得图像信息，如第一帧图像与第二帧图像，使得整个处理程序可以采用较小的图像缓冲器，如一种行缓冲器(line buffer)，而可以节省需要暂存整张图像的缓冲器的使用。其中，当系统先执行噪声抑制，再执行不平衡补偿后，缓冲器中的第二帧图像应产生噪声抑制前后的差异。
[0040]
在图5描述的流程中，系统接收到一动态图像，其中包括连续多帧图像，第一帧图像表示之前已经经过噪声抑制的图像，可以有一或多帧图像，并已经储存在系统的存储器
中(步骤s503)，接着输入第二帧图像(步骤s501)。
[0041]
此时，如步骤s505，对第二帧图像执行噪声抑制，在此噪声抑制的步骤中，不仅可以应用在一般针对单张图像分析而进行噪声抑制(如二维噪声抑制)的方法外，更可应用考虑随着时间的图像变化的三维噪声抑制方法。
[0042]
如三维噪声抑制的方法，即至存储器取得步骤s503储存在存储器中的第一帧图像，暂存在处理电路的图像缓冲器内，通过移动检测方法得出过去经过噪声抑制的第一帧图像以及第二帧图像之间相同位置的像素变化量，之后，系统将可根据前后帧相同位置的像素图像差异判断两者之间差异的程度(degree of difference between the pixels)，使得系统中运行的程序可以根据前后帧像素图像差异的程度执行不同程度的三维噪声抑制步骤。
[0043]
在一实施例中，根据前后帧相同位置的像素图像差异可以得出前后帧图像是否有变动，这实际是执行一个移动检测，移动的程度将影响后续gb与gr像素通道不平衡的补偿。实施例如图4所述，若从前后帧判断图像没有变动，可以使用已经经过噪声抑制的第一帧图像中的像素值；反之，若判断前后帧图像有变动，可以检测出差异，作为执行噪声抑制的参考，包括可以在噪声抑制的步骤中选择前后帧其中之一像素图像值，或在判断出有变动的情况下对前后帧(包括多帧)的图像执行平均或在一比例下的组合，产生噪声抑制的目的。
[0044]
此外，根据另一实施例，选择像素图像值时，可以第二帧图像(当前帧)附近信息作为抑制噪声的参考，或是再参考相同位置的像素的变动在第一帧图像的信息，以结合第一帧图像与第二帧图像的信息决定像素值。
[0045]
在此流程中，在步骤s507中，针对暂存在相同缓冲器内的第二帧图像得出gb与gr像素通道不平衡的补偿估计的补偿值，相关实施例可参考图3步骤s305的描述，目标是平衡gr与gb像素值。其中以经过噪声抑制的第二帧图像来进行gr与gb像素通道不平衡补偿估计，可以加强补偿估计的正确性。
[0046]
最后，到步骤s509，通过内插法还原各像素的红、蓝与绿色图像值。
[0047]
在此一提的是，根据图5描述的实施例，为三维抑制噪声与不平衡补偿同时进行，因此，只有第一帧图像为经过抑制噪声后的图像数据，第二帧图像对于不平衡补偿估算时，因第二帧图像同时也在做噪声抑制，所以两者所取得输入的第二帧图像均为尚未降噪的原始图像。因此，当判断相同位置的像素没有变动时，执行不平衡的补偿估计会参考已经降噪的第一帧图像，以计算出的第一补偿量，而得到较不易受噪声影响的好处；若相同位置的像素检测为有变动时，以尚未降噪的第二帧图像估测出的第二补偿量作为补偿量，此时虽并未得到噪声抑制后不平衡补偿估测不易受噪声影响的好处，但因此时的噪声抑制也是以第二帧图像附近信息作为降噪处理的参考，因此结果仍可适用。此外，在一般监控的图像应用中，画面中静态场景可能多过于动态场景，因此，对整体结果仍是好处。
[0048]
综上所述，以上所述的应用于图像感测电路的像素通道不平衡补偿方法与相关电路系统主要目的是处理通过彩色滤色片的图像信息不平衡的问题，如gr与gb像素通道的不平衡，并在流程中采用三维噪声抑制的技术，特别是在监控类型的摄影机常常需要用在晚上低光源环境中，因此，当gb-gr不平衡处理可与三维去噪声处理结合，就可参考经由去噪声处理后的数据内容再予以估计绿色通道补偿量，避免噪声影响错估补偿量，以得到较好的图像结果。
[0049]
以上所述仅为本发明的优选可行实施例，非因此即局限本发明的专利范围，故举凡运用本发明说明书及图示内容所做的等效结构变化，均同理包含于本发明的范围内，合予陈明。
[0050]
【符号说明】
[0051]
图像21
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
镜头201
[0052]
滤色片202
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
图像传感器203
[0053]
存储器205
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理电路207
[0054]
噪声抑制单元27
ꢀꢀꢀꢀꢀꢀꢀꢀ
移动检测单元26
[0055]
像素通道不平衡补偿单元28
[0056]
内插单元29
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
还原图像22
[0057]
步骤s301至s309像素通道不平衡补偿方法流程
[0058]
步骤s401至s409噪声抑制的流程
[0059]
步骤s501至s509像素通道不平衡补偿方法流程。