双孔径变焦数字摄影机的制作方法_3

文档序号:9553552阅读:来源:国知局
43]Znax= Tan (FOV Wlde) /Tan (F0VTele) *PLTele/PLvlde。 (3)
[0044]举例来说:对于前面所定义的配置并且假设PLTele= 4000和PL vldeo= 1920,则Z _=4.35。
[0045]在一个实施例中,传感器控制模块具有取决于广角和长焦F0V并且取决于传感器过采样比值的设定,所述设定被使用在每一个传感器的配置中。举例来说,在使用4000x3000传感器时并且在输出1920x1080图像时,过采样比值是4000/1920 = 2.0833。
[0046]在一个实施例中,广角和长焦F0V以及过采样比值满足以下条件0.8*PLWlde/PLvideo〈Tan (F0VWide)/Tan (F0VTele)〈1.2PLWide/PLvideo (4)
[0047]静止模式操作/功能
[0048]在静止摄影机模式下,在所有变焦水平下从通过全部两个子摄影机获得的信息融合所获得的图像,参见图2,其中示出了广角传感器202和长焦传感器204及其对应的F0V。如图所示,作为示例,长焦传感器F0V是广角传感器F0V的一半。静止摄影机模式处理包括两个阶段:(1)设定硬件设定和配置,其中第一个目的是控制传感器,从而使得在同一时间扫描全部两幅图像(长焦和广角)中的匹配F0V。第二个目的是根据透镜属性来控制相对曝光。第三个目的是对于ISP最小化来自全部两个传感器的所需带宽;以及(2)融合广角和长焦图像以实现光学变焦、改进SNR并且提供较宽动态范围的图像处理。
[0049]图3示出了对应于由CMOS传感器捕获的图像部分的图像线数与时间的关系。通过对每一幅图像的线(行)扫描获得融合图像。为了防止在不同时间扫描全部两个传感器中的匹配F0V,在保持相同帧率的同时由摄影机控制器在全部两个图像传感器上应用特定配置。传感器之间的F0V中的差异决定对应于每一个传感器的卷帘快门时间与垂直消隐时间之间的关系。在所述特定配置中,扫描是同步的,从而使得同时获得每一个视图中的对象的相同点。
[0050]特别参照图3并且根据这里所公开的方法的一个实施例,用以同步扫描的配置包括:将长焦传感器垂直消隐时间VBTeleS定到等于广角传感器垂直消隐时间VBWldeW上广角传感器卷帘快门时间RSTWlde的一半;将长焦和广角传感器曝光时间ETTel, ETWldeS定成相等或不同;将长焦传感器卷帘快门时间RSTTele设定成0.5*RSTWlde;并且将两个传感器的帧率设定成相等。这一规程导致长焦和广角传感器图像中的完全相同的图像像素在同一时间被曝光。
[0051]在另一个实施例中,摄影机控制器将广角和长焦传感器同步,从而使得全部两个传感器的卷帘快门在同一时间启动。
[0052]被应用于两个传感器的曝光时间可以是不同的,以便例如利用对应于长焦和广角系统的不同F#和不同像素尺寸达到相同的图像强度。在这种情况下,可以根据下面的公式来配置相对曝光时间:
[0053]ETTele= ET Wlde.(F#Tele/F#Wlde)2.(Pixel sizeWlde/Pixel sizeTele)2 (5)
[0054]可以应用其他曝光时间比值以便实现较宽的动态范围和改进的SNR。融合具有不同强度的两幅图像将得到较宽动态范围的图像。
[0055]更加详细地参照图3,在第一阶段中,在用户选择了所需的变焦因数ZF之后,传感器控制模块如下配置每一个传感器:
[0056]1)裁剪索引广角传感器:
[0057]YWlde start= 1/2.PC Wlde (1-1/ZF)
[0058]YWlde end= 1/2.PC Wlde (1+1/ZF)
[0059]其中,PC是一列中的像素数目,并且Y是行号
[0060]2)裁剪索引长焦传感器:
[0061 ]如果 ZF>Tan (F0VWlde) /Tan (F0VTele),则
[0062]YTele start= 1/2.PC Tele (1- (1/ZF).Tan (F0VTele) /Tan (F0VWlde))
[0063]YTele end= 1/2.PC Tele (1+ (1/ZF).Tan (F0VTele) /Tan (F0VWlde))
[0064]如果ZF〈Tan (F0VWlde) /Tan (F0VTele),则
[0065]YTele start= 0
[0066]YTele end= PC Tele
[0067]这样将导致长焦传感器的曝光起始时间具有以下延迟(相对于广角传感器起始时间以线数计):
[0068](1-ZF/ ((Tan (F0VWlde) /Tan (F0VTele))).1/ (2.FPS) (6)
[0069]其中,FPS是传感器的每秒帧数配置。如果ZF>Tan (F0VWlde) /Tan (F0VTele),则在长焦和广角曝光起始点之间将不会引入延迟。例如对于其中Tan(F0VWldJ/Tan(F0VT&) = 2并且ZF = 1的情况,在广角图像第一像素被曝光的1/4.(1/FPS)秒之后长焦图像第一像素被曝光。
[0070]在根据所需的变焦因数应用裁剪之后,应当配置传感器卷帘快门时间和垂直消隐,以便满足以下等式以保持相同的帧率:
[0071]VBWide+RSTWide —VB Tele+RSTTele (7)
[0072]图3例示了等式(7)。满足等式(7)的一种方式是增大RSTWlde。控制RSTWlde可以通过改变广角传感器的水平消隐(HB)来进行。这样将导致来自广角传感器的每一行的数据之间的延迟。
[0073]通常来说,利用双传感器系统进行工作需要把带宽乘以后续块,例如ISP。举例来说,利用12Mp在30fps下工作,每像素10比特则要求在3.6Gbit/秒下工作。在该例中,支持这一带宽需要从每一个传感器到处理链中的对应的后续ISP的4条通道。因此,利用两个传感器进行工作需要双倍带宽(7.2Gbit/秒)以及连接到对应的后续块的8条通道。通过对两个传感器进行配置和同步可以减小带宽。因此,通道的数目可以是传统配置的一半(3.6Gbit/ 秒)。
[0074]图4示意性地示出了允许利用双传感器变焦系统共享一个传感器接口的传感器时间配置,其同时满足前面的图3的描述中的条件。为了简单起见,假设长焦传感器图像与广角传感器图像相比被放大2倍,广角传感器水平消隐时间耶?&被设定到广角传感器线读出时间的两倍。这就导致输出广角线之间的延迟。这一延迟时间精确地匹配从长焦传感器输出两条线所需的时间。在从长焦传感器输出两条线之后,长焦传感器水平消隐时间HBT&被设定到一个广角线读出时间,因此在广角传感器从该传感器输出一行的同时,没有数据从长焦传感器输出。对于该例,长焦传感器中的每第三条线被延迟一个附加的HBTele。在该延迟时间中,从所述双传感器系统输出来自广角传感器的一条线。在传感器配置阶段之后,数据被并行地或者通过使用多路复用被发送到处理部分中。
[0075]图5示出了这里所公开的用于在静止模式下采集变焦图像的方法的一个实施例。在ISP步骤502中,将每一个传感器的数据传输到对应的ISP组件,其对所述数据实施本领域内已知的各种处理,比如去噪声、去马赛克、锐化、伸缩等等。在步骤502中的处理之后,在捕获处理核心128中实施所有后续动作:在矫正步骤504中,将广角和长焦图像都对准在核线(epipolar line)上;在配准步骤506中,实施广角与长焦对准图像之间的映射,从而产生配准映射图;在重采样步骤508中,根据配准映射图对长焦图像进行重采样,从而得到经过重采样的长焦图像;在决定步骤510中,对所述经过重采样的长焦图像和广角图像进行处理以便检测配准中的错误,并且提供决定输出。更具体来说,在步骤510中,把经过重采样的长焦图像数据与广角图像数据进行比较,并且如果所述比较检测到显著的不同点,则表明错误。在这种情况下,在输出图像中选择使用广角像素数值。随后在融合步骤512中,将所述决定输出、经过重采样的长焦图像以及广角图像融合到单一变焦图像中。
[0076]为了减少处理时间和能力,可以通过在未聚焦区域中不融合图像来绕过步骤506、508、510和512。在这种情况下,前面所指出的所有步骤应当仅被应用在已聚焦区域上。由于长焦光学系统将引入比广角光学系统更浅的场深度,因此散焦区域在长焦系统中将受困于较低的对比度。
[0077]静止摄影机模式下的焦距拉近和焦距拉远
[0078]我们如下定义:TF0V = tan (摄影机F0V/2)。“低ZF”指的是满足ZF〈广角TF0V/长焦TF0V的所有ZF。“高ZF”指的是满足ZF>广角TF0V/长焦TF0V的所有ZF。“ZFT”指的是满足ZF =广角TF0V/长焦TF0V的ZF。在一个实施例中,如下实施静止模式下的焦距拉近和焦距拉远:
[0079]焦距拉近:在向上直到略高于ZFT的低ZF下,输出图像是经过数字变焦的广角融合输出。
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1