专利名称：运动信息辅助型3a技术的制作方法
技术领域：
本发明涉及数字视频。具体来说，本发明涉及运动信息辅助型3A技术。
背景技术：
例如数字摄像机等视频俘获装置可用于不同应用及环境中。视频俘获装置可能够从相对于目标场景的多种距离俘获视频。视频俘获装置可在多种媒体上存储所俘获的视频，例如，录像带、硬盘驱动器、数字通用光盘(DVD)等。数字视频俘获装置可使用视频传感器来俘获视频。视频俘获装置可包括许多视频传感器配置参数，其可经调整以在不同环境条件中更好地俘获视频。举例来说，视频俘获装置可包括许多敏感性设定，例如白平衡、曝光控制及聚焦。这些设定中的每一者可影响所俘获视频的平滑度及质量。视频俘获装置可允许用户手动选择视频传感器配置参数。通过手动选择配置参数，用户可选择适用于当前环境条件的设定以在所述环境中更好地俘获视频。或者或另外， 视频俘获装置可包括一些自动设定，所述自动设定基于当前环境条件来选择传感器配置参数。视频俘获装置可(例如)包括光传感器，所述光传感器检测周围环境的亮度且基于所检测到的光的量来选择配置设定。许多视频俘获装置还包括相机的自动聚焦。视频俘获装置通常具有影响正在拍摄的视频的质量的许多不同参数及设定。因此，需要用于调整视频俘获装置中的参数的改进技术。
发明内容
图IA为说明使用运动信息调整参数的视频俘获装置的框图；图IB为说明使用运动信息调整参数的另一视频俘获装置的框图；图2为说明根据视频信息产生配置参数的视频处理器的框图；图3为说明全局运动向量的框图；图4为说明全局运动向量的另一框图；图5为说明局部运动向量的框图；图6为说明用于使用运动信息确定新白平衡增益的方法的流程图；图7为说明用于自动曝光控制的方法的流程图；图8为说明用于视频俘获装置中的摇摄感知自动曝光控制的方法的流程图9为说明用于在自动曝光控制期间的保持时间控制的方法的流程图；图10为说明用于在自动曝光控制期间的会聚时间控制的方法的流程图；图11为说明用于在自动曝光控制期间的会聚时间控制的方法的流程图；图12为说明作为时间函数的摇摄感知自动曝光控制的图表；图13为说明在摇摄感知自动曝光控制期间曝光步长的增大的图表；图14为说明用于基于运动信息来自动聚焦视频俘获装置的方法的流程图；及图15为说明可在计算装置/电子装置中利用的各种组件的框图。
具体实施例方式本发明描述一种用于使用运动信息调整视频俘获装置中的参数的方法。由视频俘获装置确定指示所述视频俘获装置的运动的运动信息。将所述运动信息与上限及下限进行比较。基于所述比较确定侵略性水平。所述侵略性水平指示所述视频俘获装置的白平衡增益的改变。基于所述侵略性水平确定所述视频俘获装置的新白平衡增益。可使用从所述视频俘获装置中的加速计所接收的数据来确定所述运动信息。所述运动信息可包括所述视频俘获装置的估计平均速度。所述运动信息可为运动向量。确定运动向量可包括对第一帧的每一行中的像素值求和以形成第一列向量。可对第二帧的每一行中的像素值求和以形成第二列向量。可对所述第一帧的每一列中的像素值求和以形成第一行向量。可对所述第二帧的每一列中的像素值求和以形成第二行向量。可确定达到所述第一行向量与所述第二行向量的自相关的峰值所需的第一移位。 所述第一移位可为所述运动向量的水平分量。可确定达到所述第一列向量与所述第二列向量的自相关的峰值所需的第二移位。所述第二移位可为所述运动向量的垂直分量。确定所述侵略性水平可包括在所述运动向量的长度小于或等于所述下限的情况下将所述侵略性水平设定为零。在所述运动向量的所述长度大于所述下限且小于所述上限的情况下，可将所述侵略性水平设定为与所述运动向量的长度成比例的值。在所述运动向量的所述长度大于或等于所述上限的情况下，可将所述侵略性水平设定为预定最大值。针对较大侵略性水平的从旧白平衡增益到新白平衡增益的改变可大于针对较小侵略性水平的改变。确定所述新白平衡增益可包括使用以下等式新白平衡增益=旧增益 * (1-w) +当前增益*w。旧增益为先前帧的旧白平衡增益，当前增益为当前帧的白平衡增益， 且w为所述侵略性水平。可基于所述运动信息调整曝光会聚保持时间。可基于所述运动信息增大曝光步长。可基于所述会聚步长调整所述视频俘获装置的亮度水平。增大曝光步长可取决于运动向量的长度。可基于所述运动信息确定所述视频俘获装置是否正在摇摄。可基于所述摇摄确定在所述视频俘获装置中执行自动聚焦。执行自动聚焦可包括在检测到摇摄的情况下不执行自动聚焦及在未检测到摇摄的情况下执行自动聚焦ο本发明描述一种用于基于运动信息调整视频俘获装置中的参数的设备。所述设备包括处理器、与所述处理器电子通信的存储器及存储于所述存储器中的指令。所述指令可由所述处理器执行以确定指示视频俘获装置的运动的运动信息。所述指令还可由所述处理器执行以将所述运动信息与上限及下限进行比较。所述指令可进一步执行以基于所述比较确定侵略性水平。所述侵略性水平指示所述视频俘获装置的白平衡增益的改变。所述指令还可执行以基于所述侵略性水平确定所述视频俘获装置的新白平衡增益。本发明还描述一种用于调整视频俘获装置中的参数的计算机程序产品。所述计算机程序产品包括上面具有指令的计算机可读媒体。所述指令包括用于确定指示视频俘获装置的运动的运动信息的代码。所述指令还包括用于将所述运动信息与上限及下限进行比较的代码。所述指令进一步包括用于基于所述比较确定侵略性水平的代码。所述侵略性水平指示所述视频俘获装置的白平衡增益的改变。所述指令还包括用于基于所述侵略性水平确定所述视频俘获装置的新白平衡增益的代码。本发明描述一种用于调整视频俘获装置中的参数的设备。所述设备包括用于确定指示视频俘获装置的运动的运动信息的装置。所述设备还包括用于将所述运动信息与上限及下限进行比较的装置。所述设备进一步包括用于基于所述比较确定侵略性水平的装置。 所述侵略性水平指示所述视频俘获装置的白平衡增益的改变。所述设备还包括用于基于所述侵略性水平确定所述视频俘获装置的新白平衡增益的装置。本发明还描述一种用于基于运动信息调整视频俘获装置中的参数的方法。由视频俘获装置确定指示所述视频俘获装置的运动的运动信息。基于所述运动信息调整曝光会聚保持时间。基于所述运动信息增大曝光步长。基于所述会聚步长增大所述视频俘获装置的亮度水平。增大曝光步长可取决于所述运动向量的长度。调整所述曝光会聚保持时间可包括将所述曝光会聚保持时间减少百分之四十到百分之六十。可检测所述亮度水平下降到在明度目标的预定范围外的值。本发明描述一种用于基于运动信息调整视频俘获装置中的参数的设备。所述设备包括处理器、与所述处理器电子通信的存储器及存储于所述存储器中的指令。所述指令可由所述处理器执行以确定指示视频俘获装置的运动的运动信息。所述指令还可由所述处理器执行以基于所述运动信息调整曝光会聚保持时间。所述指令可进一步由所述处理器执行以基于所述运动信息增大曝光步长。所述指令还可由所述处理器执行以基于所述会聚步长调整所述视频俘获装置的亮度水平。本发明描述一种用于调整视频俘获装置中的参数的计算机程序产品。所述计算机程序产品包括上面具有指令的计算机可读媒体。所述指令包括用于确定指示视频俘获装置的运动的运动信息的代码。所述指令还包括用于基于所述运动信息调整曝光会聚保持时间的代码。所述指令进一步包括用于基于所述运动信息增大曝光步长的代码。所述指令还包括用于基于所述会聚步长调整所述视频俘获装置的亮度水平的代码。本发明还描述一种用于调整视频俘获装置中的参数的设备。所述设备包括用于确定指示视频俘获装置的运动的运动信息的装置。所述设备还包括用于基于所述运动信息调整曝光会聚保持时间的装置。所述设备进一步包括用于基于所述运动信息增大曝光步长的装置。所述设备还包括用于基于所述会聚步长调整所述视频俘获装置的亮度水平的装置。运动向量可用以确定视频俘获装置中的运动静止、摇摄或其它。另外，光条件改变可导致3A(自动曝光、自动白平衡、自动聚焦)的调整。在一个配置中，在不使用任何运动向量相关信息的情况下，基于传感器接收的统计信息来进行3A调整。然而，视频俘获装置的摇摄运动也可导致3A的调整，其产生平滑指向及会聚过程。因此，本发明的系统及方法可使用运动信息调整视频俘获装置中的参数。通过运动信息，3A调整可变成智能型运动感知控制。换句话说，运动信息可用于3A调整中以在摇摄期间实现所要的平滑指向及会聚性能，同时针对静止场景光条件改变保持原始3A调整设计。图IA为说明使用运动信息调整参数的视频俘获装置102的框图。视频传感器104 可包括两个视频缓冲器106a到106b，所述两者均可存储关于所俘获的视频帧的视频信息 (例如，像素值)。视频传感器104可(例如)在视频预览期间将视频信息存储于视频缓冲器106中。更具体来说，在用户正使视频俘获装置102指向感兴趣的场景处的同时，但在用户致动用以俘获视频的按钮(即，记录按钮)之前，视频传感器104可将视频信息存储于视频缓冲器106中。在一个配置中，视频传感器104可彼此间在数秒(如果不是几毫秒或甚至更短的时间周期)内俘获视频且将视频存储于视频缓冲器106中。在此情况下，视频传感器104可将关于同一感兴趣的场景的连续视频信息集合存储于视频缓冲器106中。此视频信息可接着作为所俘获视频的帧122来存储。此连续视频缓冲技术可在尝试俘获视频的用户不注意的情况下发生。也就是说，从用户的角度来看，经由致动视频俘获装置102上的按钮仅可俘获单一视频。在另一配置中，视频俘获装置102可包括多于两个或少于两个的视频缓冲器106。视频缓冲器106可包括任何易失性或非易失性存储器或存储装置，例如快闪存储器或例如磁性数据存储装置或光学数据存储装置。在替代性配置中，视频缓冲器106可驻留于视频传感器104外部，例如在视频俘获装置102的其它模块(包括处理器108)内。视频传感器104还可包括视频传感器配置模块110，视频传感器配置模块110根据从处理器108所接收的配置参数112来配置视频传感器104。从视频处理器108所接收的配置参数112可包括白平衡增益、曝光会聚保持时间、自动曝光步长或待在自动聚焦期间使用的摇摄确定。视频传感器104可根据配置参数112将视频传感器元件曝光到感兴趣的场景以俘获视频。明确地说，基于配置参数112，视频传感器配置模块110可执行自动白平衡、自动曝光控制及/或自动聚焦。自动白平衡可为对所俘获帧122中的色彩强度的调整。自动曝光控制可为对曝光会聚保持时间及/或确定所俘获帧的亮度水平的曝光步长的调整。自动聚焦可为对透镜设备的用以清楚地聚焦于目标对象或对象群组上的调整。视频俘获装置102上的处理器108可包括传感器控制模块114。传感器控制模块 114可包括确定感兴趣的场景内的运动量的运动检测模块116。更具体来说，运动检测模块116可产生识别连续视频流的帧之间的改变(其指示运动)的一个或一个以上指示符。 此可包括计算全局运动向量或局部运动向量。如本文所使用，术语“全局运动向量”指代使用视频序列中的两个或两个以上帧所计算的向量。如本文所使用，术语“局部运动向量”指代使用视频序列中的两个或两个以上子帧所计算的向量。换句话说，全局运动向量可指示所有事物或几乎所有事物从一个帧到另一帧的移动，即，全局运动向量可指示视频俘获装置102自身的移动。相反，局部运动向量可指示帧的一部分从一个帧到另一帧的移动，即， 局部运动向量指示正被拍摄的某事物已相对于其环境移动，但视频俘获装置102未必已移动。如本文所使用，术语“运动信息”指代全局运动向量、局部运动向量，或指示视频俘获装置102的移动或视频俘获装置102正在拍摄的某事物的移动的任何其它数据，例如，来自视频俘获装置102中的加速计的数据。3A调整模块118可分析由运动检测模块116产生的运动信息，且基于在两个帧 122之间所检测到的运动量来调整视频传感器104的一个或一个以上配置参数112。尽管本文中论述为调整自动白平衡增益、自动曝光控制延迟及/或自动曝光控制步长，但3A调整模块118可调整视频传感器104的其它配置参数。一般来说，3A调整模块118可针对包括相对大量全局运动的场景增大视频传感器104的自动白平衡增益。此可在运动期间引起较快的自动白平衡会聚，因此减小所俘获视频中的色调抖动。3A调整模块118还可在具有相对大量全局运动的场景期间减小自动曝光控制延迟且增大自动曝光控制步长。此可引起向目标明度值的较快会聚，例如，在摇摄期间可较快地校正所俘获视频的亮度水平。3A调整模块118还可在具有相对大量全局运动的场景期间关闭自动聚焦。此可在摇摄期间消除不合需要的聚焦。处理器108还可包括3A数据120，其由3A调整模块118用以确定配置参数112。 3A数据120可(例如)包括用于相机的可由用户选择的不同操作模式的多个不同配置参数112。此外，3A数据120可包括关于当前配置参数112的数据，其可由3A调整模块118 用以产生未来配置参数112。在一个配置中，3A调整模块118可基于亮度选择视频传感器 104的初始配置参数112，且基于对后续运动信息的分析来调整视频传感器104的配置参数 112。图IB为说明使用运动信息109调整参数的另一视频俘获装置102b的框图。图IB 的视频俘获装置102b可为图IA的视频俘获装置102的一个配置。视频俘获装置102b可包括视频传感器104b。视频传感器104b可包括加速计105。加速计105可将加速度al07 提供到运动检测模块116b。加速度107可处于x、y、z坐标中。运动检测模块116b可为处理器108b上的传感器控制模块114b的一部分。图IB的传感器控制模块114b可具有与图 IA的传感器控制模块114类似的功能。图IB的处理器10 可具有与图IA的处理器108 类似的功能。运动检测模块116b可使用加速度107来确定速度ν = at及所移动的距离 ,2
S = ^-。举例来说，如果加速计105提供估计加速度a 107且帧速率为30帧/秒，则运动 2
检测模块116b可使用t = 1/30秒来确定速度及距离。运动检测模块116b可接着确定速度的改变及距离的改变。如果距离的改变或速度的改变几乎恒定(无突然的大改变)，则最初发现摇摄过程。会聚速度可从正常模式切换到运动信息(MI)辅助型会聚模式。在MI辅助型会聚模式中，会聚速度可取决于估计的当前^，其中巧为在最近1秒内的视频俘获装置102b的估计平均速度。
— 1 N为了确定卩.可确定每一帧的速度的改变。接着，可计算巧= ~ΣΑν ，其中N为
Vj.N i=l
当前帧速率。可使用运动检测模块116b中的缓冲器113a来确定每一帧的速度的改变。或者，可使用加速计中的缓冲器IHb来确定每一帧的速度的改变。对于每一新帧，可将所述新帧的统计信息输入到缓冲器113中。可接着将会聚速度计算为&的函数。如果&具有突然改变，则检测到摇摄过程的中断。会聚模式可接着切换回到正常模式。运动检测模块116b可接收帧速率/同步信息111。帧速率/同步信息111可从视频传感器104b、处理器108b或视频俘获装置102b中的其它处接收。帧速率/同步信息 111可包括帧索引与速度索引之间的同步信息。运动检测模块116b可接着将运动信息109输出到3A调整模块118。运动信息109可包括^·。图IB的视频俘获装置102b的其它组件可以与图IA的视频俘获装置102的组件类似的方式执行任务。图2为说明根据视频信息2 产生配置参数212的视频处理器208的框图。视频信息2M可从一个或一个以上视频缓冲器106接收，且可包括所俘获视频流内的帧122或帧122的部分。运动检测模块216可根据视频信息2M确定全局运动向量232或局部运动向量240ο可以若干方式来定义并计算运动向量。全局运动模块2 可从一个或一个以上帧中的全局行2 及全局列230计算全局运动向量232。相反，局部运动模块234可针对帧中的NXM块(例如)使用局部行236及局部列238来计算局部运动向量M0。具体来说， 可通过基于相邻帧预测在时间域中的运动来获得局部运动向量M0。这些计算视块的大小及相邻帧中的搜索范围而可为非常复杂的。还可通过内建到视频俘获装置102中的加速计 242来检测运动信息。运动检测模块216可确定运动信息且将其发送到3A调整模块218，3A调整模块 218可使用3A数据220产生配置参数212。3A调整模块218可包括自动白平衡(AWB)模块 M4、自动曝光控制(AEC)模块246及自动聚焦(AF)模块M8。自动白平衡模块244可基于运动信息确定新白平衡增益256。在真实世界使用条件下，所拍摄视频的光源可能不会非常经常地改变。然而，视场景而定，自动白平衡决策可能导致抖动的所俘获视频。在无时间滤波器(用以减慢白平衡(WB)增益改变)的情况下， 用户可在预览操作中以及在所记录的视频及连续快照中注意到非常令人讨厌的色调抖动。 因此，可使用固定参数时间滤波器来调整自动白平衡模块对4中的白平衡会聚过程。具体来说，可应用相对长(大约或大于10秒)的白平衡会聚过程，以便在光温度改变时实现平滑AWB过渡。此外，可针对视频俘获装置102中的相机模式使用3个固定侵略性水平(w) w(低)=0.05、w(中)=0.15、w(高)=0.45。另外，可针对视频俘获装置102中的一般摄录一体机模式使用一个固定侵略性水平(w) :w = 0. 025.使用此固定侵略性水平，当光温度改变时，自动白平衡增益256可平滑地会聚(在大约10秒内)。可根据等式(1)调整视频帧的白平衡新白平衡增益=旧增益* (1-w)+当前增益(1)其中新白平衡增益256为实际施加到视频前端(即，传感器配置模块110)的白平衡增益，旧增益258为先前帧的白平衡增益(例如，基于照明条件)，且当前增益260为当前帧的白平衡增益(例如，基于照明条件)。然而，在摇摄期间，自动白平衡会聚可能需要为平滑指向及会聚过程。因此，运动信息可用以检测视频俘获装置102的摇摄移动，且辅助自动白平衡模块244进行适当调整。 如果检测到摇摄运动，则可通过调整时间滤波器的参数来减小自动白平衡会聚周期。换句话说，使用具有固定侵略性的一般摄录一体机模式在摇摄过程期间可能不会足够快地会聚，即，使用固定侵略性水平可允许自动白平衡决策在无摇摄时不稳定，但自动白平衡处于非决定性情形中。为了解决此问题，自动白平衡模块244可使用摇摄感知自动白平衡会聚技术，所述技术允许自动白平衡在摇摄过程期间以平滑及指向到会聚方式会聚，但不允许自动白平衡不稳定。此可使用基于运动信息调整的摇摄模式侵略性水平2M来执行。可通过等式( 确定摇摄模式侵略性水平(w)2M
‘0
\MV\< Threshold _low Threshold low < \MV\ < Threshold _ high \\MV\\> Threshold _high其中IlMVlI为运动向量的范数(norm) ( S卩，运动向量长度沈2)，ThresholcL low 250为MV长度洸2的下限，Threshold_high 252为MV长度洸2的上限，且α为将摇摄模式侵略性水平(w)2M的值保持在(0,0.0 范围内的标量。ThresholcLlow 250及 ThresholcLhigh 252可为视频俘获装置特定的。因此，如果运动向量长度沈2小于或等于ThresholcLlow 250，则w可等于零。换句话说，自动白平衡增益256可能不会由当前自动白平衡增益260更新，除非存在突然亮度改变。另外，如果运动向量的长度大于或等于 ThresholcLhigh 252，则w可等于0. 05。因此，0. 05可为摄录一体机模式的最高摇摄模式侵略性水平254。然而，如果运动向量长度262处于Threshold_low 250与Threshold_high 252之间，则w可与运动向量长度262成比例地增大(如按比例缩放α)。因此，发送到传感器配置模块110的配置参数212中的一者可为使用摇摄模式侵略性水平2Μ调整的新白平衡增益256。Threshold_low 250及Threshold_high 252可取决于计算运动向量的方式。通常，手抖动产生某一量的运动。然而，来自手抖动的运动不会影响3A数据220会聚。因此， 可由手运动所触发的运动向量大小确定HiresholcLlow 250。可由在大致相同方向上的一致摇摄运动确定ThresholcLhigh 252。如果当前帧及先前帧具有 10%的移位，则可将运动量确定为 Threshold_high 252。Threshold_low 250 及 Threshold_high 252 两者可为可调整的及可调谐的。自动曝光控制模块246可使用运动信息来加速自动曝光控制会聚过程。当目标场景的光强度改变时，可发生自动曝光控制会聚。自动曝光控制会聚可经设计为以曝光会聚保持时间270开始以防止微小干扰，随后是返回到明度目标沈6的平滑会聚过程，即，可调整曝光步长沈8，直到亮度水平264再次进入明度目标沈6内的可接受范围为止。在摇摄期间，自动曝光控制会聚可能需要为指向及会聚过程。如之前，可计算运动信息以检测视频俘获装置102的摇摄移动，例如，全局运动向量232。如果检测到摇摄移动， 则自动曝光控制(AEC)模块246可在快速但平滑的过程中减小曝光会聚保持时间270且会聚回到明度目标266。换句话说，当视频俘获装置102不在摇摄时，曝光会聚保持时间270 防止干扰。然而，如果(从运动信息)检测到摇摄，则较短曝光会聚保持时间270可为合乎需要的。如果检测到摇摄，则曝光会聚保持时间270可减小正常情况的40%到60%。此外，如果检测到摇摄运动，则还可通过基于摇摄速度增大曝光步长268来加速自动曝光控制会聚过程。为了尽可能地保持会聚过程平滑，仅可将曝光步长268增大或减小在W，l]内的因子，此取决于摇摄速度。等式(3)说明可如何确定曝光步长沈8 Step_Size(pan) = Step_Size (org)+F[V](3)其中为实际上发送到传感器配置模块110的曝光步长洸8，乂印_ Size (org)为先前曝光步长272，且F[V]为取决于摇摄速度且在范围W，1]中的递增函数 274。曝光步长可仅为整数性能。可累加递增函数(F[V])274直到其达到整数为止，接着可将对应曝光步长268增大或减小1。因此，发送到传感器配置模块110的配置参数212中的两者可为曝光会聚保持时间270及使用递增函数274调整的曝光步长沈8。自动聚焦(AF)模块248可使用运动信息决定是否重新聚焦。可能需要避免在视频俘获装置102正在摇摄的同时重新聚焦视频俘获装置102。由于视频俘获装置102窗的视野正随着摇摄移动不断改变，因此在此过程期间进行重新聚焦可引起非决定性聚焦行为， 即，所俘获的视频可在散焦与聚焦之间快速交替。为了避免此情况，自动聚焦模块248可使用运动向量来确定何时重新聚焦。具体来说，如果检测到视频俘获装置102的摇摄运动，则视频俘获装置102可不重新聚焦。而是，当摇摄运动停止时，可进行重新聚焦，如由运动向量的长度所指示。运动向量还可辅助自动聚焦模块248追踪感兴趣的对象，且帮助自动聚焦模块248通过检测场景改变而做出准确决策。一种可能的摇摄检测算法可针对可能不可靠且不准确的摇摄检测使用聚焦值 (FV)。此算法假设，如果不存在摇摄及对象运动，则当前FV与过去三个帧的平均FV为等同的或至少非常接近。如果此差值大于过去三个样本的FV平均值的10%，则检测到摇摄运动。此在等式中说明，其中在以下情况下检测到摇摄
权利要求
1.一种用于使用运动信息调整视频俘获装置中的参数的方法，其包含 由视频俘获装置确定指示所述视频俘获装置的运动的运动信息； 将所述运动信息与上限及下限进行比较；基于所述比较确定侵略性水平，其中所述侵略性水平指示所述视频俘获装置的白平衡增益的改变；及基于所述侵略性水平确定所述视频俘获装置的新白平衡增益。
2.根据权利要求1所述的方法，其中使用从所述视频俘获装置中的加速计所接收的数据来确定所述运动信息，且其中所述运动信息包含所述视频俘获装置的估计平均速度。
3.根据权利要求1所述的方法，其中所述运动信息为运动向量。
4.根据权利要求3所述的方法，其中所述确定运动向量包含 对第一帧的每一行中的像素值求和以形成第一列向量； 对第二帧的每一行中的像素值求和以形成第二列向量；对所述第一帧的每一列中的像素值求和以形成第一行向量； 对所述第二帧的每一列中的像素值求和以形成第二行向量；确定达到所述第一行向量与所述第二行向量的自相关的峰值所需的第一移位，其中所述第一移位包含所述运动向量的水平分量；及确定达到所述第一列向量与所述第二列向量的自相关的峰值所需的第二移位，其中所述第二移位包含所述运动向量的垂直分量。
5.根据权利要求3所述的方法，其中所述确定所述侵略性水平包含在所述运动向量的长度小于或等于所述下限的情况下将所述侵略性水平设定为零； 在所述运动向量的所述长度大于所述下限且小于所述上限的情况下将所述侵略性水平设定为与所述运动向量的所述长度成比例的值；及在所述运动向量的所述长度大于或等于所述上限的情况下将所述侵略性水平设定为预定最大值。
6.根据权利要求5所述的方法，其中针对较大侵略性水平的从旧白平衡增益到新白平衡增益的改变将大于针对较小侵略性水平的改变。
7.根据权利要求6所述的方法，其中所述确定所述新白平衡增益包含使用以下等式 新白平衡增益=旧增益*(l-w)+当前增益柳，其中旧增益为先前帧的所述旧白平衡增益，当前增益为当前帧的白平衡增益，且w为所述侵略性水平。
8.根据权利要求1所述的方法，其进一步包含 基于所述运动信息调整曝光会聚保持时间； 基于所述运动信息增大曝光步长；及基于会聚步长调整所述视频俘获装置的亮度水平。
9.根据权利要求8所述的方法，其中所述增大曝光步长取决于运动向量的长度。
10.根据权利要求1所述的方法，其进一步包含基于所述运动信息确定所述视频俘获装置是否正在摇摄；及基于所述摇摄确定在所述视频俘获装置中执行自动聚焦。
11.根据权利要求10所述的方法，其中所述执行自动聚焦包含在检测到摇摄的情况下不执行自动聚焦及在未检测到摇摄的情况下执行自动聚焦。
12.一种用于基于运动信息调整视频俘获装置中的参数的设备，所述设备包含 处理器；与所述处理器电子通信的存储器；存储于所述存储器中的指令，所述指令可由所述处理器执行以 确定指示视频俘获装置的运动的运动信息； 将所述运动信息与上限及下限进行比较；基于所述比较确定侵略性水平，其中所述侵略性水平指示所述视频俘获装置的白平衡增益的改变；及基于所述侵略性水平确定所述视频俘获装置的新白平衡增益。
13.根据权利要求12所述的设备，其中所述运动信息是使用从所述视频俘获装置中的加速计所接收的数据来确定的，且其中所述运动信息包含所述视频俘获装置的估计平均速度。
14.根据权利要求12所述的设备，其中所述运动信息为运动向量。
15.根据权利要求14所述的设备，其中所述可执行以确定运动向量的指令包含可执行以进行以下操作的指令对第一帧的每一行中的像素值求和以形成第一列向量； 对第二帧的每一行中的像素值求和以形成第二列向量； 对所述第一帧的每一列中的像素值求和以形成第一行向量； 对所述第二帧的每一列中的像素值求和以形成第二行向量；确定达到所述第一行向量与所述第二行向量的自相关的峰值所需的第一移位，其中所述第一移位包含所述运动向量的水平分量；及确定达到所述第一列向量与所述第二列向量的自相关的峰值所需的第二移位，其中所述第二移位包含所述运动向量的垂直分量。
16.根据权利要求14所述的设备，其中所述可执行以确定所述侵略性水平的指令包含可执行以进行以下操作的指令在所述运动向量的长度小于或等于所述下限的情况下将所述侵略性水平设定为零； 在所述运动向量的所述长度大于所述下限且小于所述上限的情况下将所述侵略性水平设定为与所述运动向量的所述长度成比例的值；及在所述运动向量的所述长度大于或等于所述上限的情况下将所述侵略性水平设定为预定最大值。
17.根据权利要求16所述的设备，其中针对较大侵略性水平的从旧白平衡增益到新白平衡增益的改变将大于针对较小侵略性水平的改变。
18.根据权利要求17所述的设备，其中所述可执行以确定所述新白平衡增益的指令包含可执行以使用以下等式的指令新白平衡增益=旧增益*(l-w)+当前增益柳，其中旧增益为先前帧的所述旧白平衡增益，当前增益为当前帧的白平衡增益，且w为所述侵略性水平。
19.根据权利要求12所述的设备，其进一步包含可执行以进行以下操作的指令 基于所述运动信息调整曝光会聚保持时间；基于所述运动信息增大曝光步长；及基于会聚步长调整所述视频俘获装置的亮度水平。
20.根据权利要求19所述的设备，其中所述增大曝光步长取决于运动向量的长度。
21.根据权利要求12所述的设备，其进一步包含可执行以进行以下操作的指令 基于所述运动信息确定所述视频俘获装置是否正在摇摄；及基于所述摇摄确定在所述视频俘获装置中执行自动聚焦。
22.根据权利要求21所述的设备，其中所述可执行以执行自动聚焦的指令包含可执行以进行以下操作的指令在检测到摇摄的情况下不执行自动聚焦及在未检测到摇摄的情况下执行自动聚焦。
23.一种用于调整视频俘获装置中的参数的计算机程序产品，所述计算机程序产品包含上面具有指令的计算机可读媒体，所述指令包含用于确定指示视频俘获装置的运动的运动信息的代码； 用于将所述运动信息与上限及下限进行比较的代码；用于基于所述比较确定侵略性水平的代码，其中所述侵略性水平指示所述视频俘获装置的白平衡增益的改变；及用于基于所述侵略性水平确定所述视频俘获装置的新白平衡增益的代码。
24.根据权利要求23所述的计算机程序产品，其中所述运动信息是使用从所述视频俘获装置中的加速计所接收的数据来确定的，且其中所述运动信息包含所述视频俘获装置的估计平均速度。
25.根据权利要求23所述的计算机程序产品，其中所述运动信息为运动向量。
26.根据权利要求25所述的计算机程序产品，其中所述用于确定所述侵略性水平的代码包含用于在所述运动向量的长度小于或等于所述下限的情况下将所述侵略性水平设定为零的代码；用于在所述运动向量的所述长度大于所述下限且小于所述上限的情况下将所述侵略性水平设定为与所述运动向量的所述长度成比例的值的代码；及用于在所述运动向量的所述长度大于或等于所述上限的情况下将所述侵略性水平设定为预定最大值的代码。
27.根据权利要求23所述的计算机程序产品，其进一步包含 用于基于所述运动信息调整曝光会聚保持时间的代码；用于基于所述运动信息增大曝光步长的代码；及用于基于会聚步长调整所述视频俘获装置的亮度水平的代码。
28.根据权利要求23所述的计算机程序产品，其进一步包含用于基于所述运动信息确定所述视频俘获装置是否正在摇摄的代码；及用于基于所述摇摄确定在所述视频俘获装置中执行自动聚焦的代码。
29.一种用于调整视频俘获装置中的参数的设备，所述设备包含 用于确定指示视频俘获装置的运动的运动信息的装置；用于将所述运动信息与上限及下限进行比较的装置；用于基于所述比较确定侵略性水平的装置，其中所述侵略性水平指示所述视频俘获装置的白平衡增益的改变；及用于基于所述侵略性水平确定所述视频俘获装置的新白平衡增益的装置。
30.根据权利要求四所述的设备，其中所述运动信息是使用从所述视频俘获装置中的加速计所接收的数据来确定的，且其中所述运动信息包含所述视频俘获装置的估计平均速度。
31.根据权利要求四所述的设备，其中所述运动信息为运动向量，且其中所述用于确定所述侵略性水平的装置包含用于在所述运动向量的长度小于或等于所述下限的情况下将所述侵略性水平设定为零的装置；用于在所述运动向量的所述长度大于所述下限且小于所述上限的情况下将所述侵略性水平设定为与所述运动向量的所述长度成比例的值的装置；及用于在所述运动向量的所述长度大于或等于所述上限的情况下将所述侵略性水平设定为预定最大值的装置。
32.根据权利要求四所述的设备，其进一步包含 用于基于所述运动信息调整曝光会聚保持时间的装置； 用于基于所述运动信息增大曝光步长的装置；及用于基于会聚步长调整所述视频俘获装置的亮度水平的装置。
33.根据权利要求四所述的设备，其进一步包含用于基于所述运动信息确定所述视频俘获装置是否正在摇摄的装置；及用于基于所述摇摄确定在所述视频俘获装置中执行自动聚焦的装置。
34.一种用于基于运动信息调整视频俘获装置中的参数的方法，其包含 由视频俘获装置确定指示所述视频俘获装置的运动的运动信息； 基于所述运动信息调整曝光会聚保持时间；基于所述运动信息增大曝光步长；及基于会聚步长调整所述视频俘获装置的亮度水平。
35.根据权利要求34所述的方法，其中使用从所述视频俘获装置中的加速计所接收的数据来确定所述运动信息，且其中所述运动信息包含所述视频俘获装置的估计平均速度。
36.根据权利要求34所述的方法，其中所述运动信息为运动向量。
37.根据权利要求36所述的方法，其中所述确定运动向量包含 对第一帧的每一行中的像素值求和以形成第一列向量；对第二帧的每一行中的像素值求和以形成第二列向量； 对所述第一帧的每一列中的像素值求和以形成第一行向量； 对所述第二帧的每一列中的像素值求和以形成第二行向量；确定达到所述第一行向量与所述第二行向量的自相关的峰值所需的第一移位，其中所述第一移位包含所述运动向量的水平分量；及确定达到所述第一列向量与所述第二列向量的自相关的峰值所需的第二移位，其中所述第二移位包含所述运动向量的垂直分量。
38.根据权利要求36所述的方法，其中所述增大曝光步长取决于所述运动向量的长度。
39.根据权利要求34所述的方法，其中所述调整所述曝光会聚保持时间包含将所述曝光会聚保持时间减少百分之四十到百分之六十。
40.根据权利要求34所述的方法，其进一步包含检测所述亮度水平下降到在明度目标的预定范围外的值。
41.根据权利要求36所述的方法，其进一步包含 将所述运动向量与上限及下限进行比较；基于所述比较确定侵略性水平，其中所述侵略性水平指示所述视频俘获装置的白平衡增益的改变；及基于所述侵略性水平确定所述视频俘获装置的新白平衡增益。
42.根据权利要求41所述的方法，其中所述确定所述侵略性水平包含在所述运动向量的长度小于或等于所述下限的情况下将所述侵略性水平设定为零； 在所述运动向量的所述长度大于所述下限且小于所述上限的情况下将所述侵略性水平设定为与所述运动向量的所述长度成比例的值；及在所述运动向量的所述长度大于或等于所述上限的情况下将所述侵略性水平设定为预定最大值。
43.根据权利要求34所述的方法，其进一步包含基于所述运动信息确定所述视频俘获装置是否正在摇摄；及基于所述摇摄确定在所述视频俘获装置中执行自动聚焦。
44.根据权利要求43所述的方法，其中所述执行自动聚焦包含在检测到摇摄的情况下不执行自动聚焦及在未检测到摇摄的情况下执行自动聚焦。
45.一种用于基于运动信息调整视频俘获装置中的参数的设备，所述设备包含 处理器；与所述处理器电子通信的存储器；存储于所述存储器中的指令，所述指令可由所述处理器执行以确定指示视频俘获装置的运动的运动信息；基于所述运动信息调整曝光会聚保持时间；基于所述运动信息增大曝光步长；及基于会聚步长调整所述视频俘获装置的亮度水平。
46.根据权利要求45所述的设备，其中所述运动信息是使用从所述视频俘获装置中的加速计所接收的数据来确定的，且其中所述运动信息包含所述视频俘获装置的估计平均速度。
47.根据权利要求45所述的设备，其中所述运动信息为运动向量。
48.根据权利要求47所述的设备，其中所述可执行以确定运动向量的指令包含可执行以进行以下操作的指令对第一帧的每一行中的像素值求和以形成第一列向量； 对第二帧的每一行中的像素值求和以形成第二列向量； 对所述第一帧的每一列中的像素值求和以形成第一行向量； 对所述第二帧的每一列中的像素值求和以形成第二行向量；确定达到所述第一行向量与所述第二行向量的自相关的峰值所需的第一移位，其中所述第一移位包含所述运动向量的水平分量；及确定达到所述第一列向量与所述第二列向量的自相关的峰值所需的第二移位，其中所述第二移位包含所述运动向量的垂直分量。
49.根据权利要求47所述的设备，其中所述增大曝光步长取决于所述运动向量的长度。
50.根据权利要求45所述的设备，其中所述可执行以调整所述曝光会聚保持时间的指令包含可执行以进行以下操作的指令将所述曝光会聚保持时间减少百分之四十到百分之六十。
51.根据权利要求45所述的设备，其进一步包含可执行以检测所述亮度水平下降到在明度目标的预定范围外的值的指令。
52.根据权利要求47所述的设备，其进一步包含可执行以进行以下操作的指令 将所述运动向量与上限及下限进行比较；基于所述比较确定侵略性水平，其中所述侵略性水平指示所述视频俘获装置的白平衡增益的改变；及基于所述侵略性水平确定所述视频俘获装置的新白平衡增益。
53.根据权利要求47所述的设备，其中所述可执行以确定所述侵略性水平的指令包含可执行以进行以下操作的指令在所述运动向量的长度小于或等于所述下限的情况下将所述侵略性水平设定为零； 在所述运动向量的所述长度大于所述下限且小于所述上限的情况下将所述侵略性水平设定为与所述运动向量的所述长度成比例的值；及在所述运动向量的所述长度大于或等于所述上限的情况下将所述侵略性水平设定为预定最大值。
54.根据权利要求45所述的设备，其进一步包含可执行以进行以下操作的指令 基于所述运动信息确定所述视频俘获装置是否正在摇摄；及基于所述摇摄确定在所述视频俘获装置中执行自动聚焦。
55.根据权利要求M所述的设备，其中所述可执行以执行自动聚焦的指令包含可执行以进行以下操作的指令在检测到摇摄的情况下不执行自动聚焦及在未检测到摇摄的情况下执行自动聚焦。
56.一种用于调整视频俘获装置中的参数的计算机程序产品，所述计算机程序产品包含上面具有指令的计算机可读媒体，所述指令包含用于确定指示视频俘获装置的运动的运动信息的代码； 用于基于所述运动信息调整曝光会聚保持时间的代码； 用于基于所述运动信息增大曝光步长的代码；及用于基于会聚步长调整所述视频俘获装置的亮度水平的代码。
57.根据权利要求56所述的计算机程序产品，其中所述增大曝光步长取决于运动向量的长度。
58.根据权利要求56所述的计算机程序产品，其中所述用于调整所述曝光会聚保持时间的代码包含用于将所述曝光会聚保持时间减少百分之四十到百分之六十的代码。
59.根据权利要求56所述的计算机程序产品，其进一步包含用于检测所述亮度水平下降到在明度目标的预定范围外的值的代码。
60.根据权利要求56所述的计算机程序产品，其中所述运动信息为运动向量，且所述计算机程序产品进一步包含用于将所述运动向量与上限及下限进行比较的代码；用于基于所述比较确定侵略性水平的代码，其中所述侵略性水平指示所述视频俘获装置的白平衡增益的改变；及用于基于所述侵略性水平确定所述视频俘获装置的新白平衡增益的代码。
61.根据权利要求56所述的计算机程序产品，其进一步包含用于基于所述运动信息确定所述视频俘获装置是否正在摇摄的代码；及用于基于所述摇摄确定在所述视频俘获装置中执行自动聚焦的代码。
62.一种用于调整视频俘获装置中的参数的设备，所述设备包含 用于确定指示视频俘获装置的运动的运动信息的装置；用于基于所述运动信息调整曝光会聚保持时间的装置；用于基于所述运动信息增大曝光步长的装置；及用于基于会聚步长调整所述视频俘获装置的亮度水平的装置。
63.根据权利要求62所述的设备，其中所述运动信息为运动向量。
64.根据权利要求63所述的设备，其中所述增大曝光步长取决于所述运动向量的长度。
65.根据权利要求62所述的设备，其中所述用于调整所述曝光会聚保持时间的装置包含用于将所述曝光会聚保持时间减少百分之四十到百分之六十的装置。
66.根据权利要求62所述的设备，其进一步包含用于检测所述亮度水平下降到在明度目标的预定范围外的值的装置。
67.根据权利要求63所述的设备，其进一步包含 用于将所述运动向量与上限及下限进行比较的装置；用于基于所述比较确定侵略性水平的装置，其中所述侵略性水平指示所述视频俘获装置的白平衡增益的改变；及用于基于所述侵略性水平确定所述视频俘获装置的新白平衡增益的装置。
68.根据权利要求62所述的设备，其进一步包含用于基于所述运动信息确定所述视频俘获装置是否正在摇摄的装置；及用于基于所述摇摄确定在所述视频俘获装置中执行自动聚焦的装置。
全文摘要
本发明揭示一种用于使用运动信息调整视频俘获装置中的参数的方法。确定指示视频俘获装置的运动的运动信息。将所述运动信息与上限及下限进行比较。基于所述比较确定侵略性水平，所述侵略性水平指示所述视频俘获装置的白平衡增益的改变。基于所述侵略性水平确定所述视频俘获装置的新白平衡增益。基于所述运动信息调整曝光会聚保持时间。基于所述运动信息增大曝光步长。基于会聚步长调整所述视频俘获装置的亮度水平。
文档编号H04N5/232GK102396215SQ201080017113
公开日2012年3月28日 申请日期2010年4月20日 优先权日2009年4月20日
发明者塞波·R·洪, 梁亮, 鲁本·M·贝拉尔德 申请人:高通股份有限公司