用于时移视频的曝光计量的系统和方法
【专利说明】用于时移视频的曝光计量的系统和方法
[0001]相关申请的交叉引用
[0002]本公开涉及申请号为14/292，316、标题为“Systems and Methods for Time LapseVideo Acquisit1n and Compress1n”、代理人案号为P23505US1 (119-0811US1)的共同转让的美国专利申请的主题，该申请于2014年5月30日提交(“‘316申请”)。
技术领域
[0003]本公开总地涉及视频捕捉领域，更具体地讲，涉及获取时移(timelapse)视频时的曝光计量。
【背景技术】
[0004]便携式集成计算设备的出现引起了照相机和视频设备的广泛激增。这些集成计算设备常采取智能电话或平板的形式，通常包括通用计算机、照相机、包括触摸敏感屏幕的复杂用户界面、以及通过WiF1、LTE、HSDPA和其他基于蜂窝的技术或无线技术的无线通信能力。这些集成设备的广泛激增提供了使用该设备执行任务的能力的机会，这些任务否则将需要专用的硬件和软件。例如，如以上所指出的，集成设备，诸如智能电话和平板，通常具有一个或多个嵌入照相机。这些照相机通常相当于可以通过通用计算机使用固件和/或软件(例如，“App”)以及包括触摸屏固定按钮和非触摸式控件(诸如语音控件)的用户界面进行控制的透镜/照相机硬件模块。
[0005]照相机集成到通信设备(诸如智能电话和平板)中使得人们能够以以前永不可能的方式分享图像和视频。现在，获取照片并且立即通过经由文本消息、SMS或电子邮件发送照片或者通过将照片上传到基于互联网的网站(诸如社交网站或照片共享网站)来与其他人分享照片是非常流行的。
[0006]在一些情况下希望的是，在跨越几分钟直至几天的时间段的非常长的时间段捕捉视频，并且加速这些视频的回放以使得观看者可以看见在短时间跨度(比如说二十至四十秒)发生的所有动作。这常被称为时移视频。因此，需要动态地加速时移视频的回放、同时仍然生成具有令人愉悦的样子的视频的方法。
【发明内容】
[0007]本文中公开了用于获取时移视频的设备和方法。在时移视频中，图像是以低于它们的回放帧率的帧率捕捉的(通常用每秒帧“fps”表达)。以高于被捕捉的帧的捕捉速率的速率回放这些帧导致大多数人熟悉的时移效果。例如，盛开的花的图像可能是在几天或几星期的时间段以每小时一帧的帧率捕捉的。当以30fps的速率回放这些图像时，花将表现为在大约几秒之内盛开。同样地，日落可能是以每分钟几帧的帧率记录，并且以正常帧率回放，以提供整个日落的20秒片段。
[0008]当在延长时间段获取图像时，诸如周围光的条件可能改变。例如，在花的例子中，周围光随着一天过去而改变，并且某些天可能比其他天更亮。许多照相机包括自动曝光(AE)特征，AE特征自动地基于光条件设置曝光参数，诸如快门速度、光圈设置、图像传感器灵敏度、白平衡等。照相机的AE特征调整视频图像拍摄期间的曝光参数以将周围条件的变化考虑在内。当以正常帧率，例如，30fps拍摄时，周围条件在随后的图像之间通常不会改变很多，因为随后的图像之间的持续时间太短。因此，在随后的图像之间仅需要对曝光参数进行小增量调整。
[0009]当记录时移视频时，图像的获取不太频繁，并且周围条件在随后的图像之间可能改变很多。因此，照相机的AE功能可能在随后的图像之间更大地改变曝光参数。当以高帧率回放具有明显不同的曝光参数的顺序图像时，被称为闪烁的闪光状伪像可能被引入到回放的视频中。
[0010]本文中所描述的方法和设备减小或阻止时移视频中的闪烁效果。所述方法涉及对于每个捕捉时间捕捉一个图像集合(bracket)，每个图像具有不同的曝光值。一旦在整个持续时间捕捉到图像，就从每个集合选择单张图像，并且将这些图像编码以形成时移视频。每个集合中的图像被选为最小化图像之间的曝光参数的突然变化，从而最小化时移视频中的闪烁。
【附图说明】
[0011]图1例示视频记录期间的变化的光条件和变化的相对曝光值。
[0012]图2例示所计算的时移视频记录期间的相对曝光变化。
[0013]图3例示在每个获取时间使用包围曝光(exposure bracket)来选择具有局部类似的曝光值的图像以提供没有闪烁并且曝光变化平滑的时移视频。
[0014]图4例示用于捕捉并且处理时移视频的示例性电子设备。
【具体实施方式】
[0015]公开了提供使一个或多个处理单元记录时移视频的指令的系统、方法和程序存储设备。本文中所公开的技术适用于任何数量的具有显示器的电子设备:诸如数字照相机、数字摄像机、移动电话、个人数字助理(PDA)、便携式音乐播放器、监视器、以及当然，台式、膝上型和平板计算机显示器。
[0016]在以下描述中，为了说明的目的，阐述了许多特定细节，以便提供本发明构思的透彻理解。作为该描述的一部分，本公开的一些附图以框图形式表示结构和设备，以便避免模糊本发明。为了清晰，并非实际实现的所有特征都在本说明书中描述。而且，本公开中所使用的语言主要是出于可读性和指导的目的而选择的，可能未被选为描写或界定本发明主题，依赖于权利要求是确定这样的发明主题所必要的。本公开中对于“一个实施例”或“实施例”的论述意指，结合该实施例描述的特定的特征、结构或特性被包括在本发明的至少一种实现中，并且对于“一个实施例”或“实施例”的多个论述不应被理解为必定全都指的是同一个实施例。
[0017]将意识到在任何实际实现的开发中(如任何开发计划中)，必需做出实现开发者的特定目标(例如，与系统相关约束和业务相关约束的兼容性)的许多决策，并且这些目标在不同实现中可以变化。还将意识到，这样的开发工作可能是复杂的、耗时的，但是尽管如此，却将是本领域的普通技术人员在设计受益于本公开的图像处理系统的实现时承担的日常工作。
[0018]时移通过以快于一系列图像的获取速率(在本文中称为“获取帧率”)的帧率(在本文中称为“回放帧率”)回放这些图像来实现。为了下面的讨论，回放帧率将总是被假定为30fps，但是回放可以以任何速率，例如60fps。作为例子，以15fps的获取帧率捕捉源视频40秒得到600个图像。以30fps的回放帧率回放这600个图像得到20秒的时移视频。为了创建跨越更长持续时间的事件的20秒时移视频，需要更慢的获取帧率。例如，以7.5fps的获取帧率捕捉源视频80秒得到600个图像，这600个图像可以以30fps回放以提供20秒的时移视频。从48小时获取的源视频生成20秒的时移视频将要求大约每五分钟获取一帧(再次，假定30fps回放速率)。
[0019]如果因为用户不能知道提供构成时移片段的适当数量的图像需要什么获取帧率，所以他们不会提前知道他们将获取多久的源视频，则出现问题。该问题的解决方案是，以足够高的帧率获取源视频，然后，当获取完成时，根据需要丢弃帧以得到适当的“有效帧率”。例如，将源视频的40秒片段缩减为20秒的时移视频的方法将是:(1)以30fps的获取帧率获取源视频40秒，得到1200个图像；(2)丢弃一半图像(例如，每隔一个图像丢弃)，得到总共600个图像；以及(3)以30fps回放剩余的600个图像，得到20秒的时移视频。因为一半图像被丢弃，所以获取帧率“有效地”为15fps，即使视频实际上是以30fps获取的。因此，术语“有效获取帧率”在本文中用于指代剩余的图像的数量除以真实获取时间。当以30fps回放时，视频中的动作将表现为以“逼真”动作两倍的速度移动。为了从较长源视频片段创建20秒的时移视频，将必须丢弃更多图像。例如，以30fps记录的80秒的源视频将得到2400个图像。丢弃这些图像中的1800个图像(S卩，每四个图像保存一个)将留下600个图像，再次提供用于以30fps回放的20秒的时移视频。随着获取源视频的时间长度增长，为了得到时移视频而将被丢弃的图像的数量也增加。
[0020]与本申请同时提交的共有的专利申请N0.14/292，316描述了用于获取并且处理时移视频的自适应算法。专利申请N0.14/292,316的整个内容通过引用并入本文。