不良光照条件下的增强视频捕获的制作方法

相关申请数据

本申请要求于2015年6月2日提交的美国非临时申请no.14/727,907的优先权，其全部内容通过引用并入本文。

本公开的技术总体上涉及电子装置，并且更具体地涉及用于在低光照条件下增强视频捕获的技术。

背景技术：

诸如照相机、智能电话、平板电脑、笔记本电脑等的电子装置包括用于捕获视频片段的照相机功能。在有利的光照条件下，通常不需要额外的照明来获得高质量的视频。然而，当在低光照条件下(例如，在室内或在多云/阴天时)捕获视频时，环境光可能不是最佳的，并且这可能导致低于最佳的视频质量。

为了补偿不理想的光照条件，大多数电子装置包括辅助光源(例如，led光源)以在视频捕获期间提供额外的光。虽然这样的光源可以提高捕获的视频的质量，但它可能有缺点。例如，当使用辅助光源时，相对于在没有辅助光源的情况下的视频捕获中捕获到的前景特征，可以增强视频中所捕获到的前景特征。然而，使用辅助光源捕获到的背景特征可能不会被增强，并且在大多数情况下背景特征比没有辅助光源时捕获到的背景特征更暗。而且，使用光源可能导致视频中的主体重影，这是不希望的。

技术实现要素：

根据本公开，提供了一种用于增强低光照条件下所捕获的视频的电子装置和方法。为了提供增强的视频，使用环境光捕获两个连续的子帧中的一个，并且使用环境光与由光源(例如，电子装置的led灯)生成的光相结合来捕获两个连续的帧中的另一个。然后基于对两个连续的子帧的分析来生成单个帧(被称为主帧)。针对每个连续的主帧重复该过程以实时产生连续的视频。

根据本公开的一个方面，一种使用电子装置捕获视频帧的方法包括：使用环境光捕获第一子帧；在电子装置的控制下使用环境光和光源捕获第二子帧；以及基于第一子帧和第二子帧的结合来生成主帧。

根据本公开的一个方面，一种电子装置包括：照相机；光源；以及可操作用于生成视频的控制电路，该控制电路被配置为使用环境光来捕获第一子帧，使用环境光和所述电子装置的光源来捕获第二子帧，并且基于第一子帧和第二子帧的结合生成主帧。

为了实现前述及相关目的，所述装置和方法包括在说明书下文中充分描述并在权利要求中具体指出的特征，下面的描述和附图详细地阐述了某些说明性的实施方式，然而，这些只是表示了其中可以适当采用本发明原理的各种方式中的一些方式。

尽管在各自的附图/实施方式中描述并示出了不同的特征，但应当理解，所给出的附图或实施方式的特征可以在本发明的一个或更多个其它附图或实施方式中使用。

附图说明

图1a示出了使用低级环境光捕获的对象的示例性视频帧。

图1b示出了使用低级环境光和来自辅助光源的光的图1a的对象的示例性视频帧。

图1c示出了已经根据本公开增强的图1a和图1b的对象的示例性视频帧。

图2示出了根据本公开的来自第一子帧和第二子帧的像素的样本。

图3是示出生成根据本公开捕获的增强的视频的示例性方法的流程图。

图4是根据本公开的包括视频增强功能的电子装置的原理框图。

具体实施方式

现在将参照附图来描述实施方式，其中相同的参考标号通篇被用于指代相同的元件。应当理解，附图不一定按比例绘制。此外，相对于一个实施方式描述和/或示出的特征可以以相同的方式或相似的方式用于一个或更多个其它实施方式，和/或与其它实施方式的特征相结合使用或者代替其它实施方式的特征。

将在实现为移动电话的电子装置的上下文中描述实施方式。然而，应当理解，根据本公开的原理不限于移动电话，并且可以应用于其它电子装置，包括但不限于膝上型计算机、平板电脑、照相机、智能手表或者采用视频捕获功能的任何便携式电子装置。

本公开描述了一种用于在低光照条件下增强经由电子装置的照相机捕获的视频的装置和方法。就此而言，视频包括多个主帧，其中每个主帧是从已经连续捕获的一系列子帧(例如，两个)中生成的。使用可用的环境光来捕获子帧中的一个(例如，第一子帧)。例如，在不使用辅助光源(例如，不使用电子装置的辅助光源)的情况下捕获第一子帧。在捕获第一子帧之后，使用可用的环境光以及辅助光源来捕获第二子帧。

辅助光源可以是用于为视频捕获提供照明的任何光源。在一个实施方式中，辅助光源被集成在电子装置内。在另一实施方式中，辅助光源与电子装置分离。然而，在两个实施方式中，辅助光源都处于电子装置的控制下，以便为相应的帧提供适当的时机。

优选地，辅助光源被实现为与电子装置一体的led光源。辅助光源可以由电子装置控制以便与第二帧的捕获同步。相反，当使用辅助光源获得子帧时，前景部分倾向于生动和明亮，而背景部分基本上丢失。就此而言，辅助光源以基于视频捕获的采样率的频率脉冲开启和关闭。例如，如果以120fps(每秒帧数)捕获视频，其中使用环境光捕获一帧，并且使用环境光和辅助光源生成的光捕获另一帧，则辅助光源将需要每隔一帧被脉冲开启和关闭(即，对于本示例，每秒60次)。辅助光源可以在第二帧的整个捕获时段期间被启用，或者仅在捕获时段的一部分期间被启用。优选地，辅助光源仅在捕获时段的一部分期间被启用。以最小化人眼对脉冲光的察觉的预定帧速率捕获视频可以是有利的。这样的频率可以是60fps或更大，这将提供每秒30次的光脉冲。

一捕获到第一子帧和第二子帧，就比较各个子帧的像素数据以确定哪一个子帧具有最大亮度。例如，当在使用环境光的低光照条件下(即，不使用辅助光源)获得子帧图像时，可以捕获显示前景和背景部分二者的图像，但是前景和背景部分可能暗淡和/或可能仅产生对象的黑暗轮廓。这在图1a中被示出，其表示在低光照条件下获得的第一子帧10a。如图所示，前景部分12a和背景部分14a都是可见的，但是它们二者都可能倾向于缺乏色彩鲜艳度(未示出)和/或整体图像亮度(由对象的衬衫和脸上的黑暗部分表示)。相比之下，当使用辅助光源获得子帧时，前景部分倾向于生动且明亮，而背景部分基本上丢失。图1b示出了这样的情境(在极端情况下)，其中，第二子帧10b的前景部分12b明亮且清晰，并且背景部分14b丢失(即，表现为黑色图像)。

为了确定哪个像素具有最高亮度，可以将来自第一子帧10a的每个像素与第二子帧10b中的对应像素进行比较。例如，该比较可以集中于各个像素的亮度，并且可以标记具有较高亮度的像素。图2示出了在前景部分与背景部分之间的过渡处，来自第一子帧10a的六个示例性像素和来自第二子帧10b的六个示例性像素，其中在每个像素内的数字表示该像素的亮度。可以看出，第二子帧10b的前景像素12b具有比第一子帧10a的前景12a中的对应像素更高的亮度值。因此，第二子帧10b的前景像素12b被标记用于主帧10中。类似地，第一子帧10a的背景像素14a具有比第二子帧10b的背景14b中的对应像素更高的亮度值。因此，第一子帧10a的背景像素14a被标记用于主帧10中。

一旦从每个子帧中识别出具有最高亮度的像素，就如图1c所示，由每个子帧中标记的像素(即，具有较高亮度的像素)构成主帧10。因此，主帧10可以由第一子帧10a的一些像素和第二子帧10b的一些像素形成。例如，主帧10的前景像素12可以包括第二子帧10b的前景像素12b(其使用辅助光获得)，并且主帧10的背景像素14可以包括第一子帧10a的背景像素14a(其在不使用辅助光的情况下获得)。以这种方式，每个视频帧被增强。

现在参照图3，示出了描绘根据本公开的增强视频捕获的示例性方法的流程图。虽然方法描述和流程图可以显示执行步骤的具体顺序，但是执行步骤的顺序可以相对于所描述的顺序而改变。此外，连续描述的两个或更多个步骤可以同时执行或部分同时执行。所描述或示出的步骤中的一个或更多个可以被省略。

图3的示例性方法可以使用存储在一个或更多个非暂时性计算机可读介质(诸如闪存、只读存储器(rom)、随机存取存储器(ram)、高速缓存或在其中存储信息达任何持续时间(例如，延长的时间段、永久的、短暂的实例、用于临时缓冲和/或用于信息的高速缓存)的任何其它存储介质)上的编码指令(例如，计算机可读指令)。如本文所使用的，术语非暂时性计算机可读介质被明确地定义为包括任何类型的计算机可读介质并且排除传播信号。典型的非暂时性计算机可读介质包括电子存储器装置、磁存储器装置和光存储器装置。该方法可以由电子装置执行。在一个实施方式中，为了执行该方法，由电子装置的处理器执行实现该方法的逻辑指令。另选地，该方法可以至少部分地以电子装置的硬件(例如，专用集成电路(asic)等)来实现。

该方法可以在步骤22开始，其中辅助光源被禁用。换句话说，辅助光源被关闭，使得仅存在本地环境中的环境光。接下来在步骤24，使用可用的环境光针对感兴趣的对象(例如，人、宠物、风景、事件等)获得第一子帧10a的视频数据。一旦捕获到第一子帧10a，就可以将其暂时存储(例如，存储在存储器中)以供主帧的处理。

接下来在步骤26，辅助光源被启用，即被打开。因此，除了本地环境中的环境光之外，还有额外的光可用于图像捕获。在步骤28，在启用辅助光源的同时捕获针对感兴趣的对象的第二子帧10b，并且也可以存储该第二子帧以供主帧10的后续处理。

由于辅助光源被启用，所以相对于在第一子帧10a中捕获的相同对象，至少在第二子帧10b中捕获的前景对象的图像质量被提升。然而，如上所述，相对于在第一子帧10a中捕获的相同背景对象，在第二子帧10b中捕获的背景对象的图像质量可能具有较低的质量。子帧之间的特定质量下降可以取决于许多因素，包括可用的环境光、前景对象与背景对象之间的间隔(间隔越大，劣化越厉害)、捕获图像的传感器的灵敏度等。

接下来在步骤30，辅助光源被禁用，即被关闭。辅助光源打开(步骤26)并然后关闭(步骤30)的时间段小于用于视频捕获的采样周期的一半。因此，例如，如果以60fps捕获视频(由于使用两个子帧来创建每个主帧，这将导致30fps的最终视频)，则辅助光源的“打开时间段”小于8.3ms(例如，1/2*1/60)。更优选地，该时间段明显更短，并且可以在0.25ms或更少的数量级上。短的“打开时间段”的优点在于人眼可能不会察觉辅助光源的开/关脉冲。

接下来在步骤32，确定在捕获第一子帧10a与捕获第二子帧10b之间是否存在感兴趣的对象的移动。检测移动的目的是确定第二子帧10b是否需要与第一子帧10a进行同步。例如，为了将来自第一子帧10a的像素与第二子帧10b的对应像素进行比较，这两个像素应表示被捕获对象的相同部分。如果在第二子帧10b中捕获到的对象从第一子帧10a的捕获开始就已经移动，那么为了执行对彼此对应的像素的精确比较，确定这样的移动的量将是有利的。在步骤34检测到移动的情况下，则该方法移至步骤36，在步骤36中执行同步过程，以便对齐/识别来自每个子帧的对应像素。

存在用于确定捕获的帧之间的对象的移动并使每个帧中的各个对象同步的各种已知方法。例如，这个问题从隔行视频(诸如模拟电视或1080i格式的hdtv信号)的去交错中进行了充分的研究，其中将两个连续的半分辨率帧组合成单个全分辨率逐行帧。用于去隔行的最新算法已经包括对象移动检测和补偿，以便更好地将帧混合在一起。在本文所述的方法中可以使用在现有技术的视频去隔行中使用的相同的运动检测和补偿算法。应注意的是，省略了通过将在去隔行算法中执行的行数翻倍来组合两个连续的帧的步骤，而是如本文所描述的那样组合像素(例如，使用具有最高亮度的像素来创建增强的帧)。一旦检测到移动并随后同步子帧，该方法就移至步骤40，这将在下面进行讨论。

移回至步骤34，如果在子帧之间没有检测到移动，则该方法绕过步骤36并且移至步骤40，其中第一子帧10a的每个像素与第二子帧10b的对应像素进行比较。例如，可将第一子帧10a的第一像素(例如，像素0a，0a)与第二子帧10b的第一像素(例如，像素0b，0b)进行比较以确定哪个像素具有更高亮度。具有更高亮度的像素然后可以被标记为如步骤42所指示的最佳像素，并然后将第一子帧10a的下一个像素与第二子帧10b的对应像素进行比较。重复该过程，直到已经比较了各个子帧10a和10b的全部(或基本上全部)像素为止，如步骤44所指示的。

另选地，可以基于来自两个子帧的像素的加权组合(加权因子可以相等或不相等)来计算主帧的像素。例如，可以基于来自第一子帧的像素和来自第二子帧的对应像素来计算算术平均值。可以基于各个像素的亮度和色度的算术平均值将在第一子帧和第二子帧的像素之间提供相等的加权。另外，可以改变加权因子，使得第一子帧或第二子帧中的一个中的像素比第一子帧或第二子帧中的另一个中的像素具有更大的影响。这样的不相等的加权可以是用户可选择的，例如，通过电子装置上的菜单设置、滑动条等。

一旦来自第一子帧10a的像素已经与第二子帧10b的对应像素进行了比较，该方法就移至步骤46，在该步骤构建增强的主帧10。更具体地，第一子帧10a的被标记为具有比第二子帧10b的对应像素更高的亮度的像素被用于构建增强帧的第一部分。类似地，第二子帧10b的被标记为具有比第一子帧10a的对应像素更高的亮度的像素被用于构建增强帧的第二部分，其中第一部分和第二部分形成一个完整的帧。然后该方法移至步骤48，在该步骤增强的主帧被存储为主帧10，并且该方法移回至步骤24，并且针对下一帧重复该过程。该过程实时地继续，直到用户完成视频捕获过程为止。

上述方法可以由电子装置60来执行，图4中示出了其中的一个示例，其以移动电话的形式示出。电子装置60可以是期望捕获感兴趣的对象的视频的任何类型的电子装置，其示例包括照相机、智能手表、游戏装置、通信器、便携式通信设备、手镯、护目镜、电话等。应理解的是，图4中示出的某些特征可能不被包括在所有各种类型的电子装置中。例如，实现为照相机的电子装置可能不包括用于发出无线电话呼叫的电路。

电子装置60包括视频增强功能20，该视频增强功能20被配置为生成增强的视频数据，如关于图1至图3所描述的。电子装置60可以包括显示器62。显示器62向用户显示使得用户能够利用电子装置60的各种特征的诸如操作状态、时间、电话号码、联系信息、各种菜单等的信息。显示器62还可以用于可视地显示由电子装置60接收到的内容和/或从电子装置60的存储器64中检索到的内容。显示器62可以用于向用户呈现图像、视频和其它图形，诸如照片、移动电视内容、互联网页面以及与游戏相关联的视频。

按钮66提供各种用户输入操作。例如，按钮66可以包括用于允许输入信息的按钮、特殊功能按钮(例如，呼叫发送和应答按钮、多媒体播放控制按钮、照相机快门按钮等中的一个或更多个)、导航和选择按钮或指示装置，等等。按钮或类似按钮的功能也可以实现为与显示器62相关联的触摸屏。而且，显示器62和按钮66可以彼此结合使用以实现软键功能。

电子装置60可以包括使得电子装置60能够与另一装置建立通信的通信电路。通信可以包括呼叫、数据传输等。呼叫可以采取任何合适的形式，例如但不限于语音呼叫和视频呼叫。这些呼叫可以通过蜂窝电路交换网络来执行，或者可以是网络语音(voip)呼叫的形式，该呼叫是通过蜂窝网络的分组交换能力建立的或者通过另选的分组交换网络(例如，与通常被称为wifi的ieee802.11兼容的网络，或与通常被称为wimax的ieee802.16兼容的网络)建立的。数据传输可以包括但不限于接收流式内容(例如，流式音频、流式视频等)、接收数据馈送(例如，推送的数据、播客、简易信息聚合(rss)数据馈送数据馈送)、下载和/或上传数据(例如，图像文件、视频文件、音频文件、铃声、互联网内容等)、接收或发送消息(例如文本消息、即时消息、电子邮件消息、多媒体消息)等等。该数据可以由电子装置30处理，包括将数据存储在存储器64中、执行应用以允许用户与数据交互、显示与数据相关联的视频和/或图像内容、输出与数据相关联的音频声音，等等。

在示例性实施方式中，通信电路可以包括联接到无线电电路70的天线68。无线电电路70包括用于经由天线68发送和接收信号的射频发射器和接收器。

无线电电路70可以被配置为在移动通信系统中操作。用于与移动无线电网络和/或广播网络进行交互的无线电电路70类型包括但不限于全球移动通信系统(gsm)、码分多址(cdma)、宽带cdma(wcdma)、通用分组无线电服务(gprs)、wifi、wimax、手持数字视频广播(dvb-h)、综合业务数字广播(isdb)、高速分组接入(hspa)等，以及这些标准的高级版本或任何其它适当的标准。应当理解，电子装置60可以能够使用多于一个的标准进行通信。因此，天线68和无线电电路70可以表示一个或更多个无线电收发器。

电子装置60可以包括主控制电路72，其被配置为对电子装置60的功能和操作进行总体控制。控制电路72可以包括处理装置74，诸如中央处理单元(cpu)、微控制器或微处理器。处理装置74执行存储在控制电路64内的存储器(未示出)中和/或存储在单独的存储器(诸如，存储器64)中的代码，以便执行电子装置60的操作。例如，处理装置74可以执行实现视频增强功能20的代码。存储器64例如可以是缓冲器、闪存、硬盘驱动器、可移除媒体、易失性存储器、非易失性存储器、随机存取存储器(ram)、或其它适合的装置。在典型的布置中，存储器64可以包括用于长期数据存储的非易失性存储器和用作控制电路72的系统存储器的易失性存储器。存储器64可以通过数据总线与控制电路72交换数据。在存储器64与控制电路72之间还可能存在随附的控制线和地址总线。

电子装置60还可以包括声音信号处理电路76，其用于处理由无线电电路70发送和从无线电电路70接收的音频信号。联接至声音处理电路76的是扬声器78和麦克风80，它们使得用户能够通过电子装置60收听和讲话。无线电电路70和声音处理电路74各自联接到控制电路72以便执行整体操作。音频数据可以从控制电路72传递到声音信号处理电路76以供用户回放。音频数据可以包括例如来自由存储器64存储并由控制电路72检索的音频文件的音频数据，或者接收到的诸如来自移动无线电服务的语音通信或流式音频数据的形式的音频数据。声音处理电路74可以包括任何适当的缓冲器、解码器、放大器等等。

显示器62可以通过将视频数据转换成用于驱动该显示器62的视频信号的视频处理电路82联接到控制电路72。该视频处理电路82可以包括任何适当的缓冲器、解码器、视频数据处理器等等。视频数据可以由控制电路72生成、从存储在存储器64中的视频文件中检索、从由无线电电路70接收到的或通过任何其它合适的方法获得的输入视频数据流导出。

电子装置30还可以包括一个或更多个输入/输出(i/o)接口84。i/o接口84可以包括一个或更多个电连接器。i/o接口84可以形成一个或更多个数据端口，用于通过电缆将电子装置60连接到另一装置(例如，计算机)或配件(例如，个人免提(phf)装置)。此外，可以通过i/o接口54来接收工作电力，并且可以通过i/o接口84来接收用于充电电子装置60内的供电单元(psu)86的电池的电力。在没有外部电源时，psu86可以提供用于操作电子装置30的电力。

电子装置60还可以包括各种不同的其它组件。例如，系统时钟88可以对诸如控制电路72和存储器64的组件进行计时。存在用于拍摄数字图片和/或电影的照相机90，以及辅助照明装置92(例如，可以脉冲开启和关闭的led灯等)。对应于图片和/或影片的图像和/或视频文件可以被存储在存储器64中。诸如红外收发器和/或rf收发器(例如，蓝牙芯片组)的本地无线接口94可以用于建立与附近装置(诸如配件(例如，phf装置)、另一移动无线电终端、计算机或其它装置的通信。

尽管已经显示和描述了某些实施方式，但是应该理解，在阅读和理解本说明书之后，本领域技术人员将会想到落入所附权利要求的范围内的等同物和修改。