成像传感器子区域中的选择性高帧速率视频捕获的制作方法

本发明涉及捕获视频的方法和对应配置的装置。

背景技术：

各种电子装置(例如，智能电话、平板计算机或数码相机)还支持视频的捕获。为此，这种装置可以装配有例如基于ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)技术的成像传感器。捕获视频的典型帧速率在每秒20帧到每秒60帧的范围内。使用更高的帧速率例如可以通过避免高速移动的对象的模糊来提供更高质量的所捕获视频。在一些场景中，例如在记录缓慢运动视频时可以期望捕获视频的甚至更高帧速率。

然而，使用更高帧速率通常还以增加的资源使用(例如关于用于成像传感器的读出所要求的能量或用于存储所捕获图像数据所要求的存储器)为代价。因此，以高帧速率且高分辨率这两者捕获视频数据是要求较高的任务。

因此，需要允许高效捕获高质量视频的技术。

技术实现要素：

根据本发明的实施方式，提供了一种捕获视频的方法。根据该方法，由成像传感器(例如，基于像素阵列的传感器，诸如ccd图像传感器或cmos图像传感器)捕获视频数据。例如通过向所捕获的视频数据的不同视频帧应用图像分析来在所捕获的视频数据中检测运动。确定成像传感器的整个成像区域的至少一个子区域。子区域被确定为对应于所检测的运动的位置。在所确定的子区域中，应用比在整个成像区域的其它部分中的视频捕获帧速率高的视频捕获帧速率。在子区域中应用的视频捕获帧速率可以相对于在整个成像区域的其它部分中的视频捕获帧速率增大至少因数2。例如，如果在整个成像区域的其它部分中的视频捕获帧速率在20帧每秒至60帧每秒的范围内，则在子区域中应用的更高视频捕获帧速率可以为200帧每秒到1000帧每秒。

根据实施方式，上面提及的视频数据的捕获包括：捕获覆盖整个成像区域的第一视频帧和第二视频帧；和在捕获第一视频帧与捕获第二视频帧之间的时间间隔中，捕获仅覆盖所确定的子区域的一个或更多个另外视频帧的序列。

根据实施方式，该方法还包括以下步骤：将所述一个或更多个另外视频帧中的每一个与第一视频帧和第二视频帧中的至少一个组合成覆盖整个成像区域的对应中间视频帧。

根据实施方式，上面提及的运动的检测基于一个或更多个另外视频帧。另外，运动的检测还可以考虑上面提及的第一视频帧和/或第二视频帧。运动的检测可以包括识别由所捕获的视频数据表示的至少一个移动对象。

根据实施方式，上面提及的子区域的确定包括：对于一个或更多个另外子帧中的每一个，预测移动对象的位置，并且确定各个另外子帧中的覆盖移动对象的子区域。

根据实施方式，上面提及的子区域的确定包括：预测移动对象的位置，并且确定所有另外子帧中的覆盖移动对象的子区域。

上面提及的子区域的确定可以涉及设置子区域的尺寸和/或子区域在整个成像区域中的位置。

根据实施方式，上面提及的方法还包括以下步骤：检测成像传感器的全局运动。这可以基于所捕获的视频数据和/或基于一个或更多个运动传感器来完成。响应于检测到成像传感器的运动，可以在整个成像区域的所有部分中应用更高视频捕获帧速率，并且可以减小在整个成像区域中捕获视频数据的像素分辨率。

根据本发明的另外实施方式，提供了一种装置。该装置包括成像传感器(例如，基于像素阵列的传感器，诸如ccd图像传感器或cmos图像传感器)。进一步地，该装置包括至少一个处理器。至少一个处理器被配置为由成像传感器捕获视频数据。进一步地，至少一个处理器被配置为基于所捕获的视频数据检测运动。进一步地，至少一个处理器被配置为确定图像传感器的整个成像区域的与所检测的运动的位置对应的至少一个子区域。进一步地，至少一个处理器被配置为在所确定的子区域中，应用比在整个成像区域的其它部分中应用的视频捕获帧速率高的视频捕获帧速率。

至少一个处理器可以被配置为执行根据上述实施方式的方法的步骤。

因此，至少一个处理器可以被配置为通过以下操作来捕获视频数据：捕获覆盖整个成像区域的第一视频帧和第二视频帧；和在捕获第一视频帧与捕获第二视频帧之间的时间间隔中，捕获仅覆盖所确定的子区域的一个或更多个另外视频帧的序列。

进一步地，至少一个处理器可以被配置为将所述一个或更多个另外视频帧中的每一个与第一视频帧和第二视频帧中的至少一个组合成覆盖整个成像区域的对应中间视频帧。

进一步地，至少一个处理器可以被配置为基于一个或更多个另外视频帧来执行上面提及的运动的检测。

进一步地，至少一个处理器可以被配置为通过识别由所捕获的视频数据表示的至少一个移动对象来执行上面提及的运动的检测。

进一步地，至少一个处理器可以被配置为通过以下操作来执行上面提及的子区域的确定：对于一个或更多个另外子帧中的每一个，预测移动对象的位置，并且确定各个另外子帧中的覆盖移动对象的子区域。

进一步地，至少一个处理器可以被配置为通过以下操作来执行上面提及的子区域的确定：预测移动对象的位置，并且确定所有另外子帧中的覆盖移动对象的子区域。

进一步地，至少一个处理器可以被配置为检测成像传感器的全局运动，并且响应于检测到成像传感器的全局运动，在整个成像区域的所有部分中应用更高视频捕获帧速率，并且在整个成像区域中减小捕获视频数据的像素分辨率。至少一个处理器可以被配置为基于所捕获的视频数据和/或基于一个或更多个运动传感器检测全局运动。

现在将参照附图更详细地描述本发明的上述和另外实施方式。

附图说明

图1示意性地例示了根据本发明的实施方式的装置。

图2示意性地例示了根据本发明的实施方式的操作成像传感器的场景。

图3示出了例示根据本发明的实施方式的方法的流程图。

图4示意性地例示了根据本发明的实施方式的装置的基于处理器的实现。

具体实施方式

在下文中，将更详细地描述本发明的示例性实施方式。应理解，以下描述仅是为了例示本发明的原理的目的而给出，而不是在限制意义上作出。相反，本发明的范围仅由所附权利要求来限定，并且不旨在受下文中描述的示例性实施方式限制。

所例示的实施方式涉及由成像传感器捕获视频。成像传感器可以包括用于从被成像场景发出的光的空间分辨检测的像素阵列。成像传感器例如可以基于ccd或cmos技术。一方面，覆盖成像传感器的整个成像区域的普通视频帧通常使用成像传感器的全像素分辨率以视频捕获的基础帧速率被捕获。进一步地，仅覆盖成像区域的子区域的另外视频帧以视频捕获的更高帧速率(即，以高于基础帧速率的帧速率)被捕获。这可以通过在捕获两个随后普通视频帧之间的时间间隔中捕获另外视频帧的序列来实现。取决于序列中另外视频帧的数量，视频捕获帧速率被增加对应因数(例如，两个随后普通视频帧之间的一个另外视频帧对应于因数2，两个随后普通视频帧之间的两个另外视频帧对应于因数3等)。通过将以更高帧速率捕获限于仅子区域，可以避免过多资源使用。

在所例示实施方式中，子区域基于如在所捕获的视频数据中检测的运动来确定。具体地，子区域的位置和/或尺寸可以被确定为与在所捕获的视频数据中检测的移动对象的位置和/或尺寸匹配。因此，更高的帧速率可以应用于整个成像区域的必须实现移动对象的高质量成像的部分中。

图1示意性地例示了装置100。在图1的示例中，假定用户装置100是智能电话、平板计算机或数码相机(例如，袖珍相机、系统相机、摄录像机、动作相机或生活记录相机)。如图例示，装置100装配有相机110，该相机依次装配有上面提及的成像传感器(图1中未示出)。假定相机110支持以高分辨率(例如，以1920×1080像素的“全hd”分辨率或者甚至更高的分辨率(诸如3840×2160像素或者甚至7680×4320像素的“超hd”分辨率))捕获数字视频。进一步地，假定相机110支持在其成像区域的不同部分中的视频捕获的不同帧速率的使用。例如，在成像区域的大部分中，可以应用视频捕获的基础帧速率。基础帧速率例如可以对应于24、30、50或60帧每秒。在成像区域的一个或更多个子区域中，可以应用更高帧速率(例如，在100至1000帧每秒的范围内)的视频捕获。如上面提及的，该子区域的位置和/或尺寸可以根据在所捕获的视频数据中检测的运动来控制。

图2示意性例示了可以在相机110中使用的示例性成像传感器112和控制子区域的位置和/或尺寸的示例性场景。如例示的，成像传感器112包括限定成像传感器112的整个成像区域的像素阵列114。进一步地，图2例示了应用更高帧速率的视频捕获的子区域116。在整个成像区域的剩余部分中，可以应用基础帧速率的视频捕获。在捕获较早视频帧时的子区域116的位置和/或尺寸由虚线来例示。进一步地，图2示意性地例示了由所捕获的视频数据表示的移动对象118。

如可以从图2的例示看到的，从较早视频帧到当前视频帧，移动对象118改变其在整个成像区域内的位置。进一步地，例如，由于移动对象118朝向或远离相机移动，所以移动对象118的表观尺寸可能已经变化。移动对象118的该运动的特性可以被确定并用于估计移动对象118在未来视频帧中的位置和/或尺寸。如图2例示，子区域116以对应方式来移位并调整大小。

因此，在所例示实施方式中，所捕获的图像中的所检测的运动可以用于预测并设置应用更高帧速率的视频捕获的子区域116的合适尺寸。在一些场景中，例如还可以根据所检测的移动对象118的运动速度来调节更高帧速率本身。

如上面提及的，更高帧速率可以通过仅在子区域中捕获另外视频帧来获得，而普通视频帧以基础帧速率来捕获并覆盖成像传感器112的整个成像区域。然后可以从普通视频帧和组合另外视频帧与之前或随后普通视频帧中的一个或更多个的中间视频帧来生成高帧速率视频。为了生成这种中间视频帧，可以将对应于所检测的移动对象118的视频数据或整个另外视频帧的视频数据混合到普通视频帧中。在一些情况下，还可以执行来自两个随后视频帧的视频数据的插值(interpolation)，以生成插值视频帧，并且可以将对应于所检测的移动对象118的视频数据或整个另外视频帧的视频数据混合到插值视频帧中。

所捕获的视频数据中的运动的检测可以涉及执行图像分析和随后视频帧之间的比较。该图像分析可以基于普通视频帧和/或基于另外视频帧来应用。这里，应注意，由于视频捕获的更高帧速率，所以将另外视频帧考虑在内提供更高的准确度、响应能力以及对运动的检测的灵敏度。

运动的检测可以在有限数量的随后视频帧(例如，三个视频帧)的过程期间来执行。例如，可以捕获第一普通视频帧。基于普通视频帧，例如可以通过检测潜在模糊区域来执行当前运动的初始估计。

假定在第一视频帧中识别潜在模糊区域，则子区域可以被设置为覆盖该模糊区域，并且可以以更高帧速率捕获对应于另外视频帧中的一个的第二视频帧，以仅覆盖子区域。通过比较和图像分析第一视频帧和第二视频帧，可以改善(refine)运动的检测。具体地，可以确定是否存在移动对象(诸如移动对象118)且移动对象是否可以关于其形状被识别。进一步地，移动对象的运动例如可以鉴于指示运动的速度和方向的运动向量来特征化。然后，所确定的移动对象的运动的特性可以用于预测其在要捕获的下一个视频帧中的位置和/或尺寸，并且对应地调节子区域的位置和/或尺寸。然后，捕获下一个视频帧(即，第三视频帧)，以仅覆盖所调节的子区域。然后，第三视频帧可以用于例如通过比较和图像分析第一视频帧、第二视频帧以及第三视频帧来进一步改善运动的检测。由此，移动对象的运动可以进一步被特征化，并且可以应用于进一步调节如被应用于捕获进一步另外视频帧的子区域。

图像分析和比较例如可以涉及计算图像差值，阈值化以避免噪声，以及根据图像差值确定潜在地包括移动对象的区域。然后，可以在这种区域中应用一个或更多个对象检测算法。例如，如在sizintsev等人的“histogram-basedsearch:acomparativestudy”，ieeeconferenceoncomputervisionandpatternrecognition(2008年)中描述的分布式的基于直方图的对象检测算法可以应用于该目的。根据应用在子区域中的更高帧速率，这可以允许在少于16ms(例如，在大约2ms中)的时间窗内检测并量化运动。

应理解，例如还可以通过对于由所捕获的视频数据表示的多个移动对象中的每个以更高视频捕获帧速率确定对应子区域或通过以允许覆盖所有这些多个移动对象的这种方式确定同一子区域以这种方式考虑多个移动对象。

进一步地，在一些场景中，例如为了避免关于反混淆的设置的变化，可能期望避免改变独立另外视频帧之间的子区域的尺寸和/或形状。然后可以以下这种方式确定子区域的尺寸和/或形状：子区域覆盖移动对象在所有相关另外视频帧中(即，在期望移动对象可见的视频帧中)的位置。然而，子区域的新尺寸可以时常(例如，在捕获普通视频帧中的一个时或在检测新移动对象时)被选择。

进一步地，应注意，子区域的最大尺寸可能受成像传感器112的特性限制。例如，如果成像传感器支持由全像素数表示的全像素分辨率下的特定最大视频捕获帧速率，并且另外视频帧以与该全分辨率下的该最大视频捕获帧速率的x倍对应的视频捕获帧速率被捕获，则子区域的尺寸可能限于与全像素数除以因数x对应的最大像素数。这样，变得可以在捕获普通视频帧时和在捕获另外视频帧时使用类似参数(例如，关于积分时间)来读出像素。

在一些场景中，例如还由于图像传感器112的平移运动、振动或摇动而考虑成像传感器112本身的全局运动。如果检测到这种全局运动，则该全局运动例如可以通过补偿全局运动的效应来用作识别移动对象且特征化其运动的过程中的另外输入。为此，各种图像稳定算法可以应用于所捕获的视频帧(普通帧和/或另外帧)。作为另选方案或另外地，装置100还可以装配有一个或更多个运动传感器(诸如加速度计)。这种运动传感器的输出可以应用于物理地抵消成像传感器112的运动。

图3示出了例示捕获视频的方法的流程图。该方法例如可以在装配有成像传感器的装置(诸如上面提及的装置100)中实现。如果使用装置的基于处理器的实现，则该方法的步骤的至少一部分可以由装置的一个或更多个处理器来执行和/或控制。

在步骤310处，由成像传感器(诸如成像传感器112)捕获视频数据。成像传感器可以包括像素阵列(诸如像素阵列114)。成像传感器的整个成像区域可以通过这种像素阵列限定。

捕获视频数据可以涉及捕获覆盖成像传感器的整个成像区域的第一视频帧和第二视频帧。捕获第一视频帧和第二视频帧可以以第一视频捕获帧速率(例如，该帧速率对应于前面提及的基础帧速率)执行。第一视频帧和第二视频帧例如可以对应于上面提及的普通视频帧。

进一步地，捕获视频数据可以涉及在捕获第一视频帧与第二视频帧之间的时间间隔中捕获一个或更多个另外视频帧的序列。另外视频帧可以以比应用于第一视频帧和第二视频帧的视频帧速率高的视频捕获帧速率来捕获。例如，该更高视频捕获帧速率相对于应用于第一视频帧和第二视频帧的视频捕获帧速率增大至少因数2(优选地增大在5至50范围内的因数)。与第一视频帧和第二视频帧相比，另外视频帧仅覆盖整个成像区域的子区域(诸如上面提及的子区域116)。因此，不管是否应用更高视频捕获帧速率，资源使用可以限于可忍受等级。

在步骤320处，在所捕获的视频数据中检测运动。该运动的检测可以基于步骤310的一个或更多个另外视频帧。然而，在该运动的检测中还可以考虑第一视频帧和/或第二视频帧。在一些场景中，运动的检测可以基于关于每个新捕获的视频帧迭代地重复的图像分析和比较处理。

在一些场景中，运动的检测可以涉及识别由所捕获的视频数据表示的至少一个移动对象(诸如移动对象118)。还可以识别移动对象的特性(诸如其形状、和/或其运动的特性(诸如运动的速度和/或方向))。

在步骤330处，确定成像传感器的整个成像区域的至少一个子区域。子区域被确定为对应于所检测的运动的位置。这例如可以涉及使用如在步骤320处确定的移动对象的特性。例如，如在步骤320处检测的移动对象的形状、位置和/或运动速度可以用于预测在捕获下一个视频帧时移动对象在整个成像区域中的位置，并且以对应方式(例如，以由子区域覆盖移动对象的这种方式)设置子区域的位置和/或尺寸。

在步骤340处，将更高视频捕获帧速率应用于在步骤330处确定的子区域。因此，在子区域中，应用比在整个成像区域的其它部分中更高的视频捕获帧速率。

在步骤350处，可以生成包括中间视频帧的视频，中间视频帧基于以更高视频捕获帧速率捕获的视频数据。为此，上面提及的另外视频帧中的每一个可以与上面提及的第一视频帧和第二视频帧中的至少一个组合，以获得覆盖整个成像区域的对应中间视频帧。例如，这可以涉及将来自另外子帧的视频数据混合到第一视频帧或第二视频帧中，或者混合到第一视频帧和第二视频帧的插值中。因此，在一些场景中，子区域的确定可以涉及：对于上面提及的一个或更多个另外子帧中的每一个，预测移动对象的位置，并且确定相应另外子帧中的覆盖移动对象的子区域。作为对于每个另外子帧独立确定子区域的另选方案，还可以预测移动对象的位置，并且确定所有另外子帧中的覆盖移动对象的子区域。

在一些场景中，可以检测成像传感器的全局运动(例如，由于成像传感器的平移运动或由于成像传感器的摇动或振动而引起的全局运动)。响应于检测到成像传感器的这种全局运动，更高的视频捕获帧速率可以应用在整个成像区域的所有部分中。同时，可以减小在整个成像区域中捕获视频数据的像素分辨率。全局运动可以基于所捕获的视频数据和/或基于一个或更多个运动传感器来检测。

图4示出了用于示意性地例示可以用于实现上述概念的装置的基于处理器的实现的框图。例如，如图4例示的结构可以用于实现装置100。

如图例示，装置100包括成像传感器(诸如成像传感器112)。进一步地，装置100可以包括一个或更多个运动传感器120(诸如加速度计)。进一步地，装置100可以包括一个或更多个接口130。例如，如果装置100对应于智能电话或类似便携式通信装置，则接口130可以包括用于提供装置100的网络连接的一个或更多个无线电接口和/或一个或更多个基于导线的接口。用于实现这种无线电接口的无线电技术的示例例如包括蜂窝无线电技术(诸如gsm(全球移动通信系统)、umts(通用移动通信系统)、lte(长期演进)或cdma2000)、根据ieee802.11标准的wlan(无线局域网)技术、或wpan(无线个人局域网)技术(诸如蓝牙)。用于实现这种基于导线的接口的基于导线的网络技术的示例例如包括以太网技术和usb(通用串行总线)技术。

进一步地，装置100设置有一个或更多个处理器140和存储器150。成像传感器112、运动传感器120、接口130以及存储器150例如使用装置100的一个或更多个内部总线系统耦接到处理器140。

存储器150包括具有由处理器140执行的程序代码的程序代码模块160、170、180。在所例示示例中，这些程序代码模块包括视频捕获模块160、运动检测模块170以及视频处理模块180。

视频捕获模块160可以在将更高视频捕获帧速率应用于成像传感器112的整个成像区域的子区域中的同时实现捕获视频数据的上述功能。进一步地，视频捕获模块160还可以实现应用更高视频捕获帧速率的子区域的上述确定。

运动检测模块170可以实现检测所捕获的视频数据中的运动的上述功能。进一步地，运动检测模块还可以例如基于所捕获的视频数据或基于运动传感器120的输出来应用全局运动的检测。

视频处理模块180可以实现组合在子区域中捕获的高速率视频帧与在整个成像区域中捕获的普通速率视频帧的上述功能。

应理解，如图4例示的结构仅是示例性的，并且装置100还可以包括尚未例示的其它元件(例如，用于实施智能电话、数码相机或类似装置的已知功能的结构或程序代码模块)。这种功能的示例包括通信功能、媒体处理功能等。

如可以看到的，如上说明的概念允许高效捕获视频数据。具体地，即使移动对象存在于被成像的景象中，也可以以低模糊等级生成高质量视频。除了避免模糊之外，所捕获的视频数据还可以允许生成高质量缓慢运动视频。

应理解，如上说明的概念容许各种修改。例如，概念可以关于各种成像传感器技术(包括阵列相机、立体相机等)应用于各种装置中。进一步地，概念可以关于各种视频分辨率和帧速率来应用。