用于制作稳像视频的方法和摄像机与流程

本发明涉及稳像视频的制作。

背景技术：

由摄像机拍摄的视频可能会遇到被称为摄像机抖动的问题。例如，安装在一区域(用于例如监视该区域)的摄像机可能会不时地经历由于诸如风力、进入或离开该区域的交通工具(如飞机、火车、卡车等)、施工工程等改变环境因素而引起的抖动或振动。这种抖动或振动会引发摄像机的运动，因此使所拍摄的视频抖动。

用于减少摄像机抖动影响的图像稳定的现有技术系统通常包括在显示视频之前对由摄像机拍摄的视频的电子学操作。藉此，尽管有摄像机的诱发性运动，也会将视频的稳定视图呈献给观看者。

照片或图片的边缘在四周的纸面上逐渐消失被称为渐晕。生成这种图案的方法是有意识的。然而，渐晕这个用语也被用来指示在照片图像或图像流即视频中的图像角落的无意识的变黑。无意识的和不希望的渐晕是由透镜、可变光圈和/或图像传感器的限制所导致的结果。

对于在其中执行图像稳定的视频，渐晕可能变得令人讨厌。这是因为视频的图像帧将对于不同的图像帧不同地移位和/或裁剪，以使该视频看起来稳定。因此，在执行图像稳定之后，渐晕抖动的影响将被体现在视频中。渐晕去除算法是容易获得的。但是如果渐晕很严重，那么去除它将会严重地放大受影响区域中的噪声。

技术实现要素：

鉴于上述问题，本发明的目的在于提供一种用于去除稳像视频中的渐晕移动的烦恼的方法。此外，本发明的目的在于提供一种用于在稳像视频中去除讨厌的渐晕效应而不会放大图像中的噪声的方法。

根据第一方面，提供一种用于实现稳像视频的方法。该方法包括：提供用于定义由摄像机拍摄的数字图像帧的渐晕效应的数据；确定由摄像机拍摄的数字图像帧的位错值；基于位错值来确定数字图像帧中的将被显示在稳像视频中的区域；至少在与数 字图像帧中的将被显示在稳像视频中的区域相对应的像素上应用渐晕去除处理，其中应用基于用于定义渐晕效应的数据；以及基于用于定义渐晕效应的数据及位错值，在数字图像帧中的将被显示在视频中的区域上再引入渐晕。

根据以上所讨论的，去除和再引入渐晕将由于不同稳像数字图像帧中的不同渐晕而在稳像视频中产生闪烁效应，同时噪声的放大被最小化。

应用渐晕去除处理和再引入渐晕可在共同的图像处理步骤中执行。这将节省处理器所需的功率，并且使处理更快。

该方法可以进一步包括基于位错值对数字图像帧进行裁剪，以形成裁剪后图像帧，其中裁剪后图像帧对应于数字图像帧中的将被显示在稳像视频中的区域。

应用可以包括在裁剪后图像帧的像素上应用渐晕去除处理，其中应用基于用于定义渐晕效应的数据和/或位错值。再引入可以包括基于用于定义渐晕效应的数据，对裁剪后图像再引入渐晕。

提供用于定义渐晕效应的数据可以包括提供表格，该表格用于定义摄像机的图像传感器的不同像素如何受渐晕效应的影响。

该表格可以包括用于定义摄像机的图像传感器的所有像素如何受渐晕效应的影响的数据。

该表格可以包括用于定义仅摄像机的图像传感器的像素子集如何受渐晕效应的影响的数据。

在使用滚动快门拍摄数字图像帧的情况下，确定位错值可以包括确定传感器图像帧的至少两个不同行的不同位错值。

在使用全局快门拍摄数字图像帧的情况下，确定位错值可以包括确定传感器图像帧的单一位错值。

根据第二方面，提供一种在其上记录有程序的非暂时性计算机可读记录介质，当在具有处理能力的设备上执行该程序时，实现上述方法。

根据第三方面，提供一种图像处理设备，该图像处理设备被设置为生成包括由摄像机拍摄的数字图像帧的稳像视频。图像处理设备包括：存储器，包括用于定义由摄像机拍摄的数字图像帧的渐晕效应的数据；位错值确定模块，被设置为确定由摄像机拍摄的数字图像帧的位错值；图像移位模块，被设置为基于位错值来确定数字图像帧中的将被显示在稳像视频中的区域；渐晕去除模块，被设置为基于用于定义渐晕效应的数据，从至少与数字图像帧中的将被显示在稳像视频中的区域相对应的像素中去除渐晕；渐晕再引入模块，被设置为基于用于定义渐晕效应的数据及位错值，在数字图像帧中的将被显示在视频中的区域上再引入渐晕；以及视频模块，被设置为将连续的 数字图像帧添加到稳像视频中。

设备可进一步包括：裁剪模块，被设置为基于位错值对数字图像帧进行裁剪，以形成裁剪后图像帧，其中裁剪后图像帧对应于数字图像帧中的将被显示在稳像视频中的区域。

设备可以是包括运动传感器的摄像机，运动传感器被设置为对摄像机的运动进行检测，其中位错值确定模块被设置为基于检测到的摄像机的运动，来确定由摄像机拍摄的数字图像帧的位错值。

以上所提到的用于实现稳像视频的方法的特征，在适用时，还将应用于第二和第三方面。为了避免不必要的重复，将参考上述内容。

本发明适用性的进一步范围将根据下面给出的详细描述而变得显而易见。然而，应当理解，虽然详细描述和具体示例在指示本发明的优选实施例时，仅通过例证的方式来给出，但是对于本领域技术人员而言，本发明的范围内的各种变化和修改按照该详细描述将变得显而易见。

因此，应当理解，本发明并不限于所描述的设备的特定部件或描述为这种设备的方法的步骤，并且方法可以变化。还应当理解，本文所使用的术语仅用于描述具体实施例的目的，并不旨在进行限制。必须指出，如在说明书和所附权利要求中使用的冠词“一个”、“一种”、“该”和“所述”意在表示存在一种或多种元件，除非上下文中另有明确说明。因此，例如提及“一单元”或“该单元”可以包括多个设备和类似物。此外，用语“包括”“、包含”、“含有”以及类似用语并不排除其他元件或步骤。

附图说明

现在将参照示出本发明实施例的附图来更详细地描述本发明的上述和其他方面。附图不应被认为是用于将本发明限制在具体实施例，相反它们被用来解释和理解本发明。

如图所示，层和区域的大小被放大以用作描述的目的，并因此被提供用以说明本发明实施例的一般结构。相同的附图标记始终指代相同的元件。

图1是稳像系统的实施例的框图。

图2是稳像的概念图。

图3和图4是在稳像过程中渐晕的去除和再引入的概念图。

图5是用于实现稳像视频的方法的框图。

图6是稳像系统的实施例的框图。

具体实施方式

现在将在下文参考附图来更全面地描述本发明，在附图中示出了本发明的当前优选实施例。然而，本发明可以以很多不同形式来体现，并且不应被解释为受限于本文所陈述的实施例；相反，这些实施例被提供用于彻底性以及完整性，并且向技术人员完全传达本发明的范围。

如本领域技术人员将意识到的，本发明的各方面可以被体现为设备、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)、或组合了软件与硬件的实施例的形式。此外，本发明可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，一个或多个计算机可读介质具有体现在其上的计算机可读程序代码。

图1是图像稳定系统10的框图。图像稳定系统10包括：摄像机20、图像处理设备30和显示器40。

摄像机20被定位以使所关注的场景位于视场21之内。摄像机20可被设置用于监视该区域。摄像机20可以包括可调节的聚焦透镜装置22。摄像机20可被设置为输出携带有与聚焦透镜装置22的焦距相关的信息的信号。摄像机20也可以是用于监视摄像机前面的区域的监控摄像机。摄像机20进行操作以生成代表视场21内的关注场景的由摄像机20拍摄的视频的图像帧信息。

摄像机20会不时地经历由于诸如风力、进入或离开区域的交通工具(如飞机、火车、卡车等)、施工工程等改变环境因素而引起的抖动或振动。这种抖动或振动会引发摄像机20的运动，因此使由摄像机20所拍摄的视频抖动。

摄像机20还可包括运动传感器24。运动传感器24被设置为对摄像机20的运动进行检测。运动传感器24被设置为输出与摄像机20的运动相对应的信号。

从运动传感器24中输出的信号可对应于摄像机振动振幅。因摄像机的抖动或振动而引发的该摄像机的运动可对应于振荡运动，其中每个振荡具有振荡振幅。摄像机振动振幅可以是一个或多个振荡振幅的度量。摄像机振动振幅可以例如是预定的时间间隔期间内的平均振荡振幅的度量或预定的时间间隔期间内的最大振荡振幅的度量。

此外，摄像机振动振幅可被划分为分量。因此，摄像机振动振幅可以例如具有与摄像机的水平运动相关的一个分量以及与摄像机的垂直运动相关的一个分量。

可替代地或组合，从运动传感器24中输出的信号可对应于摄像机的朝向的瞬时变化。

根据结合图1所公开的实施例，摄像机20是数字摄像机。然而，应该认识到，模 拟摄像机也可关联本发明来使用。在图像稳定系统包括模拟摄像机的情况下，模拟图像帧从模拟摄像机被传送至模数转换器(未示出)，其进行操作以生成模拟图像帧的数字表示。

由摄像机20拍摄的数字图像帧被馈送到图像处理设备30。图像处理设备30包括：存储器31、位错值确定模块32、图像移位模块33、渐晕去除模块34、渐晕再引入模块35、视频模块36以及数据总线37。图像处理设备30可进一步包括裁剪模块38。图像处理设备30的模块32、33、34、35、36、38可被实现为由处理单元运行的软件代码、被实现为在图像处理设备30中实现的硬件、或被实现为它们的组合。位错值确定模块32、图像移位模块33、渐晕去除模块34、渐晕再引入模块35、视频模块36和/或裁剪模块38可被设置为将数据存储在存储器31上和/或从存储器31中检索数据。存储器31、位错值确定模块32、图像移位模块33、渐晕去除模块34、渐晕再引入模块35、视频模块36和/或裁剪模块38被设置为通过数据总线37彼此进行通信。

图像处理设备30被设置为接收来自摄像机20的信号。特别是，图像处理设备30被设置为接收由摄像机20生成的视频的数字图像帧。图像处理设备30也可被设置为接收从运动传感器24输出的信号。图像处理设备30还可被设置为接收携带有与聚焦透镜装置22的焦距相关的信息的信号。

在图2(A)中给出在执行图像稳定之前受到摄像机运动影响的视频的数字图像帧的示例。更确切而言，给出了描绘有人1与树2的场景的视频的多个叠加的数字图像帧。摄像机抖动或振动引发摄像机的运动。由于摄像机的运动，人1与树2移动到显示出的数字图像帧内的不同位置。代表在摄像机的不同位置处拍摄的场景的视频的数字图像帧的叠加具有该场景的模糊视觉信息的效果。因此，图2(A)给出人1与树2的不稳定视频的表示。

为了减少摄像机运动的影响，在显示视频之前，对视频流的数字图像帧进行电子操作。位错值确定模块32进行操作，以针对用于建立由摄像机拍摄的视频的每个数字图像帧确定位错值。取决于使用了位错的图像读出技术，因此数字图像帧的电子操作的方法可以不同。在使用全局快门的情况下，即整个数字图像帧被同时读出，数字图像帧的全部内容被移位，以对摄像机20的运动进行补偿。在使用滚动快门的情况下，即数字图像帧一次被读出一行或几行，数字图像帧中的每行或几行由于它们在不同时间点被显露而被单独移位。在使用滚动快门的情况下，数字图像帧中的每行或几行也可被单独插值，以对摄像机20的垂直运动进行补偿。为简单起见，在以下所公开的示例中，全局快门读出用于解释电子图像稳定，然而应当理解，滚动快门读出也可用于实现相同的结果。因此，术语“位错值”应被理解为完整数字图像帧的位错或数字图 像帧中的一行或几行的位错。

位错值确定模块32可以以各种方式进行操作。根据一个实施例，位错值确定模块32被设置为使用与从运动传感器24输出的信号相关的信息连同聚焦透镜装置22的焦距的信息，以便确定在摄像机20的图像传感器上的对应位错值。可替代地或组合，缩放级别即视场也可被用于确定位错值。可替代地，可以使用图像处理技术来跟踪由视频流所描绘的场景中的被认为在图像帧之间是静止的特征。这种图像处理技术对本领域技术人员而言是公知的，将不在这里作进一步的讨论。位错值确定模块32进一步被设置为将所确定的位错值传送给图像处理设备30的其他模块。

图像移位模块33被设置为确定将被显示在稳像视频中的数字图像帧的区域。该确定基于位错值而进行。这是为了对由摄像机运动引起的位错进行补偿。因此，图像移位模块33被设置为生成用于描绘摄像机20前面的场景的视频流的稳定视图。换言之，对将被显示在稳像视频中的数字图像帧的区域的确定是通过根据所确定的位错值在每个图像帧上应用移位来补偿摄像机20的运动来进行的。因此，尽管有摄像机的诱发性运动，也会将视频的稳定视图呈献给观看者。由此，可以向观看者提供由视频所描绘的场景的稳定显示视图。

裁剪模块33被设置为基于位错值对数字图像帧进行裁剪，以形成裁剪后图像帧。裁剪后图像帧对应于将被显示在稳像视频中的数字图像帧的区域。裁剪不一定被视为数字图像帧的、去除原始数字图像帧的一些像素的实际裁剪。相反，在一些实施例中，裁剪应被理解为隐藏数字图像帧中的、不被显示在稳像视频中的像素。不需要的像素可通过应用掩码以掩蔽掉不需要的像素来隐藏。然而，在一些实施例中，裁剪是数字图像帧的实际裁剪，其在显示作为稳像视频的一部分的数字图像帧之前，去除原始数字图像帧的一些像素。

裁剪模块33被设置为针对相应的数字图像帧根据所确定的位错值来裁剪数字图像帧，以对摄像机20的运动进行补偿。裁剪模块33也可被设置为应用比例因子。比例因子可被设置为使得图像之间的像素数(像素分辨率)被保持。这可以在例如图像被裁剪为不同大小的图像时被应用。

在图2(B)中给出了图像稳定被应用于图2(A)中所呈现的不稳定视频后的视频的表示。在图2(B)中，在确定并对每个数字图像帧应用位错值之后显示视频的图像帧。因此，图2(B)是当已根据上述将电子图像稳定应用于图2(A)中所呈现的不稳定视频之后的视频的表示。在图2(B)中，稳定视频目前在显示器内位于中央并且是稳定的。因此，图像稳定系统10进行操作，以使每个图像帧移位，使得人1与树2在显示器中看上去是稳定的。然而，由于图像稳定操作以移位整个图像帧，因此所 显示的视频的一部分将不包含任何被显示的信息，因此将出现空白。此外，如在图2(B)中由代表每个所显示的图像帧的一个边缘的实线3、4、5、6、7所指示的，当图像稳定系统进行操作以呈现场景的稳定视频流时，视频的边缘将连续移动。因此，所显示的视频流的周边区域将是连续移动的，这将分散观看者的注意力。

上述问题可以例如通过裁剪来解决。在图2(C)中给出了在对图2(B)的数字图像进行裁剪之后的视频的表示。在图2(C)中，视频流的经裁切的图像帧被显示在彼此的顶部。因此，图2(C)是已向图2(A)中所呈现的不稳定视频应用根据上述的图像稳定和裁剪之后的视频的表示。在图2(B)中，稳定的视频目前在显示器内位于中央并且是稳定的。

正如上面所提到的在应用电子图像稳定之后，渐晕可能会变得令人讨厌。而且，在视频的图像帧之间存在变化的渐晕可能会影响对视频所执行的运动检测。根据摄像机的运动，图像帧将被不同地移位和/或剪裁，以使视频显得稳定。然而，这反而将具有渐晕移动的效果。

针对这个问题的显而易见的解决方法是数字化地去除渐晕。然而，因为图像中的噪声因渐晕的去除而增加，因此这将导致更多接近图像边缘的噪声。

根据本发明，这个问题通过首先去除渐晕(图像稳定之前或之后)然后再次对稳定图像重新应用均匀渐晕来缓解。均匀是指针对将被显示在稳像视频中的后续数字图像帧中的区域的基本上相似的渐晕。这将去除渐晕移动的烦恼，同时使附加噪声最小化。另一个好处是，当摄像机完全没有移动时，这些操作甚至相互抵消，导致根本没有附加噪声。

因此，渐晕去除模块34被设置为至少从与数字图像帧中的将被显示在稳像视频中的区域相对应的像素中去除渐晕。该去除基于用于定义由摄像机20拍摄的数字图像帧的渐晕效应的数据。渐晕的去除可以以本领域技术人员已知的不同方式来执行。但是，常见的渐晕去除处理会放大数字图像帧中的噪声。

用于定义由摄像机20拍摄的数字图像帧的渐晕效应的数据被存储在存储器31中。如以上所提到的，渐晕效应可依赖于各种因素，诸如摄像机设置和/或镜头限制。因渐晕效应而对由摄像机20拍摄的数字图像帧所产生的影响对于本领域技术人员而言可以以已知的许多不同的方式来确定。因而用于定义由摄像机20拍摄的数字图像帧的渐晕效应的数据可以被推导出，并且被存储在存储器31中。用于定义渐晕效应的数据可以例如被提供为表格，该表格用于定义摄像机的图像传感器的不同像素如何受渐晕效应影响。该表格可包括用于定义摄像机的图像传感器的所有像素如何受渐晕效应影响的数据。可替代地，该表格可包括用于定义仅摄像机的图像传感器的像素子集如何受 渐晕效应影响的数据。渐晕效应将如何影响不是该子集一部分的像素可随后例如通过插值来得到。

渐晕再引入模块35被设置为在数字图像帧中的将被显示在视频中的区域上再引入渐晕。该再引入基于用于定义渐晕效应的数据以及位错值。渐晕去除模块34和渐晕再引入模块35可以彼此独立地进行工作，使得渐晕去除模块34被设置为去除渐晕，此后渐晕再引入模块35被设置为再引入渐晕。然而，根据一个实施例，渐晕去除模块34和渐晕再引入模块35被设置为同时工作，因此渐晕去除和渐晕再引入在共同的图像处理步骤中被执行。

渐晕的去除和再引入现在将结合图3和图4作进一步的说明。在图3(A)中，由摄像机20拍摄的原始数字图像帧100被示出。原始数字图像帧100包含渐晕区域50。在图3(B)中图示了其中在使用渐晕去除模块34应用渐晕去除处理后去除渐晕区域的原始数字图像帧。渐晕区域被去除的原始数字图像帧在这里被称为数字图像帧102。在图3(C)中图示了数字图像帧102中的将被显示在稳像视频中的确定区域104。区域104将根据以上所讨论的来确定。在图3(D)中，区域104被示为居中叠加在原始数字图像帧100的顶部，这是为了可视化何种渐晕将再引入。因此，欲再引入的渐晕将取决于用于定义由摄像机拍摄的原始数字图像帧100的渐晕效应的数据以及区域104的位错这两者。在图3(E)中图示了将与再引入渐晕52一起被显示的所得到的数字图像帧106。

在结合图3所讨论的渐晕的去除和再引入中，该去除和再引入被示为单独的图像处理步骤。但是，去除和再引入也可在共同的图像处理步骤中执行，这将在图4中示出。在图4(A)中图示了与图3(A)中相同的原始数字图像帧。另一方面，还图示了数字图像帧中的将被显示在稳像视频中的确定区域104。区域104将根据以上所讨论的来确定，但是，应当做出说明，区域104是在应用渐晕去除之前被确定的。另外，区域104的特定像素60被高亮显示。高亮显示的特定像素60当然也属于原始数字图像帧100。假设用于定义如何去除特定像素60的渐晕效应的数据被设定为V_remove。在图4(B)中，区域104被示出为居中叠加在原始数字图像帧100的顶部，这是为了可视化将再引入何种渐晕。区域104中具有与图4(A)中的特定像素60相同的位置的像素62被标出。如图4(A)所示，由于区域的位错，像素62并不对应于原始数字图像帧中的特定像素60。相反，像素62对应于原始数字图像帧的另一像素。假设用于定义如何对像素62再引入渐晕效应的数据被设定为V_reintro。如图4(C)所示，渐晕的去除和再引入现在可通过向区域104的像素64的像素数据同时应用V_remove和V_reintro，来在单个的图像处理步骤中执行。此后，可对区域的所有像素执行相同的步骤。结果 将与图3中所示的处理相同，与以上的区别是，潜在的舍入误差可以被避免。

根据以上所讨论的，渐晕的去除和再引入因不同稳像数字图像帧中的不同渐晕，而在稳像视频中具有闪烁效应，同时最小化视频中所增加的噪声。

视频模块36被设置为将连续的数字图像帧添加到稳像视频中。

然后，稳像视频可被输出到显示器40。

在图5中示出用于实现稳像视频的方法的框图。该方法包括：S500，提供用于定义由摄像机拍摄的数字图像帧的渐晕效应的数据。S502，确定由摄像机拍摄的数字图像帧的位错值。S504，基于位错值来确定数字图像帧中的将被显示在稳像视频中的区域。S506，至少在数字图像帧中的与将被显示在稳像视频中的区域相对应的像素上应用渐晕去除处理，其中应用基于用于定义渐晕效应的数据。S508，基于用于定义渐晕效应的数据及位错值，在数字图像帧中的将被显示在视频中的区域上再引入渐晕。

该方法可以进一步包括：S505，基于位错值对数字图像帧进行裁剪，以形成裁剪后图像帧，其中裁剪后图像帧对应于数字图像帧中的将被显示在稳像视频中的区域。

本领域技术人员将意识到，本发明不受以上所描述的优选实施例的限制。相反，在附加的权利要求的范围内，许多修改和变更是可能的。

例如，图像处理设备30可在摄像机20内实现。这在图6中示出。

在使用滚动快门拍摄数字图像帧的情况下，确定位错值可包括确定传感器图像帧的至少两个不同行的不同位错值。

在使用全局快门拍摄数字图像帧的情况下，确定位错值可包括确定传感器图像帧的单一位错值。

此外，通过研究附图、公开和所附权利要求，本领域技术人员在实践所要求保护的本发明时将能够理解并实施针对所公开的实施例的变化。