用于图像稳定的方法和系统的制作方法
【专利摘要】本发明公开用于图像稳定的方法和系统。在用于图像稳定的方法中，执行若干操作，以稳定图像并且输出焦距值。步骤包括利用具有未知焦距的视频摄像机捕获视频并且运行图像稳定过程，其中所述图像稳定过程对来自硬件检测器的输入和可调节焦距值进行操作，所述硬件检测器用于检测所述摄像机的位移。基于来自所述硬件检测器的所述输入和所述可调节焦距值，校正图像内的位移。通过评估位移并调节焦距直到实现满意的图像稳定，可以输出焦距的值。
【专利说明】
用于图像稳定的方法和系统
技术领域
[0001]本公开涉及用于图像稳定的方法和系统，具体涉及利用视频摄像机(一般为数码视频摄像机)捕获的视频图像流。
【背景技术】
[0002]本公开涉及图像稳定领域，即改善由于摄像机运动而劣化的视频图像流的质量。存在数字图像稳定的多个版本，即用于处理存储图像流使得在处理后的图像流中抖动或振动最小化的软件应用。在摄像机的情况中，抖动或振动可能是操作者引起的或可能是不能以无振动方式悬挂摄像机的悬挂结果。仅依赖于软件算法的解决方案通常基于对流中图像与图像间的有限特征量进行的跟踪，并且确保这些特征在所显示的图像中保持静态。这些软件方案在降低抖动和振动的影响上是非常有效的，但是它们在对应用或监视应用进行监控时可能具有缺点，在上述应用中它们除了消耗显著的计算功率，还可能引入不想要的时间滞后。
[0003]替代性方案可以使用光学图像稳定，例如通过偏移一组镜头，以便平行于图像平面偏移图像并且因此抵消振动或抖动的影响。作为对由微型传感器量化的振动作出的响应，执行一组镜头的偏移，并且该偏移一般需要焦距设置的输入。这种技术可以以复杂系统为代价最小化振动或抖动的影响。而且，该技术能够消除作为在曝光时间期间镜头移动的影响的模糊。
[0004]再一个替代性方案可以使用传感器偏移技术，在该技术中，偏移实际图像传感器，以便追随由摄像机运动引入的图像偏移。
[0005]所提出的方法均具有他们的优点和缺点。本公开主要解决关于在摇摄方向和/或倾斜方向上的角度移动而出现的问题。对此存在若干方面，然而对于监控安装在固定位置中并且具有摇摄/倾斜功能的摄像机或监视摄像机，在摇摄/倾斜维度上的振动可能是由于交通拥挤以及在风力很大的条件期间的共同影响。在此处公开的本发明可以应用于任何视频摄像机。
[0006]某些镜头使用来自变焦马达的反馈，以便保持跟踪当前焦距。然而，还存在不具有该特征的变焦镜头，例如，手动进行变焦设置的镜头以及不具有与变焦马达相关联的反馈功能的其他变焦镜头。“变焦镜头”类别典型地被分成变焦距镜头和等焦面镜头，并且出于本公开的目的，主要使用短语“变焦镜头”，并且并行使用变焦设置和焦点设置或焦距设置。
【发明内容】
[0007]为了提供用于图像稳定和用于推导出焦距设置，本发明提供了一种新颖的方法。该方法包括利用视频摄像机捕获视频;运行图像稳定过程，其中所述图像稳定过程对来自用于检测所述摄像机的位移的硬件检测器的输入和可调节焦距值操作;基于来自所述硬件检测器的所述输入和所述可调节焦距值校正位移;在所述图像稳定过程的当前操作下以当前设置的焦距值评估所捕获的场景的静止物体的视频中的位移；以及调节所述可调节焦距值，直到在所捕获的图像中识别的位移低于阈值。可选地，所述方法可以被设置为得到最小位移。
[0008]该方法提供摄像机的焦距设置的简单推导，其中摄像机的当前设置是未知的。因此，它还提供迅速且精确的图像稳定。
[0009]在一个或多个实施例中，基于用户输入调节可调节焦距。阈值可以由操作者预设或设置，并且还可以使用其组合。
[0010]在一个或若干个实施例中，可以根据迭代优化过程调节可调节焦距值，直到位移低于预定阈值。
[0011]在这样的迭代优化过程中，可以使用图像流中的连续图像，直到达到阈值，并且在另一个实施例中，可以在迭代过程中使用较小组的图像。
[0012]硬件检测器可以优选地检测视频摄像机在摇摄方向和倾斜方向上的偏移，并且硬件检测器可以检测角偏移。
[0013]在一个或多个实施例中，硬件检测器是倾斜罗盘，诸如陀螺装置或倾斜仪。
[0014]在一个或若干实施例中，所述硬件检测器连续检测所述视频摄像机的位移，并且其中所述位移的时间戳可以与单独帧的数据有关。
[0015]在本发明的任意实施例中，来自该方法的输出可以是焦距的量化值，以在摄像机中或其下游中执行的其他过程中使用，或者仅用于呈现给操作者。
[0016]根据第二方面，使用了根据该方法的任意实施例的方法。这种使用包括引入抖动或振动至视频摄像机，之后，该方法可以输出焦距设置的值。因此，该使用还包括用于校准视频摄像机的方法。
[0017]根据又一方面，提供一种用于图像稳定来自视频摄像机的输出图像的系统。该系统具有多个输入参数，包括:用于检测视频摄像机的偏移的硬件检测器的输出；可调节焦距值;基于来自硬件检测器的输出和可调节焦距值执行图像的校正的处理单元。该系统可以优选地被配置为执行根据此处提到的一个或多个实施例的方法，以便内在推导出焦距设置的值。
【附图说明】
[0018]图1是根据本发明的一个实施例的摄像机头的示意方框图。
[0019]图2是可以应用本发明的一个实施例的情形的示意侧视图。
[0020]图3是图2情形的平面图。
[0021]图4a是根据图2和图3从场景中获取的第一图像帧。
[0022]图4b是与图4b的图像帧连续的第二图像帧。
[0023]图5是示出根据本发明的第一实施例的过程的流程图。
[0024]图6是示出根据本发明的第二实施例的过程的流程图，类似于图5。
[0025]图7是用在本发明的第三实施例中的滑块的示意图。
【具体实施方式】
[0026]图1是用在本发明的若干实施例中的摄像机头的方框图。摄像机10具有将来自待成像的区域的光投射到图像传感器16上的镜头14( 一组镜头，物镜等)。来自图像传感器16的信息在图像处理器18中被处理，图像处理器18可以或可以不形成中央处理单元20的一部分。在一个或多个实施例中，图像处理器18可以连接至易失性存储器22，并且被布置为与该易失性存储器22通信，该易失性存储器22可以连接至中央处理单元20，并且被布置为与中央处理单元20通信。非易失性存储器24可以以标准方式被布置成与CPU 20通信。视频摄像机还可以包括在网络内用于通信的网络接口 26。
[0027]除了这些特征，硬件检测器28被布置成跟踪视频摄像机的运动。在本实施例中，硬件检测器是用于监控视频摄像机关于摇摄方向和/或倾斜方向的倾斜的陀螺装置或一组陀螺装置。硬件检测器的输出可以被发送至对图像执行大量自动且用户定义的操作的图像处理器18和/SCPU 20，这些操作中的一种是(仿射)变换，在该变换中，原始图像的像素例如基于来自传感器的输入被移动至正确的位置。这种变换还可以包括在畸变校正中重排像素、解释光学畸变(诸如桶形畸变)。检测器一般是陀螺装置或根据其可以得出对应参数的装置，这是因为要考虑旋转或倾斜的重要参数。
[0028]导致摇摄/倾斜偏移的振动作用在图像中可能是明显的位移，而纵向或横向的平移仅导致微小位移。给出后者的示例，10厘米平移在物面中可能导致10厘米的视场偏移(SP在图像传感器中导致可忽略的位移)，而I度倾斜在物面中可能导致显著的视场偏移以及在图像传感器的平面中不能接受的位移。明显地，可替代地或组合地使用能够产生具有类似特性的输出的其他硬件检测器28，诸如倾斜传感器或其他类型的倾斜仪。尽管如此，应提到，在本发明可使用的背景中并不排除平移。
[0029]图2至图4图示了可以从根据本发明的一个或多个实施例的方法和系统受益的一种情形。图2是被设置为监控建筑物30及其周边环境的摄像机10的示意侧视图。摄像机悬挂在摄像机保持架28中，这仅仅示意性示出。摄像机可以在垂直方向倾斜T，并且变焦镜头Z采用合适的焦距，并且因此以简单的方式设置视场。图3图示了与上述图2的场景相同的场景，主要图示了摇摄特征P，其采用了以简单方式待设置的摄像机所成像的场景的期望视图。在这种背景下，可以指出，尽管存在可以影响摇摄、倾斜和变焦的由操作者远程控制的视频摄像机，但视频摄像机不必须是与本公开有关的这种类型的视频摄像机。用于摄像机的摄像机保持架可以是允许一定程度的振动或抖动的任何类型的悬架，其中一定程度的振动或抖动在某些状况期间可能劣化所获取的视频流。
[°03°]图4a和图4b的描述被认为图示了象征性地具有一帧的视频流的两个连续帧。图4a的第一视图图示了建筑物30以及周围环境的一部分，包括一个灯柱和一些树。在第二帧中，图4b的视图示出了由振动或抖动导致的位移。建筑物30的最初位置用虚线30’示出，而实际第二帧中建筑物30的位置用实线示出。
[0031 ]视场偏移可能是由于摄像机在摇摄和/或倾斜方向上的角偏移△ ang导致的结果，并且由于视场偏移导致图像在图像传感器上的位置的位移A is而产生问题。如果变焦设置是已知的，则图像在传感器上的实际位移直接根据角偏移得出，或更具体地，根据用于成像的镜头系统的当前焦距结合角偏移的值得出。这是因为A is可以被表示为焦距和角偏移的函数。
[0032]理解上述的简单方法可能要介绍视场。视场可以被定义为从成像镜头延伸出的角度扇区(angular sector)，其示出镜头前方多少场景将被成像。视场可以由成像镜头的焦距定义，或由使用变焦镜头时的焦距设置和成像传感器的大小来定义。以此方式，摄像机的已知角偏移可以变换成成像传感器上的像素位置偏移。
[0033]上述参数之间具有直接关系能够快速且简单地补偿振动，这可以在不引入视频流的任何显著滞后的情况下实时执行。无需为了图像稳定的目的而执行实际图像分析，这可以更进一步地加速该过程。
[0034]在本实施例中，焦距未知，但角偏移根据硬件检测器是已知的。该目的是为了最小化抖动或振动的影响，因此另一个输入是关于针对图像传感器上的位移被认为是可接受的阈值的一个值。被认为是可接受的该值可以是预设的，但是它也可以是由操作者决定的，例如研究经校正的视频的操作者可以增加或降低阈值。在后面的实施例中，明显的是，被认为是“可接受的”可以包括某些定性考虑。
[0035]现在参考图5，因此在第一实施例中，过程包括在第一步骤32中获取图像，并且使用来自硬件检测器36的输入(Aang)以位移校正算法处理34该图像。该处理还基于焦距设置38的值。此时，实际焦距被认为是未知的，并且第一设置可以基于用户输入40或任意其他值。起始点可以是焦距设置的最新评估的值。如果这个值是不可用的，或如果不想使用这个值，则焦距的可能设置仍可以被限制到由在摄像机中使用的具体镜头的可能焦距设置而限定的具体范围，并且将理解，出于方便，输入值可以在那个范围内选择。
[0036]在后续步骤42中，比较所获取并处理后的图像与先前图像，并且确定位移校正后的剩余位移是否在被认为可接受的范围内。再者，被认为可接受的位移可以基于与阈值的比较，而该阈值可以预设或在步骤48中由操作者决定。如果剩余的位移在可接受范围之外，则可以得出，算法反冲(undershot)校正，或算法是否过冲(overshot)校正。在比较图像的步骤42中，任何现有的方法都可以使用，并且来自这种方法的可能输出可以是运动向量的平均值，该运动向量描述有限数量的可区别形状如何被取代。
[0037]关于平均的运动向量，标准的图像分析包括对整体图像或选择区域的图像进行运动向量评估。选择区域可以例如包括静止背景，通过定义，该静止背景不应显示任何运动。在具体视图中被定义为背景的可以由众所周知的标准图像处理或图像分析识别，所使用的技术将不在本文详细公开。被识别为背景的物体可以是房子、道路、人行道、路灯柱等，即不希望在视频流中的连续帧之间显示移动的物体。所提到的物体(即人造的静止物体)的特征通常在于具有清楚的边缘，这里仅仅给出可以用在图像分析中的一个特征。
[0038]如果位移校正导致可接受的差异，该过程完成，并且该过程可以进入稳态反馈44，其中焦距值可以被存储46，以在后续的偏移校正中使用，并且操作者可以可视地监控来自视频摄像机的输出。应该理解，即使术语“焦距”贯穿本描述，但在该过程中实际插入和使用的值可以是另一个测量值，根据该测量值可以容易推导出焦距。
[0039]如果位移校正不充分，则可以根据需要迭代上述步骤，其中焦距设置的输入值被改变。偏移校正42的评估可以确定焦距设置应该被改变的方向。处理器可以使用爬山算法来得出焦距的最佳值，但是存在可用于得到焦距的最佳值的大量其他算法。
[0040]该过程可以对同一组图像执行迭代，直到达到可接受的结果。在其他实施例中，该过程每次可以获取新的图像，以便不在视频流中引入任何滞后，或通过增加数据集、改变Aang被选择的范围来引入平均效果而仅增加统计。但是，该过程可以在没有来自操作者的任何输入下进行。不考虑所选择的选项，来自该过程的输出仍可以是量化焦距的值。在一组图像被重复使用的第一实施例中，该方法可以在该背景下运行，而视频流的馈送在焦距设置的当前值下继续进行。当该过程已经达到一个结果时，当前值由更新后的值代替。
[0041]偏移校正算法在某种意义上说可以是时间分解的，它用于说明图像传感器的不同部分在不同的时间被曝光。这可以通过允许来自耦接到图像传感器的不同位置的硬件检测器(陀螺装置)的连续输出来实现。当使用例如不同行发生不同偏移的卷帘快门机制时，这种特征可能是尤其相关的。
[0042]此外，明显的是，如在之前已经提到的，操作者可以通过输入阈值或以另一种方式调整，来决定就视频流的残余偏移而言什么被认为是“可接受的”。这在图6中图示说明，在图6中，用户可以提供关于焦距设置(步骤40)和/或关于阈值(步骤48)的输入值。如果操作者不决定，则阈值的预设值可以被提供并被使用。图6中类似于或等同于图5中的步骤的步骤将不进一步解释。
[0043]在第三实施例中，进一步增加操作者输入。这粗略地在图7中图示说明，其基本上示出操作者可视的HMI的滑块50。滑块视图可以可视化了处于考虑中的视频摄像机的可能焦距的整个范围，并且指示器52可以图示焦距的当前设置。在操作者观察图像中的振动位移的情况中，操作者滑动指示器是可能的，这导致由该过程待使用的焦距的(在图6的流程图的步骤40中输入的)修改值。这可以被执行，直到振动位移处于可接受水平，如由操作者所确定的，并且在该实施例中，当该实施例与使用预设阈值的实施例比较时，“可接受水平”是量化的。操作者可以在图6的步骤48中验证位移是可接受的，但默认的接受还可能是滑块不再被调节。默认的接受意味着对应于焦距设置的当前设置的值被使用，直到滑块被进一步调节。这个实施例基本上对应于第二实施例，除了缺少自动的比较步骤。滑块的使用显然是操作者提供输入的多个示例中的一个示例。
[0044]一旦操作者对位移补偿满意，该过程利用目前设置的值对焦距进行量化，并且在任何情况中利用当前值(最佳或不最佳)继续。在这个实施例以及在其他实施例中的任何一个中，焦距值除了被存储还可以由其他过程转发或利用。
[0045]在任何一个实施例中，当不提供其他输入时，过程可以被设置为利用当前值进行例如关于焦距的设置。对于操作者辅助的优化，容易意识到，操作者可能无法以相比于来自图像传感器的读出速率的速率调节焦距设置，并且在不存在输入的情况下，该过程利用当前值继续。
[0046]简单通过迫使摄像机抖动或振动，该过程还可以用在校准视频摄像机的系列中。这样的校准可以通过简单将冲击力应用在其上安装有视频摄像机的结构(例如，柱、座等)来进行，随后焦距的校准，即用于振动补偿或图像稳定的过程可以通过用于检测运动的硬件检测器或通过任何其他合适的装置启动。
[0047]具有摇摄和/或倾斜功能的摄像机，即可以被远程控制以执行摇摄运动或倾斜运动的摄像机，可能需要更复杂的控制算法。简单直接的方法是在摇摄和/或倾斜期间禁止图像稳定操作。这种粗略的方法可以由更精细的方法代替，在该更精细的方法中，(由于期望的摇摄和/或倾斜运动导致的)刻意的偏移从图像稳定取消，而考虑由抖动或振动引起的运动。
[0048]该方法还可用于优化用于振动补偿的任何系统。
[0049]根据本公开，使用焦距的预设值校正了由于振动而导致的图像。然后关于偏移影响评估一组图像。如果该偏移未被充分处理，则在合适的方向上改变焦距的值，直到该偏移低于可接受阈值。以此方式，旋转的影响被抵消并且焦距的值被推导出。焦距的值在其他过程中可能是重要的输入。焦距设置可以被使用的某些示例包括曝光设置的优化、执行畸变校正、图像稳定(最小化振动和抖动的影响)以及将焦距设置呈现给用户使得用户以任何其他方式利用的纯粹能力，仅举上述几例。
【主权项】
1.一种用于图像稳定的方法，所述方法包括: 利用具有镜头的视频摄像机捕获视频并且运行图像稳定过程，所述视频摄像机具有未知的焦距设置，其中所述图像稳定过程对来自用于检测所述摄像机的位移的硬件检测器的输入以及对可调节焦距值进行操作； 基于来自所述硬件检测器的所述输入和所述可调节焦距值校正所捕获的视频内的位移； 在所述图像稳定过程的当前操作下以当前设置的焦距值评估所捕获的场景的静止物体的视频中的位移； 调节所述可调节焦距值，直到所评估的位移低于阈值或处于最小值。2.根据权利要求1所述的方法，其中所述可调节焦距值基于用户输入被调节。3.根据权利要求1所述的方法，其中所述阈值是预设的。4.根据权利要求1所述的方法，其中所述阈值由操作者设置。5.根据权利要求1所述的方法，其中所述可调节焦距值根据迭代优化过程被调节，直到所述位移低于预定的阈值。6.根据权利要求1所述的方法，进一步包括输出所述可调节焦距值的量化。7.根据权利要求1所述的方法，其中对图像流中的连续图像执行评估，直到所评估的位移低于所述阈值。8.根据权利要求1所述的方法，其中所述硬件检测器检测角偏移。9.根据权利要求1所述的方法，其中所述硬件检测器是倾角罗盘，诸如陀螺装置或倾斜仪/倾斜传感器或加速计。10.根据权利要求1所述的方法，其中所述硬件检测器连续检测所述视频摄像机的位移，并且其中所述位移的时间戳可以与单个帧的数据有关。11.根据权利要求1所述的方法在量化视频摄像机系统的焦距的过程中的使用，所述过程包括在应用所述方法之前或在应用所述方法期间直接或间接将抖动或振动引入到所述视频摄像机。12.一种用于对来自视频摄像机的输出图像进行图像稳定的系统，使用作为输入的: 硬件检测器的输出，所述硬件检测器用于检测所述视频摄像机的位移;和 表示估计的焦距设置的可调节值； 其中所述系统包括处理单元，所述处理单元被配置成: 基于来自所述硬件检测器的所述输出和所述可调节值执行图像中的偏移校正，并且 比较连续的经偏移校正的图像，以及 调节所述可调节值，直到连续的经偏移校正的图像之间的偏移低于阈值或处于最小值。
【文档编号】H04N5/232GK106060372SQ201610152516
【公开日】2016年10月26日
【申请日】2016年3月17日 公开号201610152516.7, CN 106060372 A, CN 106060372A, CN 201610152516, CN-A-106060372, CN106060372 A, CN106060372A, CN201610152516, CN201610152516.7
【发明人】约纳斯·耶尔姆斯特伦, 安德里亚·尼尔森
【申请人】安讯士有限公司