视频稳定化的制作方法
【专利摘要】用于使视频信号稳定的方法、装置以及计算机程序产品。使用相机捕获视频信号的多个帧。与相机相关联的运动传感器被用来生成表示该相机的运动的多个样本。这些样本被用来确定所述相机在第一时间与第二时间之间的位移，其中第一时间对应于视频信号的第一帧的曝光时间中点，而第二时间对应于视频信号的第二帧的曝光时间中点。所确定的位移被用来补偿由相机的运动所引起的在第一与第二帧之间视频信号中的运动，从而使视频信号稳定。
【专利说明】视频稳定化
【技术领域】
[0001]本发明涉及视频信号的稳定化。特别地，本发明涉及使用相机捕获视频信号的帧并且补偿相机的运动从而使视频信号稳定。
【背景技术】
[0002]相机能够被用来捕获要被用作视频信号的帧的图像序列。相机可以被固定到稳定对象，例如相机可以被安装在诸如三脚架之类的台上，从而在捕获视频帧时使相机保持静止。然而，相机常常可以在移动装置中实现并且不必被安装到固定对象，例如相机可以被握持，或者可以在诸如车辆之类的移动对象上。当相机正在捕获视频信号的帧时，相机的移动可能导致视频信号本身中不想要的移动。
[0003]图像稳定化是能够被用来补偿视频信号中不想要的移动的方法。一些系统执行运动估计以便生成运动矢量以供图像稳定化过程使用。在Junlan Yang等人的“Online VideoStabilization Based on Particle Filters”中描述了一种这样的系统。图像稳定化算法可以由三个主要部分构成:运动估计、运动平滑化以及运动补偿。运动估计块可以估计视频信号内的局部运动矢量并且在这些局部估计的基础上计算全局运动矢量。运动平滑化块然后可以处理所估计的全局运动矢量的滤波，以便使计算的值平滑并且防止先前计算的运动矢量之间的大的且不希望的差异。运动补偿块然后可以在与经滤波的全局运动矢量相反的方向上使图像移位，从而使视频信号稳定。运动补偿块可以考虑复杂的变换，例如旋转、翘曲或缩放。
[0004]它可能需要大量的处理资源以基于如上面所描述的运动矢量来执行图像稳定化。当要使视频信号实时稳定时，即当视频信号的稳定版本在它正被相机捕获的同时将被使用(例如在视频呼叫中传输或者从装置输出)时，这可能是个问题。当正在执行图像稳定化的装置是诸如其中处理资源有限的移动电话之类的小型移动装置时，这也可能是个问题。
[0005]近年来，运动传感器对于制`造而言已变得更简单且更便宜并且运动传感器的尺寸已被显著降低了。在移动装置中实现运动传感器现在是可行的。运动传感器生成表示传感器的运动的样本。两个现有技术文档:Andy L.Lin的“Using Sensors for EfficientVideo Coding in Hand-held devices ,Martin Drahansky 等人的“Accelerometer BasedDigital Video Stabilization for General Security Surveillance Systems”提至丨』使用来自运动传感器的数据以用于视频信号的稳定化的可能性。
【发明内容】
[0006]发明人已认识到，使用来自运动传感器的数据以用于视频信号的稳定化的实现方式与现有技术的系统相比能够被改进。特别地，发明人已考虑了诸如下述的因素:处理非均匀采样的传感器数据；采样的传感器数据与考虑相机的快门速度的视频信号的帧的定时的同步；通过指针修改，视频信号的各帧中的一个帧的图像的快速像素移位；以及如何选择传感器采样速率。这些因素在以上【背景技术】部分中引用的现有技术中尚未被考虑。[0007]根据本发明的第一方面，提供了一种使视频信号稳定的方法，该方法包括:使用相机捕获视频信号的多个帧；使用与相机相关联的运动传感器来生成表示相机的运动的多个样本；使用这些样本来确定相机在第一时间与第二时间之间的位移，其中第一时间对应于视频信号的第一帧的曝光时间中点，而第二时间对应于视频信号的第二帧的曝光时间中点；以及使用所确定的位移来补偿由相机的运动所引起的在第一与第二帧之间视频信号中的运动，从而使视频信号稳定。
[0008]由相机提供用于视频信号的帧的时间戳可能涉及相机的快门关闭的时间(即帧的结束时间)。然而，发明人已经认识到，为了有效地使用来自运动传感器(例如旋转运动传感器)的数据来确定视频信号的第一和第二帧之间的位移(例如角位移)，有利的是确定在各帧的曝光时间的中点之间相机的位移。使用帧的曝光时间的中点提供了相机在第一和第二帧之间的位移的更精确的表示。当将相机位移映射到像素位移时，与使用帧的结束时间相比，这个方法提供了更好的像素位移估计。
[0009]在优选实施例中，相机的运动是旋转运动，运动传感器是旋转运动传感器并且相机的位移是相机的角位移。使用样本确定相机在第一时间与第二时间之间的角位移可以包括:使用样本确定相机的角速度；以及在从第一时间到第二时间的时间上对所确定的角速度进行积分，从而确定相机在第一时间与第二时间之间的角位移。
[0010]在一个实施例中，相机在第一时间与第二时间之间的角位移由以下等式给出:
【权利要求】
1.一种使视频信号稳定的方法，所述方法包括: 使用相机捕获所述视频信号的多个帧； 使用与所述相机相关联的运动传感器生成表示所述相机的运动的多个样本； 使用这些样本确定所述相机在第一时间与第二时间之间的位移，其中所述第一时间对应于所述视频信号的第一帧的曝光时间中点，而所述第二时间对应于所述视频信号的第二帧的曝光时间中点；以及 使用所确定的位移来补偿由所述相机的运动所引起的在所述第一和第二帧之间所述视频信号中的运动，从而使所述视频信号稳定。
2.权利要求1的方法，其中所述相机的运动是旋转运动，所述运动传感器是旋转运动传感器并且所述相机的位移是所述相机的角位移。
3.权利要求2的方法，其中所述使用所述样本确定所述相机在第一时间与第二时间之间的角位移包括: 使用所述样本确定所述相机的角速度；以及 在从所述第一时间到所述第二时间的时间上对所述确定的角速度进行积分，从而确定所述相机在所述第一时间与所述第二时间之间的所述角位移。
4.权利要求3的方法，其中所述相机在所述第一时间与所述第二时间之间的所述角位移可以由以下等式给出:
5.权利要求3或4的方法，其中所述对所确定的角速度进行积分包括在生成所述各样本的时间之间对所述角速度进行内插。
6.权利要求5的方法，进一步包括延迟所述视频信号，从而允许所述相机在所述第二时间的角速度通过所述对在生成所述各样本的时间之间对所述角速度进行内插来确定。
7.权利要求3至5中任一项的方法，进一步包括对使用所述样本确定的角速度进行外推，从而确定所述相机在所述第二时间的角速度。
8.任一前述权利要求的方法，其中使用所述运动传感器生成的所述样本的所述采样速率高于所述视频信号的帧速率。
9.任一前述权利要求的方法，其中所述相机和所述运动传感器位于移动装置内。
10.任一前述权利要求的方法，其中所述使用所确定的位移来补偿由所述相机的运动所引起的在所述第一和第二帧之间所述视频信号中的运动包括: 确定表示由所确定的所述相机的位移所引起的在所述第一和第二帧之间所述视频信号中的运动的像素位移； 对所述像素位移进行滤波；以及依照所述经滤波的像素位移来移位所述第一和第二帧中至少一个帧的图像，从而使所述视频信号稳定。
11.权利要求10的方法，其中所述对所述像素位移进行滤波包括: 基于针对所述第二帧的所确定的像素位移来确定累积的像素位移；以及基于针对所述第二帧的所确定的累积的像素位移和针对所述第一帧的经滤波的累积的像素位移的加权和来确定针对所述第二帧的经滤波的累积的像素位移。
12.任一前述权利要求的方法,进一步包括: 将时间偏移加到下述至少之一:(i)所捕获的多个帧和(ii)所生成的多个样本，使得所述捕获的多个帧的定时与所述生成的多个样本的定时匹配。
13.一种用于使视频信号稳定的装置，所述装置包括: 相机，其被配置成捕获所述视频信号的多个帧； 运动传感器，其与所述相机相关联，被配置成生成表示所述相机的运动的多个样本；位移确定块，其被配置成使用所述样本确定所述相机在第一时间与第二时间之间的位移，其中所述第一时间对应于所述视频信号的第一帧的曝光时间中点，而所述第二时间对应于所述视频信号的第二帧的曝光时间中点；以及 运动补偿块，其被配置成使用所确定的位移来补偿由所述相机的运动所引起的在所述第一和第二帧之间所述视频信号中的运动，从而使所述视频信号稳定。
14.权利要求13的装置，其中所述运动传感器是陀螺运动传感器。
15.权利要求13或14的装置，其中所述装置是移动装置。
16.—种使视频信号稳定的方法,所述方法包括: 使用相机捕获所述视频信号的多个帧； 确定表示由所述相机的运动所引起的在所述视频信号的第一和第二帧之间所述视频信号中的运动的像素位移；以及 依照所述像素位移来移位所述第一和第二帧中至少一个帧的图像，从而使所述视频信号稳定，其中所述图像包括指示所述图像的存储器空间的步幅值、多个像素值、指示所述图像的第一像素的位置的指针以及指示所述图像的宽度的宽度值，其中所述图像的所述移位包括调整所述指针和所述宽度值而不调整所述步幅值。
17.权利要求16的方法，其中所述图像包括多个图像平面，其中每个图像平面由相应的多个像素值、指示所述图像平面的第一像素的位置的相应指针以及指示所述图像平面的宽度的相应宽度值来表示，其中这些图像平面通过调整它们相应的指针和宽度值而不调整所述步幅值而被一起移位。
18.权利要求16或17的方法，进一步包括将所确定的像素位移凑整为整数像素位移。
19.权利要求16至18中任一项的方法，进一步包括: 使用与所述相机相关联的运动传感器生成表示所述相机的运动的多个样本；以及使用所述样本确定所述相机在所述视频信号的第一帧与所述视频信号的第二帧之间的位移，其中所确定的位移被用来确定所述像素位移。
20.权利要求16至19中任一项的方法，进一步包括对所述像素位移进行滤波。
21.权利要求16至20中任一项的方法，其中所述相机的所述运动是旋转运动。
22.权利要求16至21中任一项的方法，其中所述方法与权利要求1至12中任一项的方法相结合地执行。
23.一种用于使视频信号稳定的装置，所述装置包括: 相机，其被配置成捕获所述视频信号的多个帧； 像素位移确定块，其被配置成确定表示由所述相机的运动所引起的在所述视频信号的第一和第二帧之间所述视频信号中的运动的像素位移；以及 图像移位块，其被配置成依照所述像素位移来移位所述第一和第二帧中至少一个帧的图像，从而使所述视频信号稳定，其中所述图像包括指示所述图像的存储器空间的步幅值、多个像素值、指示所述图像的第一像素的位置的指针以及指示所述图像的宽度的宽度值，其中所述图像移位块被配置成通过调整所述指针和所述宽度值而不调整所述步幅值来移位所述图像。
24.一种使视频信号稳定的方法，所述方法包括: 使用相机捕获所述视频信号的多个帧； 确定在所述相机的快门被关闭时而非在所述相机的快门打开时发生的所述相机的运动的一部分； 确定表示由所述相机的运动的所述部分所引起并且与其相对应的在所述视频信号的第一和第二帧之间所述视频信号中的运动的像素位移；以及 依照所述像素位移来移位所述 第一和第二帧中至少一个帧的图像，从而使所述视频信号稳定。
25.权利要求24的方法，进 一步包括: 使用与所述相机相关联的运动传感器生成表示所述相机的运动的所述部分的多个样本；以及 使用所述样本确定所述相机在所述视频信号的所述第一帧与所述视频信号的所述第二帧之间的位移，其中所确定的位移被用来确定所述像素位移。
26.权利要求25的方法，其中所述相机的运动是旋转运动，所述运动传感器是旋转运动传感器并且所述相机的位移是所述相机的角位移。
27.权利要求24至26中任一项的方法，进一步包括对所述确定的像素位移进行滤波。
28.权利要求24至27中任一项的方法，其中所述方法与权利要求1至12或权利要求16至22中任一项的方法相结合地执行。
29.一种用于使视频信号稳定的装置，所述装置包括: 相机，其被配置成捕获所述视频信号的多个帧； 运动确定块，其被配置成确定在所述相机的快门被关闭时而非在所述相机的快门打开时发生的所述相机的运动的一部分； 像素位移确定块，其被配置成确定表示由所述相机的运动的所述部分所引起并且与其相对应的在所述视频信号的第一和第二帧之间所述视频信号中的运动的像素位移；以及图像移位块，其被配置成依照所述像素位移来移位所述第一和第二帧中至少一个帧的图像，从而使所述视频信号稳定。
30.一种用于使视频信号稳定的计算机程序产品，所述计算机程序产品被体现在非暂时性计算机可读介质上并且被配置以便当在装置的处理器上被执行时执行权利要求1至12,16至22或24至28中的任一项的操作。
【文档编号】H04N5/232GK103563349SQ201280026334
【公开日】2014年2月5日 申请日期:2012年5月31日 优先权日:2011年5月31日
【发明者】A.杰弗里莫夫, D.赵, P.卡尔松, S.萨布林 申请人:斯凯普公司