用于通过基于约束的转动平滑的数字视频稳定的系统和方法
【技术领域】
[0001] 本公开的主题涉及信号处理。更尤其地，本公开涉及用于图像和视频处理的系统 和方法。
【背景技术】
[0002] 近年来，广泛流行能够捕捉视频的数码相机。虽然这些用户装置的分辨率和图像 质量提高为在某些设置中比得上数码单反相机OSLR)，但是其视频质量依然可能明显比胶 片相机的视频质量更差。这个质量差距的原因可以是双重的。首先，与胶片相机相比，手机 可以明显更轻。结果，在这种装置上的手持式视频捕捉可以显示更大量的相机抖动。其次， 手机摄像头可能具有利用滚动快门（RS)的传感器。在RS相机内，每个图像行可能在略微 不同的时间曝光，这会与未抑制的相机运动一起在输出视频内造成"摇晃"。
[0003] 视频稳定是用于减少由摄像机抖动产生的高频帧到帧跳动的一类技术。在专业照 相机中，通常使用机械图像稳定（MIS)系统。例如，在MIS系统中，操作人员可以佩戴分开 相机的运动和操作人员的身体运动的安全带。其他MIS系统使相机的光学部件（而非照相 机机体本身）稳定。这些系统可以移动透镜或传感器，以补偿小幅俯仰与偏航运动。这些 技术实时运行，并且不需要在相机上计算。然而，由于这些系统的价格和尺寸，所以这些系 统不适合于移动装置和便宜的相机。数字视频稳定系统可以使用特征跟踪器来稳定拍摄后 的视频。然而，这些系统可以对噪音（例如，快速移动的前景目标）敏感并且需要不同的特 征来跟踪。结果，基于特征跟踪的数字稳定通常中断，尤其在不利的照明条件和过量的前景 运动中。此外，在帧之上提取和匹配视觉提示，可以在计算上昂贵。而且，费用随着视频的 分辨率增大。在某些情况下，这可以太昂贵，以至于不能实时进行视频稳定。结果，这种方 法很少用于当前的数码相机内。制造商可以反而给高端DSLR选择更稳健的（并且昂贵的） 机械稳定解决方案。
【发明内容】
[0004] 尤其在所附权利要求中公开了根据本发明的实施方式，涉及一种方法、储存介质 以及系统，其中，还可以在另一个权利要求范畴（例如，系统）内要求在一个权利要求范畴 (例如，方法）内提及的任何特征。
[0005] 为了稳定数字视频，在一个实施方式中，计算机实现的方法、系统以及计算机可读 介质可以提供数字视频数据，其包括具有相关联的时间戳的一组图像帧以及具有相关联的 时间戳的一组相机方向数据。通过最小化在连续的图像帧之间的转动速率可以生成一组平 滑的相机方向数据，同时最小化根据一组平滑的相机方向数据重新定向所产生的一组平滑 的图像帧内的空白区域的量。
[0006] 在一个实施方式中，在所产生的一组平滑的图像帧内的空白区域的量可以被最小 化为0。
[0007] 在一个实施方式中，在所产生的一组平滑的图像帧内的空白区域的量可以被最小 化为低于阈值。
[0008] 在一个实施方式中，可以根据这组图像帧相关联的时间戳和这组平滑的相机方向 数据，翘曲这组图像帧，以形成一组校正的图像帧。
[0009] 在一个实施方式中，根据这组图像帧相关联的时间戳和这组平滑的相机方向数据 翘曲这组图像帧以形成一组校正的图像帧可以包括将单独的图像帧分成多个子部分。每个 子部分可以具有相关联的时间戳和相机方向。根据这组图像帧相关联的时间戳和这组平滑 的相机方向数据翘曲这组图像帧以形成一组校正的图像帧可以包括根据相关联的时间戳 和相机方向，重新排列每个子部分，以形成单独的校正的图像帧。
[0010] 在一个实施方式中，可以显示这组校正的图像帧，作为视频。
[0011] 在一个实施方式中，在所产生的一组平滑的图像帧内的空白区域的量可以被最小 化为低于阈值。
[0012] 在一个实施方式中，低于阈值的空白区域的量可以进行图像修补。
[0013] 在一个实施方式中，可以从手持式装置的陀螺仪提供具有相关联的时间戳的这组 相机方向数据。
[0014] 在一个实施方式中，可以从手持式装置的相机提供这组图像帧。
[0015] 在一个实施方式中，可以从包括移动电话和数码相机的手持式装置的陀螺仪提供 具有相关联的时间戳的这组相机方向数据。可以从数码相机提供这组图像帧。
[0016] 在一个实施方式中，生成这组平滑的相机方向数据，包括基于梯度下降的迭代优 化。
[0017] 在一个实施方式中，生成这组平滑的相机方向数据，可以包括基于高斯滤波器的 滤波。
[0018] 在一个实施方式中，生成这组平滑的相机方向数据，可以包括基于时间导数的滤 波。
[0019] 在一个实施方式中，这组相机方向数据可以包括没有任何平移的转动。
[0020] 在一个实施方式中，这组相机方向数据可以包括具有转动和平移的向量。
[0021] 在一个实施方式中，由社交网络系统进行这组平滑的相机方向数据的生成。
[0022] 在一个实施方式中，具有相关联的时间戳的这组图像帧和具有相关联的时间戳的 这组相机方向数据可以由社交网络系统的用户上传到社交网络系统中。
[0023] 在本发明的进一步实施方式中，一个或多个计算机可读暂时性储存介质体现软 件，在执行时，其可操作，以执行根据本发明或任何上述实施方式所述的方法。
[0024] 在本发明的进一步实施方式中，一种系统包括：一个或多个处理器；以及存储器， 其耦接至所述处理器，包括由所述处理器可执行的指令，在执行所述指令时，所述处理器可 操作，以执行根据本发明或任何上述实施方式所述的方法。
[0025] 从附图中并且从以下详细描述中，本发明的很多其他特征和实施方式显而易见。
【附图说明】
[0026] 图1示出了根据一个实施方式的一个实例针孔照相机模型；
[0027] 图2示出了根据一个实施方式的两个实例相机方向及其相应的图像平面的描述；
[0028] 图3示出了根据一个实施方式的由RS相机捕捉的一个实例翘曲图像以及用于校 正图像的转换的描述；
[0029] 图4示出了根据一个实施方式的一个实例数字视频稳定模块；图5示出了根据一 个实施方式的输入数据以及在平滑之后产生的数据的示图；
[0030] 图6示出了根据一个实施方式的用于基于约束的平滑的一个实例方法；
[0031] 图7示出了根据一个实施方式的系统的一个实例网络图，用于从数字视频中修改 一组图像帧，以在社交网络系统内产生稳定的数字视频；
[0032] 图8示出了根据一个实施方式的可用于实现在本文中描述的一个或多个实施方 式的一个实例计算机系统；
[0033] 示图描述了本发明的各种实施方式，仅仅用于说明的目的，其中，示图使用相似的 参考数字，来表示相似的部件。本领域的技术人员从以下讨论中容易认识到，在不背离在本 文中描述的原理的情况下，可以使用在图中说明的结构和方法的替换的实施方式。
【具体实施方式】
[0034] 伸用陀螺仪的数字视频稳宙和滚动怏门柃|H
[0035] 滚动快门校正是一种用于去除由帧内相机移动产生的图像翘曲的技术。高端相机 使用电荷耦接装置（CCD)传感器，其具有全局快门（GS)。在GS相机（包括很多DSLR)内， 可以同时读出和重置在CCD传感器上的所有像素。因此，在相同的时间间隔内，所有像素收 集光。因此，在曝光期间的相机运动在这些装置上造成某种程度的图像模糊。相反，低端相 机通常利用互补金属氧化物半导体（CMOS)传感器。尤其地，这些传感器使用滚动快门，其 中，依次读出和重置图像行。与CCD传感器相比，这种方法可以需要更少的电路，并且可以 使CMOS传感器制造更便宜。因此，CMOS传感器常常用于手机、音乐播放器以及一些低端摄 影放像机内。然而，依次读出表示在略微不同的时间窗口期间曝光每行。结果，在行读出期 间的相机运动产生翘曲的图像。快速移动的目标也失真。
[0036] 在RS相机内的图像读出通常在毫秒范围内。因此，RS失真主要由高频相机运动造 成。因此，MIS系统可以用于稳定相机。虽然这种方法去除了滚动快门翘曲，但是实际上， MIS系统的价格范围和尺寸使其不适合于RS相机。一些数字滚动快门调整技术可以校正在 单个图像内的RS伪影，但是需要用户输入。相反，本公开的一些实施方式可以校正单个图 像的RS伪影，而不需要用户输入。
[0037] 对于视频，使用特征跟踪来估计视频的相机运动，调整在帧序列内的RS，可以具有 问题。一旦在RS曝光期间已知相机运动，该运动就可以用于调整帧。由于这种方法依赖于 特征跟踪器，所以具有先前在视频稳定的情况下讨论的相同缺点。
[0038] 数字视频稳定技术可以包括修剪或缩放输入视频帧。这可以允许平移、转动或翘 曲单独帧，以抵消握手造成的不想要的变形。修剪的量可以决定可用于去除这些变形的余 地（或"摇摆空间")。例如，如果帧平移太远，那么空白区域（例如，没有像素数据的区域） 可能可见。本公开的一些实施方式不仅通过抵消握手消除了相机运动，而且也在防止空白 区域出现的同时如上消除了相机运动。应理解的是，还可以实现用于给稳定提供余地的 (而非修剪或缩放）其他方法。例如，可以实现图像修补技术，以填充由稳定造成的空白区 域。代替修剪或缩放或者除了修剪或缩放以外，可以使用图像修补。例如，在一个实施方式 中，可以实现用于确定规定的变形是否令人满意地通过所有像素组产生帧（无论通过图像 修补、缩放、修剪等）的功能。
[0039] 通过计算满足空白区域防止约束条件的平滑相机转动，给数字上稳定的视频提供 系统和方法。这可以给规定的修剪或缩放因素产生最大限度的平滑的相机转动。
[0040] 例如，数字视频稳定工艺可以通过由相机或包括相机的装置捕捉的视频开始，例 如，移动电话、平板电脑、手表、可穿戴式设备等。视频可以包括所捕捉的多个连续的图像 帧。由于装置的尺寸和重量，所以视频可以摇晃。在相机内的传感器使用的滚动快门可以 在输出的图像帧内产生翘曲。陀螺仪可以用于在视频捕捉期间测量相机的运动（例如，转 动）。所测量的相机运动可以用于稳定视频并且调整滚动快门，以产生校正了图像的具有输 出帧的稳定视频。
[0041] 本公开的技术可以提高RS相机的视频质量。在一个实施方式中，实现微机电系统 (MEMS)陀螺仪，以测量相机转动。还可以实现其他陀螺仪和运动传感装置。陀螺仪测量可 以用于执行视频稳定（例如，帧间运动补偿）和滚动快门校正（例如，帧内运动补偿）。这 种方法可以在计算上便宜并且稳健，这就使其特别适合于在（例如）移动平台上的实时实 现方式。
[0042] 基于转动摄像机和滚动快门的统一模型的系统和方法可以使用该模型来计算同 时进行滚动快门校正和视频稳定的翘曲。可以提供优化技术，这些技术自动校准陀螺仪和 相机。这可以允许从单个视频和陀螺仪捕捉中恢复未知的参数（例如，陀螺仪漂移和延迟） 以及相机的焦距和滚动快门速度。结果，可以校准陀螺仪和相机硬件的任何组合，无需特殊 的实验室设置。包括相机的装置还可以包括运动传感装置，例如，陀螺仪。例如，很多智能 电话具有相机和运动传感装置，例如，陀螺仪和加速计。通过这种方式，可以提供实时视频 稳定和滚动快门校正，无需使用特征跟踪器或MIS系统。而且，可以实现便宜的MEMS陀螺 仪，以直接测量相机运动。惯性测量单元（MU)可以用于图像去模糊并且用于帮助KLT特 征跟踪器。
[0043] 使用运动传感装置（例如，陀螺仪）允许通过高计算效率进行数字视频稳定和RS调整。甚至在照明不足或大量前景运动之下，这种方法可以稳健，这是因为视频的内容用于 运动估计。而且，如上所述，很多具有相机功能的移动电话已经装有陀螺仪或其他运动传感 装置。与MIS系统相比，MEMS陀螺仪可以明显更便宜、更通用并且体积更小。
[0044] 在一个实施方式中，视频稳定可以分三个阶段进行：相机运动估计、运动平滑以及 图像翘曲。滚动快门调整可以通过相似的方式进行，除了实际相机运动（而非平滑运动） 可以用于翘曲计算以外。如在本文中进一步详细地讨论的，可以在统一框架下在一个翘曲 计算中进行视频稳定和滚动快门校正。
[0045] 在一个实施方式中，可以仅仅在转动方面模制相机运动。应理解的是，在其他实施 方式中，除了或者代替转动，可以测量平移。在某些情况下，例如，平移可以难以使用MU来 精确地测量。而且，加速计需要整合两次，以获得平移。相反，陀螺仪测量转动速率。因此， 陀螺仪数据可以仅仅需要单