视频图像矫正方法及装置、计算机可读介质和电子设备与流程

所属的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

背景技术：

1、随着科学技术的飞速发展，人们越来越喜欢通过智能手机上的相机记录生活，视频防抖技术也越来越得到重视，如电子防抖技术(electric image stabilization，eis)、光学防抖技术(optical image stabilization，ois)已经是比较成熟的视频防抖技术。但是，视频防抖虽然可以一定程度的减少视频画面的抖动现象，但却无法解决视频画面倾斜的问题。

2、目前，相关技术方案中，要么无法实现视频图像的水平线矫正，要么只能对车牌图像等具有较明显的关键特征点的图像进行水平矫正，应用场景较为单一，适用范围小，并且这种通过图像内容来估算水平方向的方式，较依赖图像内容的质量，不同的光照强度、光照颜色、图像清晰度都会对最终的估算结果有影响，水平矫正结果的准确度低且鲁棒性差。

技术实现思路

1、本公开的目的在于提供一种视频图像矫正方法、视频图像矫正装置、计算机可读介质和电子设备，进而至少在一定程度上实现对任意场景下的视频图像的水平线矫正，适用范围广，提高水平矫正结果的准确性以及鲁棒性。

2、根据本公开的第一方面，提供一种视频图像矫正方法，包括：

3、获取以当前相机姿态拍摄的当前视频图像，并获取所述当前相机姿态对应的当前重力向量；

4、基于所述当前重力向量确定水平相机姿态对应的水平重力向量；

5、根据所述当前重力向量和所述水平重力向量确定从所述当前相机姿态转换到所述水平相机姿态的旋转轴角关系；

6、通过所述旋转轴角关系对所述当前视频图像进行水平矫正，得到水平矫正后的当前视频图像。

7、根据本公开的第二方面，提供一种视频图像矫正装置，包括：

8、视频图像获取模块，用于获取以当前相机姿态拍摄的当前视频图像，并获取所述当前相机姿态对应的当前重力向量；

9、重力向量确定模块，用于基于所述当前重力向量确定水平相机姿态对应的水平重力向量；

10、旋转轴角关系确定模块，用于根据所述当前重力向量和所述水平重力向量确定从所述当前相机姿态转换到所述水平相机姿态的旋转轴角关系；

11、水平矫正模块，用于通过所述旋转轴角关系对所述当前视频图像进行水平矫正，得到水平矫正后的当前视频图像。

12、根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

13、根据本公开的第四方面，提供一种电子设备，其特征在于，包括：

14、处理器；以及

15、存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

16、本公开的一种实施例所提供的视频图像矫正方法，可以获取以当前相机姿态拍摄的当前视频图像，并获取当前相机姿态对应的当前重力向量，然后基于当前重力向量确定水平相机姿态对应的水平重力向量，进而可以根据当前重力向量和水平重力向量确定从当前相机姿态转换到水平相机姿态的旋转轴角关系，通过旋转轴角关系对当前视频图像进行水平线矫正，得到水平矫正后的当前视频图像。一方面，根据当前相机姿态对应的当前重力向量以及水平重力向量确定旋转轴角关系，通过旋转轴角关系对当前视频图像进行水平线矫正，相比于通过图像内容中的关键点确定水平方向并水平矫正的方案，重力传感器检测到的当前重力向量的精度较高，有效提升水平线矫正结果的准确性，同时，水平线矫正结果仅与当前重力向量相关联，没有其他误差数据的干扰，保证水平线矫正结果的鲁棒性；另一方面，通过检测到的当前重力向量实现对当前视频图像的水平线矫正，能够应用于各种类型的场景中，适用范围广，并且相比于根据图像内容计算水平方向的方式，时间复杂度低，可以较好地适配实时处理系统。

17、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。