一种全景视频防抖的方法、装置及便携式终端与流程

本发明属于全景视频领域，尤其涉及一种全景视频防抖的方法、装置及便携式终端。

背景技术：

目前拍摄全景视频时，通常是通过手持全景拍摄设备拍摄，在移动拍摄时，由于人手不稳定，会造成全景拍摄视频出现抖动的现象。在获取全景视角时，常常会由于相机的运动或抖动导致原始镜头焦点的丢失，影响全景视频的观看体验。目前解决方法之一是使用云台稳定全景拍摄设备，使其拍摄的画面稳定。然而，缺点是云台比较昂贵，体积一般比较大，而且也并没有完全解决手持全景拍摄设备拍摄视频是画面抖动的问题。

当全景视频观看者在观看全景视频时，仅想要看全景视频的垂直和水平这两个方向的视角时，就需要使视频能够保留垂直方向和水平方向变化的视角且保持稳定，因此有必要研究一种仅保留垂直方向和水平方向运动状态的全景视频防抖的方法。

技术实现要素：

本发明的目的在于提供一种全景视频防抖的方法、装置及便携式终端，旨在解决在获取全景视频视角时，原始镜头焦点丢失的问题，该方法能够生成垂直和水平方向平滑的稳定视频，并保留相机原始的拍摄视角。

第一方面，本发明提供了一种全景视频防抖的方法，所述方法包括：

实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值；

使用扩展卡尔曼滤波器对相机的运动进行平滑；

对平滑后的运动分解处理，合成eptz模式的虚拟镜头运动，计算所述虚拟镜头的旋转量；

对原始视频重投影，生成稳定的视频。

第二方面，本发明提供了一种全景视频防抖的装置，所述装置包括：

获取模块，用于实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值；

平滑模块，用于使用扩展卡尔曼滤波器对相机的运动进行平滑；

计算模块，用于对平滑后的运动分解处理，合成eptz模式的虚拟镜头运动，计算所述虚拟镜头的旋转量；

生成模块，用于对原始视频重投影，生成稳定的视频。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的全景视频防抖方法的步骤。

第四方面，本发明提供了一种便携式终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的全景视频防抖方法的步骤。

在本发明中，通过对相机的运动进行分解，合成仅保留垂直和水平方向运动的eptz模式的虚拟的镜头运动，可以使全景视频播放时镜头的焦点始终在垂直和/或水平方向的变化，而过滤掉原始相机运动的其他方向的变化，因此该方法可以保持渲染镜头运动平滑，生成稳定的视频，并保留相机原始的拍摄视角，对大噪声场景和大部分运动场景都有很强的鲁棒性。

附图说明

图1是本发明实施例一提供的全景视频防抖方法的流程图。

图2是本发明实施例二提供的全景视频防抖装置的示意图。

图3是本发明实施例三提供的便携式终端的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，本发明实施例一提供的全景视频防抖方法包括以下步骤：

s101、实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值。

在本发明实施例一中，s101具体可以为：

所述参考点的世界坐标为pw，相机坐标为pc，具体包括：

pw＝rw2cpc(1)

公式(1)中，为相机坐标转换到世界坐标的旋转矩阵；

实时获取便携式终端中的陀螺仪的角速度数值具体是：利用角速度感应器读取三轴角速度数值为wk。

s102、使用扩展卡尔曼滤波器对相机的运动进行平滑。

扩展卡尔曼滤波算法是将非线性系统线性化，然后进行卡尔曼滤波，卡尔曼滤波是一种高效率的递归滤波器，它能够从一系列的不完全包含噪声的测量中，估计动态系统的状态；

请参阅图2，在本发明实施例一中，s102具体可以为：

使用扩展卡尔曼滤波算法对相机的运动状态建立状态模型和观测模型，具体为：

状态模型为：

观测模型为：

公式(2)和公式(3)中，k为时刻，wk和qk为可以获得的观测向量，qk为rw2c^-1的四元数表示，wk为陀螺仪的角速度数值，为第k-1时刻的状态转移矩阵，φ(wk-1)＝exp(wk-1)，为估计出的平滑后的镜头运动四元数表示，为由前一时刻的值估计出来的状态值；

具体更新预测的过程为：当在k时刻时，利用前一时刻的估计出的和当前时刻的观测值qk来更新对状态变量的估计，求出当前时刻的估计值，该预测值即为第k时刻虚拟镜头的旋转量。

s103、对平滑后的运动分解处理，合成eptz模式的虚拟镜头运动，计算所述虚拟镜头的旋转量。

在本发明实施例一中，s103具体可以为：

所述参考点在所述虚拟镜头中的坐标为具体包括：

公式(4)中，是一个3*3矩阵，为所述虚拟镜头的旋转量；

eptz模式为仅保留垂直和水平这两个方向运动的模式，对于合成的eptz模式的虚拟镜头，设旋转量为其中，为相机在垂直方向平滑后的运动轨迹，为相机在水平方向平滑后的运动轨迹；

对平滑后的运动分解处理，eptz模式虚拟镜头运动，计算所述虚拟镜头的旋转量具体为：

给定原始镜头焦点方向则平滑后的视点方向为

其中，表示四元数空间的向量旋转，为虚拟相机向上的方向，可设置为[0,0,1]t。

需要说明的是，利用rodrigues公式可以由单位向量旋转θ角度后的四元数求得旋转矩阵r，具体为设四元数为q＝(θ,x,y,z)^t，则旋转矩阵r的计算公式为：

s104、对原始视频重投影，生成稳定的视频。

在本发明实施例一中，s104具体可以为：

计算原始视频帧中像素与输出视频帧中像素之间的对应关系，然后根据对应关系，对原始视频帧进行插值重采样，生成输出视频帧，最终生成稳定的视频；

其中，设原始视频帧中像素为ps，对应的输出的视频帧中像素为pd，则对应关系为：其中ps＝[xs,ys]^t，pd＝[xd,yd]^t，kc和dc分别为相机的内参和畸变模型，为虚拟相机的投影内参；

然后根据对应关系对原始视频帧is进行插值重采样，生成输出视频帧id具体为：

公式(5)中，wi为插值权重，为ps的邻域坐标。

实施例二：

请参阅图2，本发明实施例二提供的全景视频防抖的装置包括：

获取模块11，用于实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值；

平滑模块12，用于使用扩展卡尔曼滤波器对相机的运动进行平滑；

计算模块13，用于对平滑后的运动分解处理，eptz模式虚拟镜头运动，计算所述虚拟镜头的旋转量；

生成模块14，用于对原始视频重投影，生成稳定的视频。

本发明实施例二提供的全景视频防抖的装置及本发明实施例一提供的全景视频防抖的方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。

5.如权利要求4所述的方法，其特征在于，对平滑后的运动分解处理，合成eptz模式的虚拟镜头运动，计算所述虚拟镜头的旋转量具体为：

对于合成的eptz模式的虚拟镜头，计算所述虚拟镜头的旋转量具体为：

给定原始镜头焦点方向则平滑后的视点方向为

其中，表示四元数空间的向量旋转，为虚拟相机向上的方向，可设置为[0,0,1]^t。

实施例三：

本发明实施例三提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的全景视频防抖的方法的步骤。

实施例四：

图3示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的全景视频防抖的方法的步骤。

在本发明实施例中，通过对相机的运动进行分解，合成仅保留垂直和水平方向运动的eptz模式的虚拟的镜头运动，可以使用户在观看全景视频时，镜头的焦点始终在垂直和/或水平方向的变化，而过滤掉原始相机运动的其他方向的变化，达到仅保留全景视频水平方向的运动，因此该方法可以保持渲染镜头运动平滑，生成稳定的视频，并保留相机原始的拍摄视角，对大噪声场景和大部分运动场景都有很强的鲁棒性。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。