基于移动设备gpu和角速度传感器的视频拍摄防抖方法
【技术领域】
[0001]本发明涉及视频处理，尤其涉及一种基于移动设备GPU和角速度传感器的视频拍摄防抖方法。
【背景技术】
[0002]现阶段有不少手机或平板等移动设备能支持视频拍摄时实时进行防抖处理。最常见的防抖方法是采用光学防抖或基于图像处理的数字防抖。采用光学防抖方法需要设备的硬件支持，只有少数比较高端的移动设备上能实现。数字防抖一般是通过预测帧间运动然后实施补偿的方法来实现。其中，帧间运动预测需要比较大的计算量，一般需要通过GPU或专用DSP来实现，而手持摄影时的抖动方向和程度千变万化，要实施精确的帧间运动预测需要比较多的搜索量，而且对卷帘快门造成的帧内果冻效应无能为力。同时，很多移动设备上的角速度传感器一般采用低成本的器件，精度比较低，不适合连续积分来计算运动角度。
【发明内容】
[0003]本发明的目的就在于提供一种基于移动设备GPU和角速度传感器的视频拍摄防抖方法，利用角速度传感器实时得知抖动造成的帧间和帧内的运动角度和方向信息，结合帧间运动预测的方法来进行精确定位，能有效解决上述现有技术中的不足。
[0004]本发明针对现有技术的不足，提供了以下技术方案:
本发明所述基于移动设备GPU和角速度传感器的视频拍摄防抖方法，其特征在于，具体步骤如下:
101、利用角速度传感器采集获取角速度数据；
102、将采集到的角速度数据进行积分，得到帧间和帧内的运动方向和角度的初步预测信息；
103、根据帧间的运动方向和角度的初步预测信息，进行进一步的帧间运动预测，得到帧间的运动方向和角度的最终预测信息，返回修正项；
104、根据帧间的运动方向和角度的初步预测信息与修正项，进行滤波处理，返回帧间运动补偿项；
105、根据补偿项，同时结合帧内的运动方向和角度的初步预测信息，对每帧图像的每一个像素进行旋转变换，进行去果冻效应和运动补偿，得到最终的帧图像；
具体内容如下:
包括角速度采集模块、角速度积分模块、GPU帧间运动预测模块、抖动滤波模块和GPU去果冻效应和运动补偿模块。
[0005]进一步地，所述步骤101用3轴角速度传感器采集3个方向上的角速度数据。
[0006]又进一步地，所述步骤102将角速度数据转换成四元数数据进行积分。
[0007]再进一步地，所述步骤103帧间运动预测的搜索范围和步长是根据运动角度选定。
[0008]更进一步地，所述步骤105用帧内的运动方向和角度的初步预测信息去果冻效应。
[0009]与现有技术相比，本发明的优点在于:
本发明利用角速度传感器可以实时得知抖动造成的帧间和帧内的运动方向和角度，再结合帧间运动预测的方法进行精确定位；从角速度传感器可以得知运动方向和角度，降低帧间运动预测的搜索量大，大幅减少GPU帧间运动预测的搜索范围，可以减轻GPU的负担，腾出大量的宝贵的GPU计算资源；根据实时抖动大小动态选定GPU帧间运动预测的搜索范围和步长，实现细微抖动时能高精度稳定，大幅抖动时也能有非常好的稳定效果；同时利用帧内角速度数据，可以直接进行果冻效应的纠正，实现去果冻效应，使视频仿抖效果更加完美。
[0010]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0011]下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
【附图说明】
[0012]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中:
图1是本发明基于移动设备GPU和角速度传感器的视频拍摄防抖方法流程图；
图2是本发明述基于移动设备GPU和角速度传感器的视频拍摄防抖方法系统框图。
【具体实施方式】
[0013]下面将结合附图对本发明作进一步说明。
[0014]实施例:
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0015]参见图1、图2所示。
[0016]本发明所述基于移动设备GPU和角速度传感器的视频拍摄防抖方法的系统，包括角速度采集模块、角速度积分模块、GPU帧间运动预测模块、抖动滤波模块和GPU去果冻效应和运动补偿模块；角速度采集模块采集获取角速度数据，并传到角速度积分模块；角速度积分模块进行积分得到帧间和帧内运动方向和角度信息，并将帧间运动方向和角度信息传到GPU帧间运动预测模块，将帧内运动方向和角度信息传到GPU去果冻效应和运动补偿模块；GPU帧间运动预测模块进行帧间运动预测，得到帧间运动的最终预测信息，并传到抖动滤波模块进行滤波；GPU去果冻效应和运动补偿模块根据帧内运动信息和滤波后的帧间运动的最终预测信息，进行去果冻效应和运动补偿处理。
[0017]本发明所述基于移动设备GPU和角速度传感器的视频拍摄防抖方法，具体包括以下步骤:
步骤101、利用角速度传感器采集获取角速度数据；
角速度采集模块负责实时采集3轴角速度传感器的数据，得到3个方向上的角速度数据，并在必要时对数据进行插值。
[0018]步骤102、将采集到的角速度数据进行积分，得到帧间和帧内的运动方向和角度的初步预测信息；
角速度积分模块得到3个方向上的角速度信息后，转换成四元数代表的局部坐标系进行积分，实现3个方向上的帧内和帧间运动方向和角度的初步预测。
[0019]步骤103、根据帧间的运动方向和角度的初步预测信息，进行进一步的帧间运动预测，得到帧间的运动方向和角度的最终预测信息，返回修正项；
GPU帧间运动预测模块以帧间的运动方向和角度的初步预测信息为基础，并根据抖动大小(角度大小)选定搜索范围和步长，进行更精确的帧间运动预测，得到帧间的运动方向和角度的最终预测信息，返回代表最终运动预测与初步运动预测之间偏差的四元数修正项。
[0020]步骤104、根据帧间的运动方向和角度的初步预测信息与修正项，进行滤波处理，返回帧间运动补偿项；
抖动滤波模块得到帧间的运动方向和角度的初步预测信息与修正结果之后，进行滤波处理，返回代表帧间运动补偿的四元数补偿项。
[0021]步骤105、根据补偿项，同时结合帧内的运动方向和角度的初步预测信息，对每帧图像的每一个像素进行旋转变换，进行去果冻效应和运动补偿，得到最终的帧图像。
[0022]GPU去果冻效应和运动补偿模块根据四元数补偿项，同时结合从角速度积分模块得到的帧内运动预测信息，对每帧图像的每一个像素进行旋转变换，进行去果冻效应和运动补偿，得到最终补偿后的帧图像。
[0023]本发明基于四元数表示数据，利用角速度传感器采集数据用于帧间运动初步预测，同时得到用于去果冻效应的帧内运动预测信息，GPU根据帧间运动的初步预测信息进行帧间运动预测，其搜索范围大小和步长根据抖动大小选定，得到帧间运动的最终预测信息，GPU根据帧间运动的最终预测信息进行图像的旋转变换，同时实现去果冻效应和运动补偿。
[0024]本发明利用角速度传感器可以实时得知抖动造成的帧间和帧内的运动方向和角度，在结合帧间运动预测的方法进行精确定位；从角速度传感器可以得知运动方向和角度，降低帧间运动预测的搜索量，大幅减少GPU帧间运动预测的搜索范围，可以减轻GPU的负担，腾出大量的宝贵的GPU计算资源；根据实时抖动大小动态选定GPU帧间运动预测的搜索范围和步长，实现细微抖动时能高精度稳定(可以达到亚像素级别)，大幅抖动时也能有非常好的稳定效果；同时利用帧内角速度数据，可以直接进行果冻效应的纠正，实现去果冻效应，使视频仿抖效果更加完美。
[0025]最后说明的是:以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种基于移动设备GPU和角速度传感器的视频拍摄防抖方法，其特征在于，具体步骤如下: 101、利用角速度传感器采集获取角速度数据； 102、将采集到的角速度数据进行积分，得到帧间和帧内的运动方向和角度的初步预测信息； 103、根据帧间的运动方向和角度的初步预测信息，进行进一步的帧间运动预测，得到帧间的运动方向和角度的最终预测信息，返回修正项； 104、根据帧间的运动方向和角度的初步预测信息与修正项，进行滤波处理，返回帧间运动补偿项； 105、根据补偿项，同时结合帧内的运动方向和角度的初步预测信息，对每帧图像的每一个像素进行旋转变换，进行去果冻效应和运动补偿，得到最终的帧图像； 具体内容如下: 包括角速度采集模块、角速度积分模块、GPU帧间运动预测模块、抖动滤波模块和GPU去果冻效应和运动补偿模块。
2.根据权利要求1所述基于移动设备GPU和角速度传感器的视频拍摄防抖方法，其特征在于:所述步骤101用3轴角速度传感器采集3个方向上的角速度数据。
3.根据权利要求1或2所述基于移动设备GPU和角速度传感器的视频拍摄防抖方法，其特征在于:所述步骤102将角速度数据转换成四元数数据进行积分。
4.根据权利要求3所述基于移动设备GPU和角速度传感器的视频拍摄防抖方法，其特征在于:所述步骤103帧间运动预测的搜索范围和步长是根据运动角度选定。
5.根据权利要求4所述基于移动设备GPU和角速度传感器的视频拍摄防抖方法，其特征在于:所述步骤105用帧内的运动方向和角度的初步预测信息去果冻效应。
【专利摘要】本发明公开了一种基于移动设备GPU和角速度传感器的视频拍摄防抖方法，包括，利用角速度传感器采集获取角速度数据；将采集到的角速度数据进行积分，得到帧间和帧内的运动方向和角度的初步预测信息；根据帧间的运动方向和角度的初步预测信息，进行进一步的帧间运动预测，得到帧间的运动方向和角度的最终预测信息，返回修正项；根据帧间的运动方向和角度的初步预测信息与修正项，进行滤波处理，返回帧间运动补偿项；根据补偿项，同时结合帧内的运动方向和角度的初步预测信息，对每帧图像的每一个像素进行旋转变换，进行去果冻效应和运动补偿，得到最终的帧图像。本发明实现去果冻效应和运动补偿，GPU负担轻，视频仿抖效果非常好。
【IPC分类】H04N5-14, H04N5-232, H04N5-21
【公开号】CN104869310
【申请号】CN201510251717
【发明人】邱俊, 张舒, 陈实富, 杨斌, 邓培智
【申请人】成都平行视野科技有限公司
【公开日】2015年8月26日
【申请日】2015年5月18日