基于移动设备gpu和角速度传感器的视频拍摄降噪方法
【技术领域】
[0001]本发明涉及视频处理，尤其涉及一种基于移动设备GPU和角速度传感器的视频拍摄降噪方法。
【背景技术】
[0002]现在手机或平板电脑等移动设备已经成为视频短片拍摄的常用工具。此类移动设备摄像头使用的感光器件噪点比较大，尤其是光线较暗需要高ISO的场景下，拍摄出来的视频噪点非常明显，使得拍摄效果大打折扣。对高清视频进行实时降噪需要比较大的计算量，常见的拍摄设备通常使用均值、中值、KNN、NLM等对每一帧图像进行降噪处理，处理速度虽然快但是会损失一些细节。同时，在性能比较低的移动设备上难以通过帧间运动补偿滤除拍摄场景的噪点。
【发明内容】
[0003]本发明的目的就在于提供一种基于移动设备GPU和角速度传感器的视频拍摄降噪方法，利用角速度传感器的数据，结合镜头和感光器件的物理参数，算得全局运动补偿参数，对视频帧进行运动补偿、叠加降噪，能有效解决上述现有技术中的不足。
[0004]本发明针对现有技术的不足，提供了以下技术方案:
本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法，其特征在于，具体步骤如下:
101、利用摄像头采集获取高清视频，缓冲存储多个过去视频帧；
102、将缓冲存储的当前视频帧进行视频单帧帧内降噪；
103、将缓冲存储的多个过去视频帧进行帧间运动补偿，包括以下步骤；
(a)利用角速度传感器采集获取角速度数据，并将角速度数据进行积分，计算得到帧间全局运动补偿参数，
(b)调取多个过去视频帧，根据全局运动补偿参数进行运动补偿；
104、将多个已运动补偿的过去视频帧进行叠加，颜色距离在阈值内的像素以阈值计算选定与前帧的叠加混合比例进行叠加，颜色距离较大的像素直接按帧内空域降噪的结果叠加，之后输出视频；
具体内容如下:
包括高清视频采集模块、帧缓冲模块、角速度采集模块、角速度积分模块、GPU帧间运动补偿模块、GPU帧内空域降噪模块和GPU帧间叠加模块。
[0005]进一步地，所述步骤103采用3轴角速度传感器采集3个方向上的角速度数据。
[0006]再进一步地，所述步骤103将角速度数据转换成四元数数据进行积分。
[0007]更进一步地，所述步骤103根据角速度数据和摄像头物理参数计算帧间全局运动补偿参数。
[0008]与现有技术相比，本发明的优点在于: 本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法，能在移动设备上实现高清视频实时处理，利用角速度传感器和GPU的计算性能，结合帧间时域叠加降噪和帧内空域降噪，对静态和动态场景均有非常好的降噪效果，实现大部分场景不损失细节，尤其是静态场景的降噪过程既不损失画质还增加了细节。
[0009]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0010]下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
【附图说明】
[0011]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中:
图1是本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法的流程图；图2是本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法的系统框图。
【具体实施方式】
[0012]下面将结合附图对本发明作进一步说明。
[0013]实施例:
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0014]参见图1、图2所示。
[0015]本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法的系统，包括高清视频采集模块、帧缓冲模块、角速度采集模块、角速度积分模块、GPU帧间运动补偿模块、GPU帧内空域降噪模块和GPU帧间叠加模块，所述高清视频采集模块与帧缓冲模块连接，所述帧缓冲模块还与GPU帧内空域降噪模块和GPU帧间运动补偿模块连接，所述角速度积分模块同时与角速度采集模块和GPU帧间运动补偿模块连接，所述GPU帧间运动补偿模块和GPU帧内空域降噪模块还均与GPU帧间叠加模块连接。
[0016]高清视频采集模块采集高清视频并输出到帧缓冲模块，帧缓冲模块存储多个过去视频帧，并将当前视频帧输出到GPU帧内空域降噪模块进行视频单帧帧内降噪，将多个过去视频帧输出到GPU帧间运动补偿模块，GPU帧间运动补偿模块根据角速度采集模块和角速度积分模块计算得到的帧间全局运动补偿参数，对多个过去视频帧进行帧间运动补偿并将结果输出到GPU帧间叠加模块，GPU帧间叠加模块结合多个已运动补偿的过去视频帧和已帧内降噪的当前视频帧进行叠加后输出视频。
[0017]本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法的具体降噪步骤如下:
步骤101、利用摄像头采集获取高清视频，缓冲存储多个过去视频帧；
高清视频采集模块负责从摄像头采集高清视频并输出到帧缓冲模块，帧缓冲模块负责保存多个过去视频帧，并将当前视频帧输出到GPU帧内空域降噪模块，将多个过去视频帧输出到GPU帧间运动补偿模块。
[0018]步骤102、将缓冲存储的当前视频帧进行视频单帧帧内降噪；
GPU帧内空域降噪模块采用均值、中值、KNN和NLM等算法进行进行视频单帧帧内降噪。
[0019]步骤103、将缓冲存储的多个过去视频帧进行帧间运动补偿，包括以下步骤；
(a)利用角速度传感器采集获取角速度数据，并将角速度数据进行积分，计算得到帧间全局运动补偿参数，
角速度采集模块实时采集角速度传感器的数据，得到3个方向上的角速度数据，并在有必要时对数据进行插值。角速度积分模块得到3个方向上的角速度信息后，转换成四元数代表的局部坐标系进行积分，实现3个方向上的帧间运动方向和角度的预测，同时结合镜头和感光器件的物理参数，最终计算得到帧间全局运动补偿参数。
[0020](b)调取多个过去视频帧，根据全局运动补偿参数进行运动补偿；
GPU帧间运动补偿模块根据帧间全局运动补偿参数，对多个过去视频帧进行帧间运动补偿，以对齐场景。
[0021]步骤104、将多个已运动补偿的过去视频帧进行叠加，颜色距离在阈值内的像素以阈值计算选定与前帧的叠加混合比例进行叠加，颜色距离较大的像素直接按帧内空域降噪的结果叠加，之后输出视频。
[0022]GPU帧间叠加模块将多个已运动补偿的过去视频帧进行叠加，考虑到场景内可能有快速运动的物体无法进行全局运动补偿，在叠加时，需比较像素的颜色距离，将距离在阈值内的像素认为是噪点产生的，并以此计算出一个因子来决定与前帧的叠加混合比例。对于颜色距离较大的像素，则直接叠加帧内空域降噪的结果，最终输出降噪视频。
[0023]本发明利用角速度传感器的数据，实时得知两帧之间镜头的运动角度和方向，结合镜头和感光器件的物理参数，可以直接算得全局运动补偿参数，再由GPU运动补偿及叠加平均计算完成帧间时域叠加降噪，同时结合视频单帧帧内空域降噪，对静态和动态场景均有非常好的降噪效果，尤其是静态场景的降噪过程既不损失画质还增加了细节。
[0024]本发明能在移动设备上实现高清视频实时处理，利用角速度传感器和GPU的计算性能，结合帧间时域叠加降噪和帧内空域降噪，对静态和动态场景均有非常好的降噪效果，实现大部分场景不损失细节。
[0025]最后说明的是:以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种基于移动设备GPU和角速度传感器的视频拍摄降噪方法，其特征在于，具体步骤如下: 101、利用摄像头采集获取高清视频，缓冲存储多个过去视频帧； 102、将缓冲存储的当前视频帧进行视频单帧帧内降噪； 103、将缓冲存储的多个过去视频帧进行帧间运动补偿，包括以下步骤； (a)利用角速度传感器采集获取角速度数据，并将角速度数据进行积分，计算得到帧间全局运动补偿参数， (b)调取多个过去视频帧，根据全局运动补偿参数进行运动补偿； 104、将多个已运动补偿的过去视频帧进行叠加，颜色距离在阈值内的像素以阈值计算选定与前帧的叠加混合比例进行叠加，颜色距离较大的像素直接按帧内空域降噪的结果叠加，之后输出视频； 具体内容如下: 包括高清视频采集模块、帧缓冲模块、角速度采集模块、角速度积分模块、GPU帧间运动补偿模块、GPU帧内空域降噪模块和GPU帧间叠加模块。
2.根据权利要求1所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法，其特征在于:所述步骤103采用3轴角速度传感器采集3个方向上的角速度数据。
3.根据权利要求1或2所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法，其特征在于:所述步骤103将角速度数据转换成四元数数据进行积分。
4.根据权利要求3所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法，其特征在于:所述步骤103根据角速度数据和摄像头物理参数计算帧间全局运动补偿参数。
【专利摘要】本发明公开了一种基于移动设备GPU和角速度传感器的视频拍摄降噪方法，具体包括，利用摄像头采集获取高清视频，缓冲存储多个过去视频帧；将缓冲存储的当前视频帧进行视频单帧帧内降噪；将缓冲存储的多个过去视频帧进行帧间运动补偿；将多个已运动补偿的过去视频帧进行叠加，颜色距离在阈值内的像素以阈值计算选定与前帧的叠加混合比例进行叠加，颜色距离较大的像素直接按帧内空域降噪的结果叠加，之后输出视频。本发明能在移动设备上实现高清视频实时处理，利用角速度传感器和GPU的计算性能，结合帧间时域叠加降噪和帧内空域降噪，对静态和动态场景均有非常好的降噪效果。
【IPC分类】H04N5-217
【公开号】CN104869287
【申请号】CN201510251716
【发明人】邱俊, 张舒, 陈实富, 杨斌, 邓培智
【申请人】成都平行视野科技有限公司
【公开日】2015年8月26日
【申请日】2015年5月18日